python3.7简单的爬虫实例详解


Posted in Python onJuly 08, 2019

python3.7简单的爬虫,具体代码如下所示:

#https://www.runoob.com/w3cnote/python-spider-intro.html

#Python 爬虫介绍

import urllib.parse
import urllib.request
from http import cookiejar
url = "http://www.baidu.com"
response1 = urllib.request.urlopen(url)
print("第一种方法")
#获取状态码,200表示成功
print(response1.getcode())
#获取网页内容的长度
print(str(response1.read()))
print(len(response1.read()))
print("第二种方法")
request = urllib.request.Request(url)
#模拟Mozilla浏览器进行爬虫
request.add_header("user-agent","Mozilla/5.0")
response2 = urllib.request.urlopen(request)
print(response2.getcode())
print(len(response2.read()))
print("第三种方法")
cookie = cookiejar.CookieJar()
#加入urllib2处理cookie的能力#
opener = urllib.request.build_opener(urllib.request.HTTPCookieProcessor(cookie))
urllib.request.install_opener(opener)
response3 = urllib.request.urlopen(url)
print(response3.getcode())
print(len(response3.read()))
print(cookie)
code: https://github.com/pascal19821003/python
path: python/study/tutorial/pachong/1.py

总结

以上所述是小编给大家介绍的python3.7简单的爬虫实例详解,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对三水点靠木网站的支持!
如果你觉得本文对你有帮助,欢迎转载,烦请注明出处,谢谢!

Python 相关文章推荐
Python程序员鲜为人知但你应该知道的17个问题
Jun 04 Python
python递归打印某个目录的内容(实例讲解)
Aug 30 Python
Python使用functools实现注解同步方法
Feb 06 Python
python 读取文件并替换字段的实例
Jul 12 Python
用python实现k近邻算法的示例代码
Sep 06 Python
Python图像处理之图像的读取、显示与保存操作【测试可用】
Jan 04 Python
浅析PyTorch中nn.Module的使用
Aug 18 Python
Python Tornado之跨域请求与Options请求方式
Mar 28 Python
使用python创建Excel工作簿及工作表过程图解
May 27 Python
详解向scrapy中的spider传递参数的几种方法(2种)
Sep 28 Python
matplotlib运行时配置(Runtime Configuration,rc)参数rcParams解析
Jan 05 Python
windows系统Tensorflow2.x简单安装记录(图文)
Jan 18 Python
在python中画正态分布图像的实例
Jul 08 #Python
python实现beta分布概率密度函数的方法
Jul 08 #Python
python中pip的使用和修改下载源的方法
Jul 08 #Python
python绘制直方图和密度图的实例
Jul 08 #Python
搭建python django虚拟环境完整步骤详解
Jul 08 #Python
python中break、continue 、exit() 、pass终止循环的区别详解
Jul 08 #Python
33个Python爬虫项目实战(推荐)
Jul 08 #Python
You might like
模仿OSO的论坛(五)
2006/10/09 PHP
PHP 中英文混合排版中处理字符串常用的函数
2007/04/12 PHP
php画图实例
2014/11/05 PHP
PHP+jquery+CSS制作头像登录窗(仿QQ登陆)
2016/10/20 PHP
[原创]PHPCMS遭遇会员投稿审核无效的解决方法
2017/01/11 PHP
在 Laravel 中 “规范” 的开发短信验证码发送功能
2017/10/26 PHP
php+mysql+ajax 局部刷新点赞/取消点赞功能(每个账号只点赞一次)
2020/07/24 PHP
IE6 弹出Iframe层中的文本框“经常”无法获得输入焦点
2009/12/27 Javascript
javascript setAttribute, getAttribute 在不同浏览器上的不同表现
2010/08/05 Javascript
js中scrollHeight,scrollWidth,scrollLeft,scrolltop等差别介绍
2012/05/16 Javascript
求数组最大最小值方法适用于任何数组
2013/08/16 Javascript
Javascript中的Callback方法浅析
2015/03/15 Javascript
js实现颜色阶梯渐变效果(Gradient算法)
2017/03/21 Javascript
实例详解display:none与visible:hidden的区别
2017/03/30 Javascript
Bootstrap下拉菜单更改为悬停(hover)触发的方法
2017/05/24 Javascript
浅谈Koa服务限流方法实践
2017/10/23 Javascript
Vue 过滤器filters及基本用法
2017/12/26 Javascript
Python中lambda的用法及其与def的区别解析
2014/07/28 Python
Python中使用装饰器和元编程实现结构体类实例
2015/01/28 Python
浅谈django中的认证与登录
2016/10/31 Python
Python按钮的响应事件详解
2019/03/04 Python
python卸载后再次安装遇到的问题解决
2019/07/10 Python
Python使用grequests(gevent+requests)并发发送请求过程解析
2019/09/25 Python
pymysql 插入数据 转义处理方式
2020/03/02 Python
Python列表推导式实现代码实例
2020/09/09 Python
介绍一下JMS编程步骤
2015/09/22 面试题
国际贸易专业推荐信
2013/11/15 职场文书
报社实习生自荐信
2014/01/24 职场文书
工作室成员个人发展规划范文
2014/01/24 职场文书
教师节促销方案
2014/03/22 职场文书
生育关怀行动实施方案
2014/03/26 职场文书
学校党的群众路线教育实践活动个人整改方案
2014/10/31 职场文书
夫妻分居协议书范本(有子女版)
2014/11/01 职场文书
幼儿园百日安全活动总结
2015/05/07 职场文书
SpringCloud项目如何解决log4j2漏洞
2022/04/10 Java/Android
使用Python开发冰球小游戏
2022/04/30 Python