python3.7简单的爬虫实例详解


Posted in Python onJuly 08, 2019

python3.7简单的爬虫,具体代码如下所示:

#https://www.runoob.com/w3cnote/python-spider-intro.html

#Python 爬虫介绍

import urllib.parse
import urllib.request
from http import cookiejar
url = "http://www.baidu.com"
response1 = urllib.request.urlopen(url)
print("第一种方法")
#获取状态码,200表示成功
print(response1.getcode())
#获取网页内容的长度
print(str(response1.read()))
print(len(response1.read()))
print("第二种方法")
request = urllib.request.Request(url)
#模拟Mozilla浏览器进行爬虫
request.add_header("user-agent","Mozilla/5.0")
response2 = urllib.request.urlopen(request)
print(response2.getcode())
print(len(response2.read()))
print("第三种方法")
cookie = cookiejar.CookieJar()
#加入urllib2处理cookie的能力#
opener = urllib.request.build_opener(urllib.request.HTTPCookieProcessor(cookie))
urllib.request.install_opener(opener)
response3 = urllib.request.urlopen(url)
print(response3.getcode())
print(len(response3.read()))
print(cookie)
code: https://github.com/pascal19821003/python
path: python/study/tutorial/pachong/1.py

总结

以上所述是小编给大家介绍的python3.7简单的爬虫实例详解,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对三水点靠木网站的支持!
如果你觉得本文对你有帮助,欢迎转载,烦请注明出处,谢谢!

Python 相关文章推荐
Python XML RPC服务器端和客户端实例
Nov 22 Python
Python标准库之Sys模块使用详解
May 23 Python
python简单读取大文件的方法
Jul 01 Python
Python队列的定义与使用方法示例
Jun 24 Python
Python探索之Metaclass初步了解
Oct 28 Python
Python实现爬虫设置代理IP和伪装成浏览器的方法分享
May 07 Python
selenium+python设置爬虫代理IP的方法
Nov 29 Python
python实现串口自动触发工作的示例
Jul 02 Python
PyQt使用QPropertyAnimation开发简单动画
Apr 02 Python
TensorFlow实现模型断点训练,checkpoint模型载入方式
May 26 Python
Python-openpyxl表格读取写入的案例详解
Nov 02 Python
python scrapy简单模拟登录的代码分析
Jul 21 Python
在python中画正态分布图像的实例
Jul 08 #Python
python实现beta分布概率密度函数的方法
Jul 08 #Python
python中pip的使用和修改下载源的方法
Jul 08 #Python
python绘制直方图和密度图的实例
Jul 08 #Python
搭建python django虚拟环境完整步骤详解
Jul 08 #Python
python中break、continue 、exit() 、pass终止循环的区别详解
Jul 08 #Python
33个Python爬虫项目实战(推荐)
Jul 08 #Python
You might like
PHP微信开发之模板消息回复
2016/06/24 PHP
laravel 框架执行流程与原理简单分析
2020/02/01 PHP
如何在PHP中使用数组
2020/06/09 PHP
jQuery Validation实例代码 让验证变得如此容易
2010/10/18 Javascript
javascript 单例/单体模式(Singleton)
2011/04/07 Javascript
5秒后跳转效果(setInterval/SetTimeOut)
2013/05/03 Javascript
基于jQuery实现的QQ表情插件
2015/08/25 Javascript
javascript insertAfter()定义与用法示例
2016/07/25 Javascript
深入学习js瀑布流布局
2016/10/14 Javascript
使用BootStrap实现表格隔行变色及hover变色并在需要时出现滚动条
2017/01/04 Javascript
vue element-ui table组件动态生成表头和数据并修改单元格格式 父子组件通信
2019/08/15 Javascript
多个vue子路由文件自动化合并的方法
2019/09/03 Javascript
基于Vue2实现移动端图片上传、压缩、拖拽排序、拖拽删除功能
2021/01/05 Vue.js
Python中请使用isinstance()判断变量类型
2014/08/25 Python
Python操作csv文件实例详解
2017/07/31 Python
利用Tkinter和matplotlib两种方式画饼状图的实例
2017/11/06 Python
python中文乱码不着急,先看懂字节和字符
2017/12/20 Python
Django安装配置mysql的方法步骤
2018/10/15 Python
python3 打开外部程序及关闭的示例
2018/11/06 Python
python redis连接 有序集合去重的代码
2019/08/04 Python
Python re正则表达式元字符分组()用法分享
2020/02/10 Python
将labelme格式数据转化为标准的coco数据集格式方式
2020/02/17 Python
python logging 日志的级别调整方式
2020/02/21 Python
parser.add_argument中的action使用
2020/04/20 Python
如何在vscode中安装python库的方法步骤
2021/01/06 Python
纯CSS改变webkit内核浏览器的滚动条样式
2014/04/17 HTML / CSS
深入浅析css3 border-image边框图像详解
2015/11/24 HTML / CSS
纯css3制作煽动翅膀的蝴蝶的示例
2018/04/23 HTML / CSS
您的时尚,您的生活方式:DTLR Villa
2019/12/25 全球购物
美国基督教约会网站:ChristianCafe.com
2020/02/04 全球购物
大学生村官承诺书
2014/03/28 职场文书
关于中国梦的演讲稿
2014/04/23 职场文书
自我管理的活动方案
2014/08/25 职场文书
信访维稳工作汇报
2014/10/27 职场文书
2014年高数考试作弊检讨书
2014/12/14 职场文书
一百条裙子读书笔记
2015/07/01 职场文书