python3.7简单的爬虫实例详解


Posted in Python onJuly 08, 2019

python3.7简单的爬虫,具体代码如下所示:

#https://www.runoob.com/w3cnote/python-spider-intro.html

#Python 爬虫介绍

import urllib.parse
import urllib.request
from http import cookiejar
url = "http://www.baidu.com"
response1 = urllib.request.urlopen(url)
print("第一种方法")
#获取状态码,200表示成功
print(response1.getcode())
#获取网页内容的长度
print(str(response1.read()))
print(len(response1.read()))
print("第二种方法")
request = urllib.request.Request(url)
#模拟Mozilla浏览器进行爬虫
request.add_header("user-agent","Mozilla/5.0")
response2 = urllib.request.urlopen(request)
print(response2.getcode())
print(len(response2.read()))
print("第三种方法")
cookie = cookiejar.CookieJar()
#加入urllib2处理cookie的能力#
opener = urllib.request.build_opener(urllib.request.HTTPCookieProcessor(cookie))
urllib.request.install_opener(opener)
response3 = urllib.request.urlopen(url)
print(response3.getcode())
print(len(response3.read()))
print(cookie)
code: https://github.com/pascal19821003/python
path: python/study/tutorial/pachong/1.py

总结

以上所述是小编给大家介绍的python3.7简单的爬虫实例详解,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对三水点靠木网站的支持!
如果你觉得本文对你有帮助,欢迎转载,烦请注明出处,谢谢!

Python 相关文章推荐
python中字典dict常用操作方法实例总结
Apr 04 Python
简单的Python的curses库使用教程
Apr 11 Python
举例讲解Python中的死锁、可重入锁和互斥锁
Nov 05 Python
python 实现在Excel末尾增加新行
May 02 Python
解决pycharm无法调用pip安装的包问题
May 18 Python
python numpy数组的索引和切片的操作方法
Oct 20 Python
对python for 文件指定行读写操作详解
Dec 29 Python
如何实现Django Rest framework版本控制
Jul 25 Python
在Python IDLE 下调用anaconda中的库教程
Mar 09 Python
简单了解python调用其他脚本方法实例
Mar 26 Python
anaconda3安装及jupyter环境配置全教程
Aug 24 Python
python如何运行js语句
Sep 09 Python
在python中画正态分布图像的实例
Jul 08 #Python
python实现beta分布概率密度函数的方法
Jul 08 #Python
python中pip的使用和修改下载源的方法
Jul 08 #Python
python绘制直方图和密度图的实例
Jul 08 #Python
搭建python django虚拟环境完整步骤详解
Jul 08 #Python
python中break、continue 、exit() 、pass终止循环的区别详解
Jul 08 #Python
33个Python爬虫项目实战(推荐)
Jul 08 #Python
You might like
Can't create/write to file 'C:\WINDOWS\TEMP\...MYSQL报错解决方法
2011/06/30 PHP
关于URL最大长度限制的相关资料查证
2014/12/23 PHP
PHP实现Javascript中的escape及unescape函数代码分享
2015/02/10 PHP
10条php编程小技巧
2015/07/07 PHP
PHP快速生成各种信息提示框的方法
2016/02/03 PHP
composer.lock文件的作用
2016/02/03 PHP
PHP实现的猴王算法(猴子选大王)示例
2018/04/30 PHP
BOOM vs RR BO5 第二场 2.14
2021/03/10 DOTA
Google Suggest ;-) 基于js的动态下拉菜单
2006/10/11 Javascript
翻译整理的jQuery使用查询手册
2007/03/07 Javascript
Jqgrid之强大的表格插件应用
2015/12/02 Javascript
jquery mobile 移动web(5)
2015/12/20 Javascript
关于验证码在IE中不刷新的快速解决方法
2016/09/23 Javascript
ES6下React组件的写法示例代码
2017/05/04 Javascript
es6+angular1.X+webpack 实现按路由功能打包项目的示例
2017/08/16 Javascript
nodejs初始化init的示例代码
2018/10/10 NodeJs
Vant的安装和配合引入Vue.js项目里的方法步骤
2018/12/05 Javascript
详解小程序用户登录状态检查与更新实例
2019/05/15 Javascript
你眼中的Python大牛 应该都有这份书单
2017/10/31 Python
Python实现多条件筛选目标数据功能【测试可用】
2018/06/13 Python
如何优雅地处理Django中的favicon.ico图标详解
2018/07/05 Python
python实现感知器算法(批处理)
2019/01/18 Python
Django模板标签{% for %}循环,获取制定条数据实例
2020/05/14 Python
Python Pandas 对列/行进行选择,增加,删除操作
2020/05/17 Python
python下载的库包存放路径
2020/07/27 Python
Python中Selenium模块的使用详解
2020/10/09 Python
python实现扫雷游戏的示例
2020/10/20 Python
使用python-cv2实现Harr+Adaboost人脸识别的示例
2020/10/27 Python
函授毕业自我鉴定
2013/12/19 职场文书
创业培训计划书
2014/05/03 职场文书
个人综合鉴定材料
2014/05/23 职场文书
高中学生会竞选演讲稿
2014/08/25 职场文书
乡镇党的群众路线教育实践活动个人对照检查材料
2014/09/23 职场文书
2016年公共机构节能宣传周活动总结
2016/04/05 职场文书
MySQL 8.0 驱动与阿里druid版本兼容问题解决
2021/07/01 MySQL
python之json文件转xml文件案例讲解
2021/08/07 Python