python3爬虫怎样构建请求header


Posted in Python onDecember 23, 2018

写一个爬虫首先就是学会设置请求头header,这样才可以伪装成浏览器。下面小编我就来给大家简单分析一下python3怎样构建一个爬虫的请求头header。

1、python3跟2有了细微差别,所以我们先要引入request,python2没有这个request哦。然后复制网址给url,然后用一个字典来保存header,这个header怎么来的?看第2步。

python3爬虫怎样构建请求header

2、打开任意浏览器某一页面(要联网),按f12,然后点network,之后再按f5,然后就会看到“name”这里,我们点击name里面的任意文件即可。

python3爬虫怎样构建请求header

3、之后右边有一个headers,点击headers找到request headers,这个就是浏览器的请求报头了。

python3爬虫怎样构建请求header

4、然后复制其中的user-agent,其他的cookie还有Accept可以要也可以不要,主要是伪装成浏览器,所以我就用了user-agent

python3爬虫怎样构建请求header

5、接着再用Request方法把url和headers组合在一起就可以构造一个比较简单的请求了。Request有三个参数(url,data,headers),如果有使用data就是post请求了,没有就是get请求。这里我没有data,所以我就指定headers=header,不然header就会被当成data了。

python3爬虫怎样构建请求header

6、请求对象rq就构造好了,然后用urlopen发送这个请求对象就可以了。这就是简单的请求头设置了。

python3爬虫怎样构建请求header

 总结:以上就是关于python3爬虫怎样构建请求头的相关知识点,感谢大家的阅读和对三水点靠木的支持。

Python 相关文章推荐
python执行等待程序直到第二天零点的方法
Apr 23 Python
python实现TCP服务器端与客户端的方法详解
Apr 30 Python
Python栈类实例分析
Jun 15 Python
Python使用smtplib模块发送电子邮件的流程详解
Jun 27 Python
Python 多核并行计算的示例代码
Nov 07 Python
浅谈flask截获所有访问及before/after_request修饰器
Jan 18 Python
对sklearn的使用之数据集的拆分与训练详解(python3.6)
Dec 14 Python
详解Python循环作用域与闭包
Mar 21 Python
Django的性能优化实现解析
Jul 30 Python
解决TensorFlow GPU版出现OOM错误的问题
Feb 03 Python
Python selenium的这三种等待方式一定要会!
Jun 10 Python
Python利用机器学习算法实现垃圾邮件的识别
Jun 28 Python
windows下搭建python scrapy爬虫框架步骤
Dec 23 #Python
python构建基础的爬虫教学
Dec 23 #Python
Flask之请求钩子的实现
Dec 23 #Python
python爬虫获取新浪新闻教学
Dec 23 #Python
Python爬虫文件下载图文教程
Dec 23 #Python
python爬虫获取百度首页内容教学
Dec 23 #Python
Python爬虫设置代理IP(图文)
Dec 23 #Python
You might like
php和javascript之间变量的传递实现代码
2012/12/19 PHP
zf框架的校验器InArray使用示例
2014/03/13 PHP
php中base64_decode与base64_encode加密解密函数实例
2014/11/24 PHP
Javascript 错误处理的几种方法
2009/06/13 Javascript
用Javascript来生成ftp脚本的小例子
2013/07/03 Javascript
解决js页面滚动效果scrollTop在FireFox与Chrome浏览器间的兼容问题的方法
2015/12/03 Javascript
jQuery3.0中的buildFragment私有函数详解
2016/08/16 Javascript
教你5分钟学会用requirejs(必看篇)
2017/07/25 Javascript
JS实现图片放大镜插件详解
2017/11/06 Javascript
iview中Select 选择器多选校验方法
2018/03/15 Javascript
基于vue-element组件实现音乐播放器功能
2018/05/06 Javascript
javascript中toFixed()四舍五入使用方法详解
2018/09/28 Javascript
JavaScript解析机制与闭包原理实例详解
2019/03/08 Javascript
vue data引入本地图片的两种方式小结
2019/11/13 Javascript
python使用WMI检测windows系统信息、硬盘信息、网卡信息的方法
2015/05/15 Python
Python的标准模块包json详解
2017/03/13 Python
Python猴子补丁知识点总结
2020/01/05 Python
Python如何输出整数
2020/06/07 Python
Keras搭建自编码器操作
2020/07/03 Python
python一些性能分析的技巧
2020/08/30 Python
CSS3制作半透明边框(Facebox)类似渐变
2012/12/09 HTML / CSS
深入探究HTML5的History API
2015/07/09 HTML / CSS
美国乒乓球设备、配件和服装品牌:Killerspin
2020/06/07 全球购物
饭店工作计划书
2014/01/10 职场文书
酒店采购员岗位职责
2014/03/14 职场文书
《画风》教学反思
2014/04/16 职场文书
优秀安全员事迹材料
2014/05/11 职场文书
希特勒经典演讲稿
2014/05/19 职场文书
设计专业自荐信
2014/06/19 职场文书
优秀本科毕业生自荐信
2014/07/04 职场文书
2014年学校德育工作总结
2014/12/05 职场文书
2014个人年终工作总结范文
2014/12/15 职场文书
党员个人总结范文
2015/02/14 职场文书
教师节校长致辞
2015/07/31 职场文书
go语言中切片与内存复制 memcpy 的实现操作
2021/04/27 Golang
MySQL里面的子查询的基本使用
2021/08/02 MySQL