python3爬虫怎样构建请求header


Posted in Python onDecember 23, 2018

写一个爬虫首先就是学会设置请求头header,这样才可以伪装成浏览器。下面小编我就来给大家简单分析一下python3怎样构建一个爬虫的请求头header。

1、python3跟2有了细微差别,所以我们先要引入request,python2没有这个request哦。然后复制网址给url,然后用一个字典来保存header,这个header怎么来的?看第2步。

python3爬虫怎样构建请求header

2、打开任意浏览器某一页面(要联网),按f12,然后点network,之后再按f5,然后就会看到“name”这里,我们点击name里面的任意文件即可。

python3爬虫怎样构建请求header

3、之后右边有一个headers,点击headers找到request headers,这个就是浏览器的请求报头了。

python3爬虫怎样构建请求header

4、然后复制其中的user-agent,其他的cookie还有Accept可以要也可以不要,主要是伪装成浏览器,所以我就用了user-agent

python3爬虫怎样构建请求header

5、接着再用Request方法把url和headers组合在一起就可以构造一个比较简单的请求了。Request有三个参数(url,data,headers),如果有使用data就是post请求了,没有就是get请求。这里我没有data,所以我就指定headers=header,不然header就会被当成data了。

python3爬虫怎样构建请求header

6、请求对象rq就构造好了,然后用urlopen发送这个请求对象就可以了。这就是简单的请求头设置了。

python3爬虫怎样构建请求header

 总结:以上就是关于python3爬虫怎样构建请求头的相关知识点,感谢大家的阅读和对三水点靠木的支持。

Python 相关文章推荐
python判断给定的字符串是否是有效日期的方法
May 13 Python
python自动翻译实现方法
May 28 Python
Python 搭建Web站点之Web服务器与Web框架
Nov 06 Python
python学习之matplotlib绘制散点图实例
Dec 09 Python
numpy.std() 计算矩阵标准差的方法
Jul 11 Python
Python 多线程不加锁分块读取文件的方法
Dec 11 Python
Python 中的 import 机制之实现远程导入模块
Oct 29 Python
python常用运维脚本实例小结
Feb 14 Python
Jupyter notebook设置背景主题,字体大小及自动补全代码的操作
Apr 13 Python
Pytorch 使用opnecv读入图像由HWC转为BCHW格式方式
Jun 02 Python
Django rest framework分页接口实现原理解析
Aug 21 Python
python连接手机自动搜集蚂蚁森林能量的实现代码
Feb 24 Python
windows下搭建python scrapy爬虫框架步骤
Dec 23 #Python
python构建基础的爬虫教学
Dec 23 #Python
Flask之请求钩子的实现
Dec 23 #Python
python爬虫获取新浪新闻教学
Dec 23 #Python
Python爬虫文件下载图文教程
Dec 23 #Python
python爬虫获取百度首页内容教学
Dec 23 #Python
Python爬虫设置代理IP(图文)
Dec 23 #Python
You might like
让Nginx支持ThinkPHP的URL重写和PATHINFO的方法分享
2011/08/08 PHP
PHP内核介绍及扩展开发指南―基础知识
2011/09/11 PHP
ThinkPHP之A方法实例讲解
2014/06/20 PHP
php构造方法中析构方法在继承中的表现
2016/04/12 PHP
获取HTML DOM节点元素的方法的总结
2009/08/21 Javascript
Microsoft Ajax Minifier 压缩javascript的方法
2010/03/05 Javascript
jQuery1.3.2 升级到jQuery1.4.4需要修改的地方
2011/01/06 Javascript
js取滚动条的尺寸的函数代码
2011/11/30 Javascript
javascript操作JSON的要领总结
2012/12/09 Javascript
jquery统计用户选中的复选框的个数
2014/06/06 Javascript
JavaScript中遍历对象的property的3种方法介绍
2014/12/30 Javascript
JavaScript数据类型详解
2015/04/01 Javascript
jquery trigger实现联动的方法
2016/02/29 Javascript
第四章之BootStrap表单与图片
2016/04/25 Javascript
常用原生JS兼容性写法汇总
2016/04/27 Javascript
Node.js环境下JavaScript实现单链表与双链表结构
2016/06/12 Javascript
Node.js的环境安装配置(使用nvm方式)
2016/10/11 Javascript
教你快速搭建Node.Js服务器的方法教程
2017/03/30 Javascript
vue生命周期和react生命周期对比【推荐】
2018/09/19 Javascript
vue将单页面改造成多页面应用的方法
2018/11/25 Javascript
解决Tensorflow安装成功,但在导入时报错的问题
2018/06/13 Python
Python数据类型之列表和元组的方法实例详解
2019/07/08 Python
详解Python打包分发工具setuptools
2019/08/05 Python
Python简易版图书管理系统
2019/08/12 Python
详解用Python为直方图绘制拟合曲线的两种方法
2019/08/21 Python
Python 定义只读属性的实现方式
2020/03/05 Python
巴黎一票通:The Paris Pass
2018/02/10 全球购物
美国时尚大码女装购物网站:Avenue
2019/05/24 全球购物
德国帽子专家:Hutshopping
2019/11/03 全球购物
类和结构的区别
2012/08/15 面试题
迟到检讨书5000字
2014/01/31 职场文书
会计毕业自我鉴定
2014/02/05 职场文书
年级组长自我鉴定
2014/02/22 职场文书
教师培训学习心得体会
2016/01/21 职场文书
离婚协议书格式范本
2016/03/18 职场文书
2016医师资格考试考生诚信考试承诺书
2016/03/25 职场文书