python3爬虫怎样构建请求header


Posted in Python onDecember 23, 2018

写一个爬虫首先就是学会设置请求头header,这样才可以伪装成浏览器。下面小编我就来给大家简单分析一下python3怎样构建一个爬虫的请求头header。

1、python3跟2有了细微差别,所以我们先要引入request,python2没有这个request哦。然后复制网址给url,然后用一个字典来保存header,这个header怎么来的?看第2步。

python3爬虫怎样构建请求header

2、打开任意浏览器某一页面(要联网),按f12,然后点network,之后再按f5,然后就会看到“name”这里,我们点击name里面的任意文件即可。

python3爬虫怎样构建请求header

3、之后右边有一个headers,点击headers找到request headers,这个就是浏览器的请求报头了。

python3爬虫怎样构建请求header

4、然后复制其中的user-agent,其他的cookie还有Accept可以要也可以不要,主要是伪装成浏览器,所以我就用了user-agent

python3爬虫怎样构建请求header

5、接着再用Request方法把url和headers组合在一起就可以构造一个比较简单的请求了。Request有三个参数(url,data,headers),如果有使用data就是post请求了,没有就是get请求。这里我没有data,所以我就指定headers=header,不然header就会被当成data了。

python3爬虫怎样构建请求header

6、请求对象rq就构造好了,然后用urlopen发送这个请求对象就可以了。这就是简单的请求头设置了。

python3爬虫怎样构建请求header

 总结:以上就是关于python3爬虫怎样构建请求头的相关知识点,感谢大家的阅读和对三水点靠木的支持。

Python 相关文章推荐
python使用socket向客户端发送数据的方法
Apr 29 Python
Python实现的Excel文件读写类
Jul 30 Python
浅析Python中yield关键词的作用与用法
Nov 29 Python
Python匿名函数/排序函数/过滤函数/映射函数/递归/二分法
Jun 05 Python
Django ModelForm组件使用方法详解
Jul 23 Python
Python使用scrapy爬取阳光热线问政平台过程解析
Aug 14 Python
python global和nonlocal用法解析
Feb 03 Python
Python爬虫实现模拟点击动态页面
Mar 05 Python
Python读取配置文件(config.ini)以及写入配置文件
Apr 08 Python
Python3安装模块报错Microsoft Visual C++ 14.0 is required的解决方法
Jul 28 Python
selenium.webdriver中add_argument方法常用参数表
Apr 08 Python
python+pytest接口自动化之token关联登录的实现
Apr 06 Python
windows下搭建python scrapy爬虫框架步骤
Dec 23 #Python
python构建基础的爬虫教学
Dec 23 #Python
Flask之请求钩子的实现
Dec 23 #Python
python爬虫获取新浪新闻教学
Dec 23 #Python
Python爬虫文件下载图文教程
Dec 23 #Python
python爬虫获取百度首页内容教学
Dec 23 #Python
Python爬虫设置代理IP(图文)
Dec 23 #Python
You might like
php mysql Errcode: 28 终极解决方法
2009/07/01 PHP
PHP让网站移动访问更加友好方法
2019/02/14 PHP
Thinkphp 框架基础之源码获取、环境要求与目录结构分析
2020/04/27 PHP
ThinkPHP5.1的权限控制怎么写?分享一个AUTH权限控制
2021/03/09 PHP
javascript 获取浏览器版本
2015/01/21 Javascript
Bootstrap3.0学习教程之JS折叠插件
2016/05/27 Javascript
Js+Ajax,Get和Post在使用上的区别小结
2016/06/08 Javascript
浅谈jquery中的each方法$.each、this.each、$.fn.each
2016/06/23 Javascript
基于JS如何实现给字符加千分符(65,541,694,158)
2016/08/03 Javascript
在windows上用nodejs搭建静态文件服务器的简单方法
2016/08/11 NodeJs
jquery处理checkbox(复选框)是否被选中实例代码
2017/06/12 jQuery
微信小程序 sha1 实现密码加密实例详解
2017/07/06 Javascript
BootStrap modal实现拖拽功能
2018/12/01 Javascript
原生js实现随机点名功能
2019/11/05 Javascript
vue3.0 项目搭建和使用流程
2021/03/04 Vue.js
[47:03]Ti4第二日主赛事败者组 LGD vs iG 2
2014/07/21 DOTA
Python利用pyHook实现监听用户鼠标与键盘事件
2014/08/21 Python
python实现指定字符串补全空格的方法
2015/04/30 Python
python 不以科学计数法输出的方法
2018/07/16 Python
Python3.5面向对象程序设计之类的继承和多态详解
2019/04/24 Python
详解python实现数据归一化处理的方式:(0,1)标准化
2019/07/17 Python
浅析python redis的连接及相关操作
2019/11/07 Python
使用pandas的box_plot去除异常值
2019/12/10 Python
python 实现图片批量压缩的示例
2020/12/18 Python
阳光体育:Sunny Sports(购买露营和远足设备)
2018/08/07 全球购物
英国买鞋网站:Charles Clinkard
2019/11/14 全球购物
IBatis持久层技术
2016/07/18 面试题
企业办公室岗位职责
2014/03/12 职场文书
年终晚会主持词
2014/03/25 职场文书
研究生简历自我评价范文
2014/09/13 职场文书
检讨书1000字
2014/10/11 职场文书
优秀英文求职信范文
2015/03/19 职场文书
护士岗前培训心得体会
2016/01/08 职场文书
禁毒心得体会范文
2016/01/15 职场文书
初中教务主任竞聘演讲稿(范文)
2019/08/20 职场文书
springboot读取resources下文件的方式详解
2022/06/21 Java/Android