python3爬虫怎样构建请求header


Posted in Python onDecember 23, 2018

写一个爬虫首先就是学会设置请求头header,这样才可以伪装成浏览器。下面小编我就来给大家简单分析一下python3怎样构建一个爬虫的请求头header。

1、python3跟2有了细微差别,所以我们先要引入request,python2没有这个request哦。然后复制网址给url,然后用一个字典来保存header,这个header怎么来的?看第2步。

python3爬虫怎样构建请求header

2、打开任意浏览器某一页面(要联网),按f12,然后点network,之后再按f5,然后就会看到“name”这里,我们点击name里面的任意文件即可。

python3爬虫怎样构建请求header

3、之后右边有一个headers,点击headers找到request headers,这个就是浏览器的请求报头了。

python3爬虫怎样构建请求header

4、然后复制其中的user-agent,其他的cookie还有Accept可以要也可以不要,主要是伪装成浏览器,所以我就用了user-agent

python3爬虫怎样构建请求header

5、接着再用Request方法把url和headers组合在一起就可以构造一个比较简单的请求了。Request有三个参数(url,data,headers),如果有使用data就是post请求了,没有就是get请求。这里我没有data,所以我就指定headers=header,不然header就会被当成data了。

python3爬虫怎样构建请求header

6、请求对象rq就构造好了,然后用urlopen发送这个请求对象就可以了。这就是简单的请求头设置了。

python3爬虫怎样构建请求header

 总结:以上就是关于python3爬虫怎样构建请求头的相关知识点,感谢大家的阅读和对三水点靠木的支持。

Python 相关文章推荐
使用Python中PDB模块中的命令来调试Python代码的教程
Mar 30 Python
pygame播放音乐的方法
May 19 Python
python实现马耳可夫链算法实例分析
May 20 Python
Python 机器学习库 NumPy入门教程
Apr 19 Python
深入分析python数据挖掘 Json结构分析
Apr 21 Python
Python datetime 格式化 明天,昨天实例
Mar 02 Python
python画环形图的方法
Mar 25 Python
浅谈keras.callbacks设置模型保存策略
Jun 18 Python
Python基于yaml文件配置logging日志过程解析
Jun 23 Python
python等待10秒执行下一命令的方法
Jul 19 Python
深入理解Python变量的数据类型和存储
Feb 01 Python
Python面向对象之内置函数相关知识总结
Jun 24 Python
windows下搭建python scrapy爬虫框架步骤
Dec 23 #Python
python构建基础的爬虫教学
Dec 23 #Python
Flask之请求钩子的实现
Dec 23 #Python
python爬虫获取新浪新闻教学
Dec 23 #Python
Python爬虫文件下载图文教程
Dec 23 #Python
python爬虫获取百度首页内容教学
Dec 23 #Python
Python爬虫设置代理IP(图文)
Dec 23 #Python
You might like
php设计模式 Facade(外观模式)
2011/06/26 PHP
在php中判断一个请求是ajax请求还是普通请求的方法
2011/06/28 PHP
ThinkPHP实现多数据库连接的解决方法
2014/07/01 PHP
ThinkPHP框架实现导出excel数据的方法示例【基于PHPExcel】
2018/05/12 PHP
Laravel框架使用Seeder实现自动填充数据功能
2018/06/13 PHP
设定php简写功能的方法
2019/11/28 PHP
jQuery EasyUI API 中文文档 - ProgressBar 进度条
2011/09/29 Javascript
调试Node.JS的辅助工具(NodeWatcher)
2012/01/04 Javascript
JavaScript中push(),join() 函数 实例详解
2016/09/06 Javascript
详解Node中导入模块require和import的区别
2017/08/11 Javascript
vue2.0在table中实现全选和反选的示例代码
2017/11/04 Javascript
通过 JS 判断页面是否有滚动条的实现方法
2018/04/05 Javascript
vue-router的钩子函数用法实例分析
2019/10/26 Javascript
高效jQuery选择器的5个技巧实例分析
2019/11/26 jQuery
vue2.0 解决抽取公用js的问题
2020/07/31 Javascript
elementui更改el-dialog关闭按钮的图标d的示例代码
2020/08/04 Javascript
JavaScript实现烟花绽放动画效果
2020/08/04 Javascript
利用JavaScript为句子加标题的3种方法示例
2021/01/05 Javascript
js删除指定位置超链接中含有百度与360的标题
2021/01/06 Javascript
Python利用pandas计算多个CSV文件数据值的实例
2018/04/19 Python
Python continue语句实例用法
2020/02/06 Python
Python openpyxl 插入折线图实例
2020/04/17 Python
解决pycharm安装第三方库失败的问题
2020/05/09 Python
Python模拟键盘输入自动登录TGP
2020/11/27 Python
HTML5 canvas基本绘图之填充样式实现
2016/06/27 HTML / CSS
FILA斐乐中国官方商城:意大利运动品牌
2017/01/25 全球购物
Sony C++笔试题
2013/03/10 面试题
写一个函数,求一个字符串的长度。在main函数中输入字符串,并输出其长度
2015/11/18 面试题
教师应聘个人求职信
2013/12/10 职场文书
设计师求职信
2014/07/01 职场文书
委托证明书
2014/09/17 职场文书
自愿离婚协议书范文2014
2014/10/12 职场文书
2014年体育工作总结
2014/11/24 职场文书
2015年乡镇人大工作总结
2015/04/22 职场文书
2015年青年志愿者协会工作总结
2015/04/27 职场文书
Python数据可视化之绘制柱状图和条形图
2021/05/25 Python