python3爬虫怎样构建请求header


Posted in Python onDecember 23, 2018

写一个爬虫首先就是学会设置请求头header,这样才可以伪装成浏览器。下面小编我就来给大家简单分析一下python3怎样构建一个爬虫的请求头header。

1、python3跟2有了细微差别,所以我们先要引入request,python2没有这个request哦。然后复制网址给url,然后用一个字典来保存header,这个header怎么来的?看第2步。

python3爬虫怎样构建请求header

2、打开任意浏览器某一页面(要联网),按f12,然后点network,之后再按f5,然后就会看到“name”这里,我们点击name里面的任意文件即可。

python3爬虫怎样构建请求header

3、之后右边有一个headers,点击headers找到request headers,这个就是浏览器的请求报头了。

python3爬虫怎样构建请求header

4、然后复制其中的user-agent,其他的cookie还有Accept可以要也可以不要,主要是伪装成浏览器,所以我就用了user-agent

python3爬虫怎样构建请求header

5、接着再用Request方法把url和headers组合在一起就可以构造一个比较简单的请求了。Request有三个参数(url,data,headers),如果有使用data就是post请求了,没有就是get请求。这里我没有data,所以我就指定headers=header,不然header就会被当成data了。

python3爬虫怎样构建请求header

6、请求对象rq就构造好了,然后用urlopen发送这个请求对象就可以了。这就是简单的请求头设置了。

python3爬虫怎样构建请求header

 总结:以上就是关于python3爬虫怎样构建请求头的相关知识点,感谢大家的阅读和对三水点靠木的支持。

Python 相关文章推荐
Python标准异常和异常处理详解
Feb 02 Python
Python中的命令行参数解析工具之docopt详解
Mar 27 Python
Python的CGIHTTPServer交互实现详解
Feb 08 Python
python实现自动化上线脚本的示例
Jul 01 Python
解决Django加载静态资源失败的问题
Jul 28 Python
正则给header的冒号两边参数添加单引号(Python请求用)
Aug 09 Python
详解python中*号的用法
Oct 21 Python
Python利用PyExecJS库执行JS函数的案例分析
Dec 18 Python
django xadmin action兼容自定义model权限教程
Mar 30 Python
Python如何在循环内使用list.remove()
Jun 01 Python
python openssl模块安装及用法
Dec 06 Python
在 Python 中利用 Pool 进行多线程
Apr 24 Python
windows下搭建python scrapy爬虫框架步骤
Dec 23 #Python
python构建基础的爬虫教学
Dec 23 #Python
Flask之请求钩子的实现
Dec 23 #Python
python爬虫获取新浪新闻教学
Dec 23 #Python
Python爬虫文件下载图文教程
Dec 23 #Python
python爬虫获取百度首页内容教学
Dec 23 #Python
Python爬虫设置代理IP(图文)
Dec 23 #Python
You might like
PHP设计模式 注册表模式
2012/02/05 PHP
php页码形式分页函数支持静态化地址及ajax分页
2014/03/28 PHP
thinkphp中的url跳转用法分析
2016/07/12 PHP
PHP串行化与反串行化实例分析
2016/12/27 PHP
学习thinkphp5.0验证类使用方法
2017/11/16 PHP
CSS中一些@规则的用法小结
2021/03/09 HTML / CSS
innerhtml用法 innertext用法 以及innerHTML与innertext的区别
2009/10/26 Javascript
js中onload与onunload的使用示例
2013/08/25 Javascript
js实现连续英文字符自动换行兼容ie6 ie7和firefox
2013/09/06 Javascript
自己动手实现jQuery Callbacks完整功能代码详解
2013/11/25 Javascript
IE6 hack for js 集锦
2014/09/23 Javascript
JS和JQ的event对象区别分析
2014/11/24 Javascript
使用jQuery实现图片遮罩半透明坠落遮挡
2015/03/16 Javascript
js设置document.domain实现跨域的注意点分析
2015/05/21 Javascript
一道面试题引发的对javascript类型转换的思考
2017/03/06 Javascript
react-native ListView下拉刷新上拉加载实现代码
2017/08/03 Javascript
Vue shopCart 组件开发详解
2018/01/26 Javascript
详解Vue.js在页面加载时执行某个方法
2018/11/20 Javascript
vue-cli3 项目优化之通过 node 自动生成组件模板 generate View、Component
2019/04/30 Javascript
Vue.js轮播图走马灯代码实例(全)
2019/05/08 Javascript
vue遍历生成的输入框 绑定及修改值示例
2019/10/30 Javascript
基于JavaScript实现简单抽奖功能代码实例
2020/10/20 Javascript
[00:31]DOTA2荣耀之路7:Miracle-空血无敌斩
2018/05/31 DOTA
详解python发送各类邮件的主要方法
2016/12/22 Python
基于python中的TCP及UDP(详解)
2017/11/06 Python
python数据处理 根据颜色对图片进行分类的方法
2018/12/08 Python
PyTorch中Tensor的维度变换实现
2019/08/18 Python
基于python3 的百度图片下载器的实现代码
2019/11/05 Python
tensorflow获取预训练模型某层参数并赋值到当前网络指定层方式
2020/01/24 Python
如何更换python默认编辑器的背景色
2020/08/10 Python
Python基于template实现字符串替换
2020/11/27 Python
美国领先的奢侈手表在线零售商:WatchMaxx
2017/12/17 全球购物
意大利在线药房:Saninforma
2021/02/11 全球购物
领导检查欢迎词
2014/01/14 职场文书
环保宣传标语
2014/06/12 职场文书
使用CSS实现一个搜索引擎的原理解析
2021/09/25 HTML / CSS