python3爬虫怎样构建请求header


Posted in Python onDecember 23, 2018

写一个爬虫首先就是学会设置请求头header,这样才可以伪装成浏览器。下面小编我就来给大家简单分析一下python3怎样构建一个爬虫的请求头header。

1、python3跟2有了细微差别,所以我们先要引入request,python2没有这个request哦。然后复制网址给url,然后用一个字典来保存header,这个header怎么来的?看第2步。

python3爬虫怎样构建请求header

2、打开任意浏览器某一页面(要联网),按f12,然后点network,之后再按f5,然后就会看到“name”这里,我们点击name里面的任意文件即可。

python3爬虫怎样构建请求header

3、之后右边有一个headers,点击headers找到request headers,这个就是浏览器的请求报头了。

python3爬虫怎样构建请求header

4、然后复制其中的user-agent,其他的cookie还有Accept可以要也可以不要,主要是伪装成浏览器,所以我就用了user-agent

python3爬虫怎样构建请求header

5、接着再用Request方法把url和headers组合在一起就可以构造一个比较简单的请求了。Request有三个参数(url,data,headers),如果有使用data就是post请求了,没有就是get请求。这里我没有data,所以我就指定headers=header,不然header就会被当成data了。

python3爬虫怎样构建请求header

6、请求对象rq就构造好了,然后用urlopen发送这个请求对象就可以了。这就是简单的请求头设置了。

python3爬虫怎样构建请求header

 总结:以上就是关于python3爬虫怎样构建请求头的相关知识点,感谢大家的阅读和对三水点靠木的支持。

Python 相关文章推荐
python基于隐马尔可夫模型实现中文拼音输入
Apr 01 Python
浅谈django开发者模式中的autoreload是如何实现的
Aug 18 Python
python斐波那契数列的计算方法
Sep 27 Python
python构建基础的爬虫教学
Dec 23 Python
在PyCharm导航区中打开多个Project的关闭方法
Jan 17 Python
python2爬取百度贴吧指定关键字和图片代码实例
Aug 14 Python
python GUI库图形界面开发之PyQt5简单绘图板实例与代码分析
Mar 08 Python
详解Python3中的 input() 函数
Mar 18 Python
Windows+Anaconda3+PyTorch+PyCharm的安装教程图文详解
Apr 03 Python
解决Django no such table: django_session的问题
Apr 07 Python
Python3 搭建Qt5 环境的方法示例
Jul 16 Python
matplotlib基础绘图命令之errorbar的使用
Aug 13 Python
windows下搭建python scrapy爬虫框架步骤
Dec 23 #Python
python构建基础的爬虫教学
Dec 23 #Python
Flask之请求钩子的实现
Dec 23 #Python
python爬虫获取新浪新闻教学
Dec 23 #Python
Python爬虫文件下载图文教程
Dec 23 #Python
python爬虫获取百度首页内容教学
Dec 23 #Python
Python爬虫设置代理IP(图文)
Dec 23 #Python
You might like
使用php+xslt在windows平台上
2006/10/09 PHP
php用header函数实现301跳转代码实例
2013/11/25 PHP
php定义一个参数带有默认值的函数实例分析
2015/03/16 PHP
php仿微信红包分配算法的实现方法
2016/05/13 PHP
thinkPHP模板中for循环与switch语句用法示例
2016/11/30 PHP
open 动态修改img的onclick事件示例代码
2013/11/13 Javascript
jQuery实现的多屏图像图层切换效果实例
2015/05/07 Javascript
深入学习JavaScript中的原型prototype
2015/08/13 Javascript
基于jquery实现简单的手风琴特效
2015/11/24 Javascript
基于JavaScript实现瀑布流布局(二)
2016/01/26 Javascript
js组件SlotMachine实现图片切换效果制作抽奖系统
2016/04/17 Javascript
Json解析的方法小结
2016/06/22 Javascript
angular4 如何在全局设置路由跳转动画的方法
2017/08/30 Javascript
Vue2.X 通过AJAX动态更新数据
2018/07/17 Javascript
vue 实现滚动到底部翻页效果(pc端)
2019/07/31 Javascript
Vue的生命周期操作示例
2019/09/17 Javascript
bootstrap实现嵌套模态框的实例代码
2020/01/10 Javascript
vue路由分文件拆分管理详解
2020/08/13 Javascript
python计算时间差的方法
2015/05/20 Python
python中如何使用正则表达式的集合字符示例
2017/10/09 Python
Selenium的使用详解
2018/10/19 Python
python爬取内容存入Excel实例
2019/02/20 Python
Python高阶函数、常用内置函数用法实例分析
2019/12/26 Python
基于Tensorflow读取MNIST数据集时网络超时的解决方式
2020/06/22 Python
CSS3实现背景透明文字不透明的示例代码
2018/06/25 HTML / CSS
css3动画 小球滚动 js控制动画暂停
2019/11/29 HTML / CSS
Crabtree & Evelyn欧盟:豪华洗浴、身体和护发
2021/03/09 全球购物
怎样声明一个匿名的内部类
2016/06/01 面试题
优秀教师主要事迹
2014/02/01 职场文书
中职生自荐信范文
2014/06/15 职场文书
民政局办理协议离婚(范本)
2014/10/25 职场文书
病人家属写给医院的感谢信
2015/01/23 职场文书
听课评课活动心得体会
2016/01/15 职场文书
创业计划书之网吧
2019/10/10 职场文书
创业计划书之密室逃脱
2019/11/08 职场文书
JavaScript 原型与原型链详情
2021/11/02 Javascript