python3爬虫怎样构建请求header


Posted in Python onDecember 23, 2018

写一个爬虫首先就是学会设置请求头header,这样才可以伪装成浏览器。下面小编我就来给大家简单分析一下python3怎样构建一个爬虫的请求头header。

1、python3跟2有了细微差别,所以我们先要引入request,python2没有这个request哦。然后复制网址给url,然后用一个字典来保存header,这个header怎么来的?看第2步。

python3爬虫怎样构建请求header

2、打开任意浏览器某一页面(要联网),按f12,然后点network,之后再按f5,然后就会看到“name”这里,我们点击name里面的任意文件即可。

python3爬虫怎样构建请求header

3、之后右边有一个headers,点击headers找到request headers,这个就是浏览器的请求报头了。

python3爬虫怎样构建请求header

4、然后复制其中的user-agent,其他的cookie还有Accept可以要也可以不要,主要是伪装成浏览器,所以我就用了user-agent

python3爬虫怎样构建请求header

5、接着再用Request方法把url和headers组合在一起就可以构造一个比较简单的请求了。Request有三个参数(url,data,headers),如果有使用data就是post请求了,没有就是get请求。这里我没有data,所以我就指定headers=header,不然header就会被当成data了。

python3爬虫怎样构建请求header

6、请求对象rq就构造好了,然后用urlopen发送这个请求对象就可以了。这就是简单的请求头设置了。

python3爬虫怎样构建请求header

 总结:以上就是关于python3爬虫怎样构建请求头的相关知识点,感谢大家的阅读和对三水点靠木的支持。

Python 相关文章推荐
分享Python开发中要注意的十个小贴士
Aug 30 Python
Python轻量级ORM框架Peewee访问sqlite数据库的方法详解
Jul 20 Python
Python中序列的修改、散列与切片详解
Aug 27 Python
Django原生sql也能使用Paginator分页的示例代码
Nov 15 Python
Python基于贪心算法解决背包问题示例
Nov 27 Python
python编程嵌套函数实例代码
Feb 11 Python
Python使用sorted对字典的key或value排序
Nov 15 Python
Python面向对象程序设计OOP深入分析【构造函数,组合类,工具类等】
Jan 05 Python
对Python之gzip文件读写的方法详解
Feb 08 Python
Python supervisor强大的进程管理工具的使用
Apr 24 Python
Python内置方法实现字符串的秘钥加解密(推荐)
Dec 09 Python
python如何代码集体右移
Jul 20 Python
windows下搭建python scrapy爬虫框架步骤
Dec 23 #Python
python构建基础的爬虫教学
Dec 23 #Python
Flask之请求钩子的实现
Dec 23 #Python
python爬虫获取新浪新闻教学
Dec 23 #Python
Python爬虫文件下载图文教程
Dec 23 #Python
python爬虫获取百度首页内容教学
Dec 23 #Python
Python爬虫设置代理IP(图文)
Dec 23 #Python
You might like
浅析php插件 Simple HTML DOM 用DOM方式处理HTML
2013/07/01 PHP
PHP实现动态柱状图改进版
2015/03/30 PHP
ThinkPHP控制器详解
2015/07/27 PHP
JS分割字符串并放入数组的函数
2011/07/04 Javascript
jquery提交form表单简单示例分享
2014/03/03 Javascript
对js关键字命名的疑问介绍
2014/04/25 Javascript
IE6 hack for js 集锦
2014/09/23 Javascript
JS自定义对象实现Java中Map对象功能的方法
2015/01/20 Javascript
JS实现跟随鼠标闪烁转动色块的方法
2015/02/26 Javascript
JSON相关知识汇总
2015/07/03 Javascript
jQuery遍历DOM节点操作之filter()方法详解
2016/04/14 Javascript
JS实现动画兼容性的transition和transform实例分析
2016/12/13 Javascript
nodejs实现超简单生成二维码的方法
2018/03/17 NodeJs
Vue的路由动态重定向和导航守卫实例
2018/03/17 Javascript
vue axios请求频繁时取消上一次请求的方法
2018/11/10 Javascript
vue router导航守卫(router.beforeEach())的使用详解
2019/04/19 Javascript
Angular.JS读取数据库数据调用完整实例
2019/07/02 Javascript
vue动态路由:路由参数改变,视图不更新问题的解决
2019/11/05 Javascript
JS获取当前时间的年月日时分秒及时间的格式化的方法
2019/12/18 Javascript
Python守护线程用法实例
2017/06/23 Python
Python实现感知机(PLA)算法
2017/12/20 Python
Flask入门之上传文件到服务器的方法示例
2018/07/18 Python
python实现计数排序与桶排序实例代码
2019/03/28 Python
使用tensorboard可视化loss和acc的实例
2020/01/21 Python
python3通过udp实现组播数据的发送和接收操作
2020/05/05 Python
keras .h5转移动端的.tflite文件实现方式
2020/05/25 Python
Python如何给你的程序做性能测试
2020/07/29 Python
让IE6支持css3,让 IE7、IE8 都支持CSS3
2011/10/09 HTML / CSS
CSS3效果:自定义“W”形运行轨迹实例
2017/03/29 HTML / CSS
李宁官方网店:中国运动品牌
2017/11/02 全球购物
Currentbody西班牙:美容仪专家
2019/09/28 全球购物
数据库笔试题
2013/05/09 面试题
鼓励运动员的广播稿
2014/02/08 职场文书
2014高中生入党思想汇报范文
2014/09/13 职场文书
导游词之上饶龟峰
2019/10/25 职场文书
Spring Data JPA框架Repository自定义实现
2022/04/28 Java/Android