python3爬虫怎样构建请求header


Posted in Python onDecember 23, 2018

写一个爬虫首先就是学会设置请求头header,这样才可以伪装成浏览器。下面小编我就来给大家简单分析一下python3怎样构建一个爬虫的请求头header。

1、python3跟2有了细微差别,所以我们先要引入request,python2没有这个request哦。然后复制网址给url,然后用一个字典来保存header,这个header怎么来的?看第2步。

python3爬虫怎样构建请求header

2、打开任意浏览器某一页面(要联网),按f12,然后点network,之后再按f5,然后就会看到“name”这里,我们点击name里面的任意文件即可。

python3爬虫怎样构建请求header

3、之后右边有一个headers,点击headers找到request headers,这个就是浏览器的请求报头了。

python3爬虫怎样构建请求header

4、然后复制其中的user-agent,其他的cookie还有Accept可以要也可以不要,主要是伪装成浏览器,所以我就用了user-agent

python3爬虫怎样构建请求header

5、接着再用Request方法把url和headers组合在一起就可以构造一个比较简单的请求了。Request有三个参数(url,data,headers),如果有使用data就是post请求了,没有就是get请求。这里我没有data,所以我就指定headers=header,不然header就会被当成data了。

python3爬虫怎样构建请求header

6、请求对象rq就构造好了,然后用urlopen发送这个请求对象就可以了。这就是简单的请求头设置了。

python3爬虫怎样构建请求header

 总结:以上就是关于python3爬虫怎样构建请求头的相关知识点,感谢大家的阅读和对三水点靠木的支持。

Python 相关文章推荐
python实现的一只从百度开始不断搜索的小爬虫
Aug 13 Python
python编程线性回归代码示例
Dec 07 Python
numpy 进行数组拼接,分别在行和列上合并的实例
May 08 Python
python实现windows下文件备份脚本
May 27 Python
python实现简单的单变量线性回归方法
Nov 08 Python
python并发和异步编程实例
Nov 15 Python
Python 循环终止语句的三种方法小结
Jun 24 Python
python字符串格式化方式解析
Oct 19 Python
Django实现简单网页弹出警告代码
Nov 15 Python
Windows10+anacond+GPU+pytorch安装详细过程
Mar 24 Python
pygame实现弹球游戏
Apr 14 Python
python中执行smtplib失败的处理方法
Jul 01 Python
windows下搭建python scrapy爬虫框架步骤
Dec 23 #Python
python构建基础的爬虫教学
Dec 23 #Python
Flask之请求钩子的实现
Dec 23 #Python
python爬虫获取新浪新闻教学
Dec 23 #Python
Python爬虫文件下载图文教程
Dec 23 #Python
python爬虫获取百度首页内容教学
Dec 23 #Python
Python爬虫设置代理IP(图文)
Dec 23 #Python
You might like
关于IIS php调用com组件的权限问题
2012/01/11 PHP
如何把php5.3版本升级到php5.4或者php5.5
2015/07/31 PHP
PHP入门教程之正则表达式基本用法实例详解(正则匹配,搜索,分割等)
2016/09/11 PHP
谈谈从phpinfo中能获取哪些值得注意的信息
2017/03/28 PHP
用js实现的仿sohu博客更换页面风格(简单版)
2007/03/22 Javascript
添加JavaScript重载函数的辅助方法2
2010/07/04 Javascript
json字符串之间的相互转换示例代码
2014/08/21 Javascript
jQuery的load()方法及其回调函数用法实例
2015/03/25 Javascript
jQuery简单实现验证邮箱格式
2015/07/15 Javascript
JavaScript获取当前cpu使用率的方法
2015/12/15 Javascript
JSONObject使用方法详解
2015/12/17 Javascript
不得不分享的JavaScript常用方法函数集(下)
2015/12/25 Javascript
详解jQuery事件
2017/01/13 Javascript
JavaScript实现获取用户单击body中所有A标签内容的方法
2017/06/05 Javascript
vue初尝试--项目结构(推荐)
2018/01/30 Javascript
Vue press 支持图片放大功能的实例代码
2018/11/09 Javascript
深入浅析vue全局环境变量和模式
2020/04/28 Javascript
Python操作sqlite3快速、安全插入数据(防注入)的实例
2014/04/26 Python
详解Python中with语句的用法
2015/04/15 Python
Python内置函数delattr的具体用法
2017/11/23 Python
python 基于UDP协议套接字通信的实现
2021/01/22 Python
GLAMGLOW格莱魅美国官网:美国知名的面膜品牌
2016/12/31 全球购物
在c#中using和new这两个关键字有什么意义
2013/05/19 面试题
J2EE是技术还是平台还是框架
2016/08/14 面试题
毕业生个人投资创业计划书
2014/01/04 职场文书
高三学习决心书
2014/03/11 职场文书
青年安全生产示范岗事迹材料
2014/05/04 职场文书
ktv好的活动方案
2014/08/15 职场文书
2014党员干部四风问题对照检查材料思想汇报
2014/09/24 职场文书
政风行风自查自纠报告
2014/10/21 职场文书
培训通知书模板
2015/04/17 职场文书
2016大学生诚信考试承诺书
2016/03/25 职场文书
Oracle设置DB、监听和EM开机启动的方法
2021/04/25 Oracle
pytorch 预训练模型读取修改相关参数的填坑问题
2021/06/05 Python
python实现股票历史数据可视化分析案例
2021/06/10 Python
MyBatis 动态SQL全面详解
2021/10/05 MySQL