python3爬虫怎样构建请求header


Posted in Python onDecember 23, 2018

写一个爬虫首先就是学会设置请求头header,这样才可以伪装成浏览器。下面小编我就来给大家简单分析一下python3怎样构建一个爬虫的请求头header。

1、python3跟2有了细微差别,所以我们先要引入request,python2没有这个request哦。然后复制网址给url,然后用一个字典来保存header,这个header怎么来的?看第2步。

python3爬虫怎样构建请求header

2、打开任意浏览器某一页面(要联网),按f12,然后点network,之后再按f5,然后就会看到“name”这里,我们点击name里面的任意文件即可。

python3爬虫怎样构建请求header

3、之后右边有一个headers,点击headers找到request headers,这个就是浏览器的请求报头了。

python3爬虫怎样构建请求header

4、然后复制其中的user-agent,其他的cookie还有Accept可以要也可以不要,主要是伪装成浏览器,所以我就用了user-agent

python3爬虫怎样构建请求header

5、接着再用Request方法把url和headers组合在一起就可以构造一个比较简单的请求了。Request有三个参数(url,data,headers),如果有使用data就是post请求了,没有就是get请求。这里我没有data,所以我就指定headers=header,不然header就会被当成data了。

python3爬虫怎样构建请求header

6、请求对象rq就构造好了,然后用urlopen发送这个请求对象就可以了。这就是简单的请求头设置了。

python3爬虫怎样构建请求header

 总结:以上就是关于python3爬虫怎样构建请求头的相关知识点,感谢大家的阅读和对三水点靠木的支持。

Python 相关文章推荐
python正则匹配抓取豆瓣电影链接和评论代码分享
Dec 27 Python
Python进程通信之匿名管道实例讲解
Apr 11 Python
itchat和matplotlib的结合使用爬取微信信息的实例
Aug 25 Python
python实现csv格式文件转为asc格式文件的方法
Mar 23 Python
Python实现判断并移除列表指定位置元素的方法
Apr 13 Python
python 对dataframe下面的值进行大规模赋值方法
Jun 09 Python
python 检查文件mime类型的方法
Dec 08 Python
通过Python编写一个简单登录功能过程解析
Sep 04 Python
python自动化测试之异常及日志操作实例分析
Nov 09 Python
python 实现Flask中返回图片流给前端展示
Jan 09 Python
Python 动态变量名定义与调用方法
Feb 09 Python
Python实现批量自动整理文件
Mar 16 Python
windows下搭建python scrapy爬虫框架步骤
Dec 23 #Python
python构建基础的爬虫教学
Dec 23 #Python
Flask之请求钩子的实现
Dec 23 #Python
python爬虫获取新浪新闻教学
Dec 23 #Python
Python爬虫文件下载图文教程
Dec 23 #Python
python爬虫获取百度首页内容教学
Dec 23 #Python
Python爬虫设置代理IP(图文)
Dec 23 #Python
You might like
解析php下载远程图片函数 可伪造来路
2013/06/25 PHP
php使用数组填充下拉列表框的方法
2015/03/31 PHP
PHP用mb_string函数库处理与windows相关中文字符及Win环境下开启PHP Mb_String方法
2015/11/11 PHP
对比分析json及XML
2014/11/28 Javascript
JavaScript ParseFloat()方法
2015/12/18 Javascript
bootstrap-datetimepicker实现只显示到日期的方法
2016/11/25 Javascript
浅谈js中的变量名和函数名重名
2017/02/13 Javascript
JS中Safari浏览器中的Date
2017/07/17 Javascript
JavaScript截屏功能的实现代码
2017/07/28 Javascript
基于nodejs实现微信支付功能
2017/12/20 NodeJs
JSON字符串操作移除空串更改key/value的介绍
2019/01/05 Javascript
nodejs搭建本地服务器并访问文件操作示例
2019/05/11 NodeJs
微信小程序8种数据通信的方式小结
2020/02/03 Javascript
微信小程序语音同步智能识别的实现案例代码解析
2020/05/29 Javascript
vue大型项目之分模块运行/打包的实现
2020/09/21 Javascript
手把手教你如何编译打包video.js
2020/12/09 Javascript
[43:24]2018DOTA2亚洲邀请赛3月29日 小组赛A组 LGD VS Liquid
2018/03/30 DOTA
微信 用脚本查看是否被微信好友删除
2016/10/28 Python
python 根据pid杀死相应进程的方法
2017/01/16 Python
Python数据结构之栈、队列的实现代码分享
2017/12/04 Python
python实现树形打印目录结构
2018/03/29 Python
浅谈python常用程序算法
2019/03/22 Python
PyCharm搭建Spark开发环境实现第一个pyspark程序
2019/06/13 Python
关于Python解包知识点总结
2020/05/05 Python
python 爬取B站原视频的实例代码
2020/09/09 Python
Python为何不支持switch语句原理详解
2020/10/21 Python
Python爬虫后获取重定向url的两种方法
2021/01/19 Python
化石印度尼西亚在线商店:Fossil Indonesia
2019/03/11 全球购物
高校生生产实习自我鉴定
2013/09/21 职场文书
工程造价专业大专生求职信
2013/10/06 职场文书
经贸日语专业个人求职信
2013/12/13 职场文书
生物科学专业毕业生求职信
2014/06/02 职场文书
篮球赛口号
2014/06/18 职场文书
行风评议整改报告
2014/11/06 职场文书
升学宴家长答谢词
2015/09/29 职场文书
pandas进行数据输入和输出的方法详解
2022/03/23 Python