python3爬虫怎样构建请求header


Posted in Python onDecember 23, 2018

写一个爬虫首先就是学会设置请求头header,这样才可以伪装成浏览器。下面小编我就来给大家简单分析一下python3怎样构建一个爬虫的请求头header。

1、python3跟2有了细微差别,所以我们先要引入request,python2没有这个request哦。然后复制网址给url,然后用一个字典来保存header,这个header怎么来的?看第2步。

python3爬虫怎样构建请求header

2、打开任意浏览器某一页面(要联网),按f12,然后点network,之后再按f5,然后就会看到“name”这里,我们点击name里面的任意文件即可。

python3爬虫怎样构建请求header

3、之后右边有一个headers,点击headers找到request headers,这个就是浏览器的请求报头了。

python3爬虫怎样构建请求header

4、然后复制其中的user-agent,其他的cookie还有Accept可以要也可以不要,主要是伪装成浏览器,所以我就用了user-agent

python3爬虫怎样构建请求header

5、接着再用Request方法把url和headers组合在一起就可以构造一个比较简单的请求了。Request有三个参数(url,data,headers),如果有使用data就是post请求了,没有就是get请求。这里我没有data,所以我就指定headers=header,不然header就会被当成data了。

python3爬虫怎样构建请求header

6、请求对象rq就构造好了,然后用urlopen发送这个请求对象就可以了。这就是简单的请求头设置了。

python3爬虫怎样构建请求header

 总结:以上就是关于python3爬虫怎样构建请求头的相关知识点,感谢大家的阅读和对三水点靠木的支持。

Python 相关文章推荐
给Python IDLE加上自动补全和历史功能
Nov 30 Python
使用PDB简单调试Python程序简明指南
Apr 25 Python
在Python中使用base64模块处理字符编码的教程
Apr 28 Python
详解Python进程间通信之命名管道
Aug 28 Python
python自动化脚本安装指定版本python环境详解
Sep 14 Python
对numpy和pandas中数组的合并和拆分详解
Apr 11 Python
Python使用numpy模块创建数组操作示例
Jun 20 Python
Django利用cookie保存用户登录信息的简单实现方法
May 27 Python
tensorflow 环境变量设置方式
Feb 06 Python
python help函数实例用法
Dec 06 Python
python实现简单的名片管理系统
Apr 26 Python
python神经网络Xception模型
May 06 Python
windows下搭建python scrapy爬虫框架步骤
Dec 23 #Python
python构建基础的爬虫教学
Dec 23 #Python
Flask之请求钩子的实现
Dec 23 #Python
python爬虫获取新浪新闻教学
Dec 23 #Python
Python爬虫文件下载图文教程
Dec 23 #Python
python爬虫获取百度首页内容教学
Dec 23 #Python
Python爬虫设置代理IP(图文)
Dec 23 #Python
You might like
蝙蝠侠:侠影之谜
2020/03/04 欧美动漫
自动跳转中英文页面
2006/10/09 PHP
PHP实现的封装验证码类详解
2013/06/18 PHP
PHP实现负载均衡下的session共用功能
2018/04/17 PHP
Javascript 布尔型分析
2008/12/22 Javascript
js 实现复制到粘贴板的功能代码
2010/05/13 Javascript
jQuery对象[0]是什么含义?
2010/07/31 Javascript
Javascript中的window.event.keyCode使用介绍
2011/04/26 Javascript
鼠标拖拽移动子窗体的JS实现
2014/02/25 Javascript
将form表单中的元素转换成对象的方法适用表单提交
2014/05/02 Javascript
ff chrome和ie下全局动态定位的异同及全局高度的取法
2014/06/30 Javascript
javascript 构造函数方式定义对象
2015/01/02 Javascript
javascript使用smipleChart实现简单图表
2015/01/02 Javascript
基于jQuery实现点击弹出层实例代码
2016/01/01 Javascript
JS函数的定义与调用方法推荐
2016/05/12 Javascript
JS简单获取当前日期时间的方法(如:2017-03-29 11:41:10 星期四)
2017/03/29 Javascript
JS实现弹出下载对话框及常见文件类型的下载
2017/07/13 Javascript
AngularJS 的$timeout服务示例代码
2017/09/21 Javascript
vue使用svg文件补充-svg放大缩小操作(使用d3.js)
2020/09/22 Javascript
Vue 实例中使用$refs的注意事项
2021/01/29 Vue.js
javascript实现倒计时关闭广告
2021/02/09 Javascript
Python中使用md5sum检查目录中相同文件代码分享
2015/02/02 Python
Python爬虫代理IP池实现方法
2017/01/05 Python
Python命令启动Web服务器实例详解
2017/02/23 Python
Python创建普通菜单示例【基于win32ui模块】
2018/05/09 Python
Python爬虫实现HTTP网络请求多种实现方式
2020/06/19 Python
喜诗官方在线巧克力店:See’s Candies
2017/01/01 全球购物
店长职务说明书
2014/02/04 职场文书
促销活动总结怎么写
2014/06/25 职场文书
护士个人总结范文
2015/02/13 职场文书
地道战观后感500字
2015/06/04 职场文书
2016年小学教师师德承诺书
2016/03/25 职场文书
在pyCharm中下载第三方库的方法
2021/04/18 Python
红灯733-1型14管5波段半导体收音机
2021/04/22 无线电
MongoDB使用profile分析慢查询的步骤
2021/04/30 MongoDB
浅谈Python数学建模之线性规划
2021/06/23 Python