python3爬虫怎样构建请求header


Posted in Python onDecember 23, 2018

写一个爬虫首先就是学会设置请求头header,这样才可以伪装成浏览器。下面小编我就来给大家简单分析一下python3怎样构建一个爬虫的请求头header。

1、python3跟2有了细微差别,所以我们先要引入request,python2没有这个request哦。然后复制网址给url,然后用一个字典来保存header,这个header怎么来的?看第2步。

python3爬虫怎样构建请求header

2、打开任意浏览器某一页面(要联网),按f12,然后点network,之后再按f5,然后就会看到“name”这里,我们点击name里面的任意文件即可。

python3爬虫怎样构建请求header

3、之后右边有一个headers,点击headers找到request headers,这个就是浏览器的请求报头了。

python3爬虫怎样构建请求header

4、然后复制其中的user-agent,其他的cookie还有Accept可以要也可以不要,主要是伪装成浏览器,所以我就用了user-agent

python3爬虫怎样构建请求header

5、接着再用Request方法把url和headers组合在一起就可以构造一个比较简单的请求了。Request有三个参数(url,data,headers),如果有使用data就是post请求了,没有就是get请求。这里我没有data,所以我就指定headers=header,不然header就会被当成data了。

python3爬虫怎样构建请求header

6、请求对象rq就构造好了,然后用urlopen发送这个请求对象就可以了。这就是简单的请求头设置了。

python3爬虫怎样构建请求header

 总结:以上就是关于python3爬虫怎样构建请求头的相关知识点,感谢大家的阅读和对三水点靠木的支持。

Python 相关文章推荐
python实现根据用户输入从电影网站获取影片信息的方法
Apr 07 Python
python追加元素到列表的方法
Jul 28 Python
Python 出现错误TypeError: ‘NoneType’ object is not iterable解决办法
Jan 12 Python
pandas数据处理基础之筛选指定行或者指定列的数据
May 03 Python
对python-3-print重定向输出的几种方法总结
May 11 Python
Random 在 Python 中的使用方法
Aug 09 Python
解决pycharm 误删掉项目文件的处理方法
Oct 22 Python
Django框架实现的分页demo示例
May 25 Python
python线程的几种创建方式详解
Aug 29 Python
python取均匀不重复的随机数方式
Nov 27 Python
golang/python实现归并排序实例代码
Aug 30 Python
Python实现随机生成迷宫并自动寻路
Jun 13 Python
windows下搭建python scrapy爬虫框架步骤
Dec 23 #Python
python构建基础的爬虫教学
Dec 23 #Python
Flask之请求钩子的实现
Dec 23 #Python
python爬虫获取新浪新闻教学
Dec 23 #Python
Python爬虫文件下载图文教程
Dec 23 #Python
python爬虫获取百度首页内容教学
Dec 23 #Python
Python爬虫设置代理IP(图文)
Dec 23 #Python
You might like
社区(php&&mysql)一
2006/10/09 PHP
php实现读取内存顺序号
2015/03/29 PHP
php文件上传 你真的掌握了吗
2016/11/28 PHP
PHP CURL采集百度搜寻结果图片不显示问题的解决方法
2017/02/03 PHP
php从身份证获取性别和出生年月
2017/02/09 PHP
csdn 论坛技术区平均给分功能
2009/11/07 Javascript
解析js如何获取当前url中的参数值并复制给input
2013/06/23 Javascript
jQuery带箭头提示框tooltips插件集锦
2014/11/17 Javascript
js的回调函数详解
2015/01/05 Javascript
浅谈javascript的Touch事件
2015/09/27 Javascript
浅析JavaScript 调试方法和技巧
2015/10/22 Javascript
jQuery图片轮播插件——前端开发必看
2016/05/31 Javascript
Vue.js学习笔记之常用模板语法详解
2017/07/25 Javascript
JavaScript面向对象程序设计创建对象的方法分析
2018/08/13 Javascript
Vue基于localStorage存储信息代码实例
2020/11/16 Javascript
[49:07]VGJ.T vs Optic Supermajor小组赛D组 BO3 第二场 6.3
2018/06/04 DOTA
Python pyinotify日志监控系统处理日志的方法
2018/03/08 Python
Python基于最小二乘法实现曲线拟合示例
2018/06/14 Python
python 字典中文key处理,读取,比较方法
2018/07/06 Python
python将pandas datarame保存为txt文件的实例
2019/02/12 Python
Jacobi迭代算法的Python实现详解
2019/06/29 Python
python中的global关键字的使用方法
2019/08/20 Python
Python绘图之柱形图绘制详解
2020/07/28 Python
关于老式浏览器兼容HTML5和CSS3的问题
2016/06/01 HTML / CSS
全球知名旅游社区巴西站点:TripAdvisor巴西
2016/07/21 全球购物
瑞典香水、须后水和美容产品购物网站:Parfym-Klick.se
2019/12/29 全球购物
波兰运动鞋网上商店:Distance.pl
2020/07/30 全球购物
构造方法和其他方法的区别?怎么调用父类的构造方法
2013/09/22 面试题
配件采购员岗位职责
2013/12/03 职场文书
中式婚礼主持词
2014/03/13 职场文书
励志演讲稿600字
2014/08/21 职场文书
公司处罚决定书
2015/06/24 职场文书
pytorch实现手写数字图片识别
2021/05/20 Python
idea编译器vue缩进报错问题场景分析
2021/07/04 Vue.js
Ubuntu Server 安装Tomcat并配置systemctl
2022/04/28 Servers
Spring Boot优化后启动速度快到飞起技巧示例
2022/07/23 Java/Android