快速一键生成Python爬虫请求头


Posted in Python onMarch 04, 2021

今天介绍个神奇的网站!堪称爬虫偷懒的神器!

我们在写爬虫,构建网络请求的时候,不可避免地要添加请求头( headers ),以 mdn 学习区为例,我们的请求头是这样的:

快速一键生成Python爬虫请求头

一般来说,我们只要添加 user-agent 就能满足绝大部分需求了,Python 代码如下:

import requests

headers = {
 #'authority': 'developer.mozilla.org',
 #'pragma': 'no-cache',
 #'cache-control': 'no-cache',
 #'upgrade-insecure-requests': '1',
 'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 YaBrowser/19.7.0.1635 Yowser/2.5 Safari/537.36',
 #'accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3',
 #'accept-encoding': 'gzip, deflate, br',
 #'accept-language': 'zh-CN,zh-TW;q=0.9,zh;q=0.8,en-US;q=0.7,en;q=0.6',
 #'cookie': 你的cookie,
}

response = requests.get('https://developer.mozilla.org/zh-CN/docs/learn', headers=headers)

但是有些请求,我们要把特定的 headers 参数添加上才能获得正确的网络响应,不知道哪个参数是必要的情况下,就要先把所有参数都添加上,再逐个排除。

但是手动复制粘贴 headers 字典里的每一个键值对太费事了

一个不那么方便的解决方案:

用正则表达式或者直接字符串替换,把 headers 字符串直接转化为字典,封装成函数方便以后反复调用。

有的人喜欢用这种方法,每次复制headers信息,然后调用自己封装好的函数,但我觉得还是挺麻烦的。

那么还有没有快速一键生成 Python 爬虫请求头的方法呢?
这里给大家介绍两个:

  • 网站在线转换
  • Postman

实战演练

抓取网站:https://developer.mozilla.org...

网站在线转换

1,Chrome 打开开发者选项( f12 )---> network 选项卡 ---> 刷新页面,获取请求 ---> 找到页面信息对应的请求 (通过请求的名称、后缀和 response 内容来判断)

快速一键生成Python爬虫请求头

2,右键,copy ---> copy as cURL (bash),注意不是【copy as cURL (cmd)】

快速一键生成Python爬虫请求头

3,打开网站,https://curl.trillworks.com/,粘贴 cURL (bash) 到左边 curl command,右边会自动出 Python 代码

快速一键生成Python爬虫请求头

4,生成代码如下图

快速一键生成Python爬虫请求头

5,print ( response.text ) 就可以直接打印网页源代码啦!

Postman

1,下载 postman ( Chrome 也有个 postman 的插件,操作应该差不多)

2,打开 postman,弹出的界面可以直接关掉

快速一键生成Python爬虫请求头

3,import --> paste raw text,在 Chrome 里复制 curl (bash),粘贴到下面的对话框里,点击 import 按钮

快速一键生成Python爬虫请求头

4,点击 send,模拟网络请求,下方可查看源代码

快速一键生成Python爬虫请求头

5,确保源代码正常后,点击 code

快速一键生成Python爬虫请求头

6,左上角可以选择编程语言,右上角复制到剪贴板

快速一键生成Python爬虫请求头

大功告成!

其实我本人平时都是用第一种,网站比较稳定,基本没出现过异常;有了这个神器就不用自己再构造请求头了,先一键生成,然后再根据需求调一调就好了,几秒钟就搞定了。

以上就是快速一键生成Python爬虫请求头的详细内容,更多关于快速一键生成Python爬虫请求头的资料请关注三水点靠木其它相关文章!

Python 相关文章推荐
python文件写入实例分析
Apr 08 Python
python调用fortran模块
Apr 08 Python
python对象及面向对象技术详解
Jul 19 Python
使用Python脚本和ADB命令实现卸载App
Feb 10 Python
Python 加密的实例详解
Oct 09 Python
Python实现的端口扫描功能示例
Apr 08 Python
Numpy数据类型转换astype,dtype的方法
Jun 09 Python
Python 通过调用接口获取公交信息的实例
Dec 17 Python
对Django中内置的User模型实例详解
Aug 16 Python
python实现简单俄罗斯方块
Mar 13 Python
Python单元测试及unittest框架用法实例解析
Jul 09 Python
教你使用Pandas直接核算Excel中快递费用
May 12 Python
10个顶级Python实用库推荐
Mar 04 #Python
pytorch 把图片数据转化成tensor的操作
Mar 04 #Python
pytorch 计算Parameter和FLOP的操作
Mar 04 #Python
从Pytorch模型pth文件中读取参数成numpy矩阵的操作
Mar 04 #Python
python 如何用urllib与服务端交互(发送和接收数据)
Mar 04 #Python
python 求两个向量的顺时针夹角操作
Mar 04 #Python
python 制作磁力搜索工具
Mar 04 #Python
You might like
现磨咖啡骗局!现磨咖啡=新鲜咖啡?现磨咖啡背后的猫腻你不懂!
2019/03/28 冲泡冲煮
Win9x/ME下Apache+PHP安装配置
2006/10/09 PHP
php中file_get_contents与curl性能比较分析
2014/11/08 PHP
Yii2.0预定义的别名功能小结
2016/07/04 PHP
详细解读php的命名空间(一)
2018/02/21 PHP
动态修改DOM 里面的 id 属性的弊端分析
2008/09/03 Javascript
js arguments.callee的应用代码
2009/05/07 Javascript
Prototype源码浅析 String部分(三)之HTML字符串处理
2012/01/15 Javascript
谷歌浏览器不支持showModalDialog模态对话框的解决方法
2014/09/22 Javascript
NodeJS学习笔记之Http模块
2015/01/13 NodeJs
被遗忘的javascript的slice() 方法
2015/04/20 Javascript
简介JavaScript中的getSeconds()方法的使用
2015/06/10 Javascript
理解javascript正则表达式
2016/03/08 Javascript
AngularJS ng-bind-html 指令详解及实例代码
2016/07/30 Javascript
JQuery遍历元素的后代和同胞实现方法
2016/09/18 Javascript
vue2.0实战之基础入门(1)
2017/03/27 Javascript
Vue shopCart 组件开发详解
2018/01/26 Javascript
微信小程序全局变量功能与用法详解
2019/01/22 Javascript
如何根据业务封装自己的功能组件
2019/04/19 Javascript
[04:28]2014DOTA2国际邀请赛 采访小兔子LGD挺进钥匙体育馆
2014/07/14 DOTA
Python 自动补全(vim)
2014/11/30 Python
Python实现二分法算法实例
2015/02/02 Python
Python的Bottle框架的一些使用技巧介绍
2015/04/08 Python
深入理解Python中字典的键的使用
2015/08/19 Python
python+opencv轮廓检测代码解析
2018/01/05 Python
python3.7实现云之讯、聚合短信平台的短信发送功能
2019/09/26 Python
python中resample函数实现重采样和降采样代码
2020/02/25 Python
纽约服装和生活方式品牌:Saturdays NYC
2017/08/13 全球购物
瑜伽灵感珠宝:Satya Jewelry
2018/01/06 全球购物
微软新西兰官方网站:Microsoft New Zealand
2018/08/17 全球购物
英国网上电器商店:Electricshop
2020/03/15 全球购物
潘多拉珠宝俄罗斯官方网上商店:PANDORA俄罗斯
2020/09/22 全球购物
你常见到的runtime exception
2016/09/05 面试题
自我鉴定怎么写
2013/12/05 职场文书
优秀三好学生事迹材料
2014/08/31 职场文书
副校长个人对照检查材料思想汇报
2014/10/04 职场文书