快速一键生成Python爬虫请求头


Posted in Python onMarch 04, 2021

今天介绍个神奇的网站!堪称爬虫偷懒的神器!

我们在写爬虫,构建网络请求的时候,不可避免地要添加请求头( headers ),以 mdn 学习区为例,我们的请求头是这样的:

快速一键生成Python爬虫请求头

一般来说,我们只要添加 user-agent 就能满足绝大部分需求了,Python 代码如下:

import requests

headers = {
 #'authority': 'developer.mozilla.org',
 #'pragma': 'no-cache',
 #'cache-control': 'no-cache',
 #'upgrade-insecure-requests': '1',
 'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 YaBrowser/19.7.0.1635 Yowser/2.5 Safari/537.36',
 #'accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3',
 #'accept-encoding': 'gzip, deflate, br',
 #'accept-language': 'zh-CN,zh-TW;q=0.9,zh;q=0.8,en-US;q=0.7,en;q=0.6',
 #'cookie': 你的cookie,
}

response = requests.get('https://developer.mozilla.org/zh-CN/docs/learn', headers=headers)

但是有些请求,我们要把特定的 headers 参数添加上才能获得正确的网络响应,不知道哪个参数是必要的情况下,就要先把所有参数都添加上,再逐个排除。

但是手动复制粘贴 headers 字典里的每一个键值对太费事了

一个不那么方便的解决方案:

用正则表达式或者直接字符串替换,把 headers 字符串直接转化为字典,封装成函数方便以后反复调用。

有的人喜欢用这种方法,每次复制headers信息,然后调用自己封装好的函数,但我觉得还是挺麻烦的。

那么还有没有快速一键生成 Python 爬虫请求头的方法呢?
这里给大家介绍两个:

  • 网站在线转换
  • Postman

实战演练

抓取网站:https://developer.mozilla.org...

网站在线转换

1,Chrome 打开开发者选项( f12 )---> network 选项卡 ---> 刷新页面,获取请求 ---> 找到页面信息对应的请求 (通过请求的名称、后缀和 response 内容来判断)

快速一键生成Python爬虫请求头

2,右键,copy ---> copy as cURL (bash),注意不是【copy as cURL (cmd)】

快速一键生成Python爬虫请求头

3,打开网站,https://curl.trillworks.com/,粘贴 cURL (bash) 到左边 curl command,右边会自动出 Python 代码

快速一键生成Python爬虫请求头

4,生成代码如下图

快速一键生成Python爬虫请求头

5,print ( response.text ) 就可以直接打印网页源代码啦!

Postman

1,下载 postman ( Chrome 也有个 postman 的插件,操作应该差不多)

2,打开 postman,弹出的界面可以直接关掉

快速一键生成Python爬虫请求头

3,import --> paste raw text,在 Chrome 里复制 curl (bash),粘贴到下面的对话框里,点击 import 按钮

快速一键生成Python爬虫请求头

4,点击 send,模拟网络请求,下方可查看源代码

快速一键生成Python爬虫请求头

5,确保源代码正常后,点击 code

快速一键生成Python爬虫请求头

6,左上角可以选择编程语言,右上角复制到剪贴板

快速一键生成Python爬虫请求头

大功告成!

其实我本人平时都是用第一种,网站比较稳定,基本没出现过异常;有了这个神器就不用自己再构造请求头了,先一键生成,然后再根据需求调一调就好了,几秒钟就搞定了。

以上就是快速一键生成Python爬虫请求头的详细内容,更多关于快速一键生成Python爬虫请求头的资料请关注三水点靠木其它相关文章!

Python 相关文章推荐
python 生成目录树及显示文件大小的代码
Jul 23 Python
python中xrange和range的区别
May 13 Python
用Python进行TCP网络编程的教程
Apr 29 Python
python计算牛顿迭代多项式实例分析
May 07 Python
tensorflow 1.0用CNN进行图像分类
Apr 15 Python
Python常见MongoDB数据库操作实例总结
Jul 24 Python
对python读取CT医学图像的实例详解
Jan 24 Python
python抖音表白程序源代码
Apr 07 Python
python调用动态链接库的基本过程详解
Jun 19 Python
python腾讯语音合成实现过程解析
Aug 01 Python
python实现静态服务器
Sep 05 Python
Python垃圾回收机制三种实现方法
Apr 27 Python
10个顶级Python实用库推荐
Mar 04 #Python
pytorch 把图片数据转化成tensor的操作
Mar 04 #Python
pytorch 计算Parameter和FLOP的操作
Mar 04 #Python
从Pytorch模型pth文件中读取参数成numpy矩阵的操作
Mar 04 #Python
python 如何用urllib与服务端交互(发送和接收数据)
Mar 04 #Python
python 求两个向量的顺时针夹角操作
Mar 04 #Python
python 制作磁力搜索工具
Mar 04 #Python
You might like
咖啡语言
2021/03/03 咖啡文化
php 判断页面或图片是否经过gzip压缩的方法
2017/04/05 PHP
Jquery 点击按钮显示和隐藏层的代码
2011/07/25 Javascript
分享经典的JavaScript开发技巧
2015/11/21 Javascript
基于javascript实现图片懒加载
2016/01/05 Javascript
javascript 的变量、作用域和内存问题
2017/04/19 Javascript
nodejs的路径问题的解决
2018/06/30 NodeJs
layDate插件设置开始和结束时间
2018/11/15 Javascript
微信小程序实现人脸识别登陆的示例代码
2019/04/02 Javascript
javascript 对象 与 prototype 原型用法实例分析
2019/11/11 Javascript
Vue 解决路由过渡动画抖动问题(实例详解)
2020/01/05 Javascript
Vue v-for中的 input 或 select的值发生改变时触发事件操作
2020/08/31 Javascript
js实现特别简单的钟表效果
2020/09/14 Javascript
[02:03]《现实生活中的DOTA2》—林书豪&DOTA2职业选手出演短片
2015/08/18 DOTA
[02:22]完美世界DOTA2联赛PWL S3 集锦第一期
2020/12/15 DOTA
Python实现队列的方法
2015/05/26 Python
python绘制条形图方法代码详解
2017/12/19 Python
tensorflow建立一个简单的神经网络的方法
2018/02/10 Python
Python 中的Selenium异常处理实例代码
2018/05/03 Python
Python实现处理逆波兰表达式示例
2018/07/30 Python
完美解决Python matplotlib绘图时汉字显示不正常的问题
2019/01/29 Python
python笔记之mean()函数实现求取均值的功能代码
2019/07/05 Python
Python图像处理PIL各模块详细介绍(推荐)
2019/07/17 Python
python实现本地批量ping多个IP的方法示例
2019/08/07 Python
python 批量修改 labelImg 生成的xml文件的方法
2019/09/09 Python
python中必要的名词解释
2019/11/20 Python
150行Python代码实现带界面的数独游戏
2020/04/04 Python
python将音频进行变速的操作方法
2020/04/08 Python
三星新西兰官网:Samsung新西兰
2019/03/05 全球购物
VC++笔试题
2014/10/13 面试题
舞蹈专业大学生职业规划范文
2014/03/12 职场文书
2015年元旦活动总结
2014/05/09 职场文书
大学社团招新的通讯稿
2014/09/10 职场文书
2015年上半年计生工作总结
2015/03/30 职场文书
工会文体活动总结
2015/05/07 职场文书
python基础之模块的导入
2021/10/24 Python