快速一键生成Python爬虫请求头


Posted in Python onMarch 04, 2021

今天介绍个神奇的网站!堪称爬虫偷懒的神器!

我们在写爬虫,构建网络请求的时候,不可避免地要添加请求头( headers ),以 mdn 学习区为例,我们的请求头是这样的:

快速一键生成Python爬虫请求头

一般来说,我们只要添加 user-agent 就能满足绝大部分需求了,Python 代码如下:

import requests

headers = {
 #'authority': 'developer.mozilla.org',
 #'pragma': 'no-cache',
 #'cache-control': 'no-cache',
 #'upgrade-insecure-requests': '1',
 'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 YaBrowser/19.7.0.1635 Yowser/2.5 Safari/537.36',
 #'accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3',
 #'accept-encoding': 'gzip, deflate, br',
 #'accept-language': 'zh-CN,zh-TW;q=0.9,zh;q=0.8,en-US;q=0.7,en;q=0.6',
 #'cookie': 你的cookie,
}

response = requests.get('https://developer.mozilla.org/zh-CN/docs/learn', headers=headers)

但是有些请求,我们要把特定的 headers 参数添加上才能获得正确的网络响应,不知道哪个参数是必要的情况下,就要先把所有参数都添加上,再逐个排除。

但是手动复制粘贴 headers 字典里的每一个键值对太费事了

一个不那么方便的解决方案:

用正则表达式或者直接字符串替换,把 headers 字符串直接转化为字典,封装成函数方便以后反复调用。

有的人喜欢用这种方法,每次复制headers信息,然后调用自己封装好的函数,但我觉得还是挺麻烦的。

那么还有没有快速一键生成 Python 爬虫请求头的方法呢?
这里给大家介绍两个:

  • 网站在线转换
  • Postman

实战演练

抓取网站:https://developer.mozilla.org...

网站在线转换

1,Chrome 打开开发者选项( f12 )---> network 选项卡 ---> 刷新页面,获取请求 ---> 找到页面信息对应的请求 (通过请求的名称、后缀和 response 内容来判断)

快速一键生成Python爬虫请求头

2,右键,copy ---> copy as cURL (bash),注意不是【copy as cURL (cmd)】

快速一键生成Python爬虫请求头

3,打开网站,https://curl.trillworks.com/,粘贴 cURL (bash) 到左边 curl command,右边会自动出 Python 代码

快速一键生成Python爬虫请求头

4,生成代码如下图

快速一键生成Python爬虫请求头

5,print ( response.text ) 就可以直接打印网页源代码啦!

Postman

1,下载 postman ( Chrome 也有个 postman 的插件,操作应该差不多)

2,打开 postman,弹出的界面可以直接关掉

快速一键生成Python爬虫请求头

3,import --> paste raw text,在 Chrome 里复制 curl (bash),粘贴到下面的对话框里,点击 import 按钮

快速一键生成Python爬虫请求头

4,点击 send,模拟网络请求,下方可查看源代码

快速一键生成Python爬虫请求头

5,确保源代码正常后,点击 code

快速一键生成Python爬虫请求头

6,左上角可以选择编程语言,右上角复制到剪贴板

快速一键生成Python爬虫请求头

大功告成!

其实我本人平时都是用第一种,网站比较稳定,基本没出现过异常;有了这个神器就不用自己再构造请求头了,先一键生成,然后再根据需求调一调就好了,几秒钟就搞定了。

以上就是快速一键生成Python爬虫请求头的详细内容,更多关于快速一键生成Python爬虫请求头的资料请关注三水点靠木其它相关文章!

Python 相关文章推荐
python中split方法用法分析
Apr 17 Python
详解详解Python中writelines()方法的使用
May 25 Python
Python实现数据库编程方法详解
Jun 09 Python
CentOS 6.X系统下升级Python2.6到Python2.7 的方法
Oct 12 Python
Python学习笔记之解析json的方法分析
Apr 21 Python
python实现图片文件批量重命名
Mar 23 Python
python向字符串中添加元素的实例方法
Jun 28 Python
用django设置session过期时间的方法解析
Aug 05 Python
python 图像的离散傅立叶变换实例
Jan 02 Python
Matplotlib配色之Colormap详解
Jan 05 Python
Python实现byte转integer
Jun 03 Python
Python中递归以及递归遍历目录详解
Oct 24 Python
10个顶级Python实用库推荐
Mar 04 #Python
pytorch 把图片数据转化成tensor的操作
Mar 04 #Python
pytorch 计算Parameter和FLOP的操作
Mar 04 #Python
从Pytorch模型pth文件中读取参数成numpy矩阵的操作
Mar 04 #Python
python 如何用urllib与服务端交互(发送和接收数据)
Mar 04 #Python
python 求两个向量的顺时针夹角操作
Mar 04 #Python
python 制作磁力搜索工具
Mar 04 #Python
You might like
在PHP中检查PHP文件是否有语法错误的方法
2009/12/23 PHP
PHP开发负载均衡指南
2010/07/17 PHP
PHP封装的HttpClient类用法实例
2015/06/17 PHP
PHP时间日期增减操作示例【date strtotime实现加一天、加一月等操作】
2018/12/21 PHP
使用composer 安装 laravel框架的方法图文详解
2019/08/02 PHP
用JavaScript获取网页中的js、css、Flash等文件
2006/12/20 Javascript
JavaScript在浏览器标题栏上显示当前日期和时间的方法
2015/03/19 Javascript
javascript实现Table间隔色以及选择高亮(和动态切换数据)的方法
2015/05/14 Javascript
JQuery Mobile 弹出式登录框的实现方法
2016/05/28 Javascript
EasyUI创建对话框的两种方式
2016/08/23 Javascript
微信小程序开发(二)图片上传+服务端接收详解
2017/01/11 Javascript
详解webpack之scss和postcss-loader的配置
2018/01/09 Javascript
解决使用Vue.js显示数据的时,页面闪现原始代码的问题
2018/02/11 Javascript
Vuex的基本概念、项目搭建以及入坑点
2018/11/04 Javascript
解决layer.confirm快速点击会重复触发事件的问题
2019/09/23 Javascript
使用Angular9和TypeScript开发RPG游戏的方法
2020/03/25 Javascript
[08:08]DOTA2-DPC中国联赛2月28日Recap集锦
2021/03/11 DOTA
python中lambda函数 list comprehension 和 zip函数使用指南
2014/09/28 Python
详解python中字典的循环遍历的两种方式
2017/02/07 Python
Python文本处理之按行处理大文件的方法
2018/04/09 Python
Java与Python两大幸存者谁更胜一筹呢
2018/04/12 Python
在cmd命令行里进入和退出Python程序的方法
2018/05/12 Python
通过python实现随机交换礼物程序详解
2019/07/10 Python
python编写微信公众号首图思路详解
2019/12/13 Python
python 消除 futureWarning问题的解决
2019/12/25 Python
pytorch 图像中的数据预处理和批标准化实例
2020/01/15 Python
新手学python应该下哪个版本
2020/06/11 Python
KIKO MILANO英国官网:意大利知名化妆品和护肤品品牌
2017/09/25 全球购物
Lookfantastic葡萄牙官方网站:欧洲第一大化妆品零售商
2018/03/17 全球购物
介绍一下XMLHttpRequest对象的常用方法和属性
2013/05/24 面试题
物业管理毕业生的自我评价
2014/02/17 职场文书
三分钟演讲稿事例
2014/03/03 职场文书
应聘教师求职信范文
2015/03/20 职场文书
MySQL命令行操作时的编码问题详解
2021/04/14 MySQL
教你使用pyinstaller打包Python教程
2021/05/27 Python
MySQL为数据表建立索引的原则详解
2022/03/03 MySQL