快速一键生成Python爬虫请求头


Posted in Python onMarch 04, 2021

今天介绍个神奇的网站!堪称爬虫偷懒的神器!

我们在写爬虫,构建网络请求的时候,不可避免地要添加请求头( headers ),以 mdn 学习区为例,我们的请求头是这样的:

快速一键生成Python爬虫请求头

一般来说,我们只要添加 user-agent 就能满足绝大部分需求了,Python 代码如下:

import requests

headers = {
 #'authority': 'developer.mozilla.org',
 #'pragma': 'no-cache',
 #'cache-control': 'no-cache',
 #'upgrade-insecure-requests': '1',
 'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 YaBrowser/19.7.0.1635 Yowser/2.5 Safari/537.36',
 #'accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3',
 #'accept-encoding': 'gzip, deflate, br',
 #'accept-language': 'zh-CN,zh-TW;q=0.9,zh;q=0.8,en-US;q=0.7,en;q=0.6',
 #'cookie': 你的cookie,
}

response = requests.get('https://developer.mozilla.org/zh-CN/docs/learn', headers=headers)

但是有些请求,我们要把特定的 headers 参数添加上才能获得正确的网络响应,不知道哪个参数是必要的情况下,就要先把所有参数都添加上,再逐个排除。

但是手动复制粘贴 headers 字典里的每一个键值对太费事了

一个不那么方便的解决方案:

用正则表达式或者直接字符串替换,把 headers 字符串直接转化为字典,封装成函数方便以后反复调用。

有的人喜欢用这种方法,每次复制headers信息,然后调用自己封装好的函数,但我觉得还是挺麻烦的。

那么还有没有快速一键生成 Python 爬虫请求头的方法呢?
这里给大家介绍两个:

  • 网站在线转换
  • Postman

实战演练

抓取网站:https://developer.mozilla.org...

网站在线转换

1,Chrome 打开开发者选项( f12 )---> network 选项卡 ---> 刷新页面,获取请求 ---> 找到页面信息对应的请求 (通过请求的名称、后缀和 response 内容来判断)

快速一键生成Python爬虫请求头

2,右键,copy ---> copy as cURL (bash),注意不是【copy as cURL (cmd)】

快速一键生成Python爬虫请求头

3,打开网站,https://curl.trillworks.com/,粘贴 cURL (bash) 到左边 curl command,右边会自动出 Python 代码

快速一键生成Python爬虫请求头

4,生成代码如下图

快速一键生成Python爬虫请求头

5,print ( response.text ) 就可以直接打印网页源代码啦!

Postman

1,下载 postman ( Chrome 也有个 postman 的插件,操作应该差不多)

2,打开 postman,弹出的界面可以直接关掉

快速一键生成Python爬虫请求头

3,import --> paste raw text,在 Chrome 里复制 curl (bash),粘贴到下面的对话框里,点击 import 按钮

快速一键生成Python爬虫请求头

4,点击 send,模拟网络请求,下方可查看源代码

快速一键生成Python爬虫请求头

5,确保源代码正常后,点击 code

快速一键生成Python爬虫请求头

6,左上角可以选择编程语言,右上角复制到剪贴板

快速一键生成Python爬虫请求头

大功告成!

其实我本人平时都是用第一种,网站比较稳定,基本没出现过异常;有了这个神器就不用自己再构造请求头了,先一键生成,然后再根据需求调一调就好了,几秒钟就搞定了。

以上就是快速一键生成Python爬虫请求头的详细内容,更多关于快速一键生成Python爬虫请求头的资料请关注三水点靠木其它相关文章!

Python 相关文章推荐
python中MySQLdb模块用法实例
Nov 10 Python
Python实现的彩票机选器实例
Jun 17 Python
django实现同一个ip十分钟内只能注册一次的实例
Nov 03 Python
python实现聚类算法原理
Feb 12 Python
Sanic框架安装与简单入门示例
Jul 16 Python
详解Numpy中的数组拼接、合并操作(concatenate, append, stack, hstack, vstack, r_, c_等)
May 27 Python
详解Python是如何实现issubclass的
Jul 24 Python
如何学习Python time模块
Jun 03 Python
解决python对齐错误的方法
Jul 16 Python
浅析Python中字符串的intern机制
Oct 03 Python
如何在Win10系统使用Python3连接Hive
Oct 15 Python
Python语言中的数据类型-序列
Feb 24 Python
10个顶级Python实用库推荐
Mar 04 #Python
pytorch 把图片数据转化成tensor的操作
Mar 04 #Python
pytorch 计算Parameter和FLOP的操作
Mar 04 #Python
从Pytorch模型pth文件中读取参数成numpy矩阵的操作
Mar 04 #Python
python 如何用urllib与服务端交互(发送和接收数据)
Mar 04 #Python
python 求两个向量的顺时针夹角操作
Mar 04 #Python
python 制作磁力搜索工具
Mar 04 #Python
You might like
PHP笔记之:基于面向对象设计的详解
2013/05/14 PHP
PhpStorm terminal无法输入命令的解决方法
2016/10/09 PHP
PHP基础之输出缓冲区基本概念、原理分析
2019/06/19 PHP
Laravel监听数据库访问,打印SQL的例子
2019/10/24 PHP
使用JQuery快速实现Tab的AJAX动态载入(实例讲解)
2013/12/11 Javascript
innerHTML动态添加html代码和脚本兼容多个浏览器
2014/10/11 Javascript
JavaScript中常用的六种互动方法示例
2015/03/13 Javascript
javascript html5实现表单验证
2016/03/01 Javascript
浅谈JavaScript 函数参数传递到底是值传递还是引用传递
2016/08/23 Javascript
简单的js表格操作
2016/09/24 Javascript
js手机号批量滚动抽奖实现代码
2020/04/17 Javascript
JS实现DIV高度自适应窗口示例
2017/02/16 Javascript
基于JS实现web端录音与播放功能
2019/04/17 Javascript
VUE+node(express)实现前后端分离
2019/10/13 Javascript
JS数据类型判断的几种常用方法
2020/07/07 Javascript
Python运算符重载用法实例
2015/05/28 Python
Python+OpenCV人脸检测原理及示例详解
2020/10/19 Python
Python用 KNN 进行验证码识别的实现方法
2018/02/06 Python
Go/Python/Erlang编程语言对比分析及示例代码
2018/04/23 Python
django foreignkey(外键)的实现
2019/07/29 Python
使用pyhon绘图比较两个手机屏幕大小(实例代码)
2020/01/03 Python
如何基于线程池提升request模块效率
2020/04/18 Python
美国鞋类购物网站:Shiekh Shoes
2016/08/21 全球购物
美国生日蛋糕店:Bake Me A Wish!
2017/02/08 全球购物
澳大利亚百货公司:David Jones
2018/02/08 全球购物
英国家庭家具、照明和花园家具购物网站:Furniture123
2018/12/31 全球购物
高三自我鉴定范文
2013/10/19 职场文书
会展中心部门工作职责
2013/11/27 职场文书
工厂保洁员岗位职责
2013/12/04 职场文书
公司培训欢迎词
2014/01/10 职场文书
医院实习接收函
2014/01/12 职场文书
优秀驾驶员先进事迹材料
2014/05/04 职场文书
2015年文明创建工作总结
2015/04/30 职场文书
2015年前台接待工作总结
2015/05/04 职场文书
2015年酒店年度工作总结
2015/05/23 职场文书
护士爱岗敬业心得体会
2016/01/25 职场文书