Python爬虫:将headers请求头字符串转为字典的方法


Posted in Python onAugust 21, 2019

原生请求头字符串

raw_headers = """Host: open.tool.hexun.com
Pragma: no-cache
Cache-Control: no-cache
User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.84 Safari/537.36
Accept: */*
Referer: http://stock.hexun.com/gsxw/
Accept-Encoding: gzip, deflate
Accept-Language: zh-CN,zh;q=0.9,en;q=0.8"""

将字符串转为字典

split(sep=None, maxsplit=None)

headers = dict([line.split(": ",1) for line in raw_headers.split("\n")])

输出测试

print(headers)
"""
{
  'Accept-Language': ' zh-CN,zh;q=0.9,en;q=0.8', 
  'Accept-Encoding': ' gzip, deflate', 
  'Accept': ' */*', 
  'User-Agent': ' Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.84 Safari/537.36', 
  'Host': ' open.tool.hexun.com', 
  'Referer': ' http://stock.hexun.com/gsxw/', 
  'Pragma': ' no-cache', 
  'Cache-Control': ' no-cache'
}

"""

封装为函数

def get_headers(header_raw):
  """
  通过原生请求头获取请求头字典
  :param header_raw: {str} 浏览器请求头
  :return: {dict} headers
  """
  return dict(line.split(": ", 1) for line in header_raw.split("\n"))


def get_cookies(cookie_raw):
  """
  通过原生cookie获取cookie字段
  :param cookie_raw: {str} 浏览器原始cookie
  :return: {dict} cookies
  """
  return dict(line.split("=", 1) for line in cookie_raw.split("; "))

以上这篇Python爬虫:将headers请求头字符串转为字典的方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python实现批量把SVG格式转成png、pdf格式的代码分享
Aug 21 Python
Python中在脚本中引用其他文件函数的实现方法
Jun 23 Python
ubuntu环境下python虚拟环境的安装过程
Jan 07 Python
Python中if elif else及缩进的使用简述
May 31 Python
python实现全盘扫描搜索功能的方法
Feb 14 Python
Python八皇后问题解答过程详解
Jul 29 Python
详解Python打包分发工具setuptools
Aug 05 Python
Python+Redis实现布隆过滤器
Dec 08 Python
pyenv虚拟环境管理python多版本和软件库的方法
Dec 26 Python
解决Jupyter Notebook使用parser.parse_args出现错误问题
Apr 20 Python
Python爬虫获取op.gg英雄联盟英雄对位胜率的源码
Jan 29 Python
pytest实现多进程与多线程运行超好用的插件
Jul 15 Python
利用python在大量数据文件下删除某一行的例子
Aug 21 #Python
Python 仅获取响应头, 不获取实体的实例
Aug 21 #Python
详解用Python为直方图绘制拟合曲线的两种方法
Aug 21 #Python
Python 使用指定的网卡发送HTTP请求的实例
Aug 21 #Python
Python turtle绘画象棋棋盘
Aug 21 #Python
Python随机函数库random的使用方法详解
Aug 21 #Python
Django+zTree构建组织架构树的方法
Aug 21 #Python
You might like
用PHP的超级变量$_GET获取HTML表单(Form) 数据
2011/05/07 PHP
PHP+Mysql+jQuery实现发布微博程序 jQuery篇
2011/10/08 PHP
PHP empty函数报错解决办法
2014/03/06 PHP
跟我学Laravel之视图 & Response
2014/10/15 PHP
浅析PHP数据导出知识点
2018/02/17 PHP
学习YUI.Ext 第四天--对话框Dialog的使用
2007/03/10 Javascript
javascript eval(func())使用示例
2013/12/05 Javascript
JavaScript验证18位身份证号码最后一位正确性的实现代码
2014/08/07 Javascript
jQuery实现商品活动倒计时
2015/10/16 Javascript
原生javascript实现自动更新的时间日期
2016/02/12 Javascript
jquery实现图片上传前本地预览功能
2016/05/10 Javascript
AngularJS监听路由的变化示例代码
2016/09/23 Javascript
jQuery实现点击DIV同时点击CheckBox,并为DIV上背景色的实例
2017/12/18 jQuery
vue-router配合ElementUI实现导航的实例
2018/02/11 Javascript
如何利用JS将手机号中间四位变成*号
2020/09/29 Javascript
element el-table表格的二次封装实现(附表格高度自适应)
2021/01/19 Javascript
[59:07]海涛为你详解DOTA2新版本“贤哲秘契”
2014/11/22 DOTA
[01:33]真香警告!DOTA2勇士令状不朽珍藏Ⅱ饰品欣赏
2018/06/26 DOTA
跟老齐学Python之类的细节
2014/10/13 Python
PyTorch CNN实战之MNIST手写数字识别示例
2018/05/29 Python
python处理multipart/form-data的请求方法
2018/12/26 Python
python 使用poster模块进行http方式的文件传输到服务器的方法
2019/01/15 Python
Python3.7 读取 mp3 音频文件生成波形图效果
2019/11/05 Python
python实现布隆过滤器及原理解析
2019/12/08 Python
CSS3实现的炫酷菜单代码分享
2015/03/12 HTML / CSS
html5标记文字_动力节点Java学院整理
2017/07/11 HTML / CSS
考博自荐信
2013/10/25 职场文书
物流管理应届生求职信
2013/11/07 职场文书
高职教师岗位职责
2013/12/24 职场文书
英语老师推荐信
2014/02/26 职场文书
2014年三万活动总结
2014/04/26 职场文书
民族团结先进集体事迹材料
2014/05/22 职场文书
师范生小学见习总结
2015/06/23 职场文书
python 算法题——快乐数的多种解法
2021/05/27 Python
使用Java去实现超市会员管理系统
2022/03/18 Java/Android
Win11怎么把合并的任务栏分开 Win11任务栏合并分开教程
2022/04/06 数码科技