Python爬虫:将headers请求头字符串转为字典的方法


Posted in Python onAugust 21, 2019

原生请求头字符串

raw_headers = """Host: open.tool.hexun.com
Pragma: no-cache
Cache-Control: no-cache
User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.84 Safari/537.36
Accept: */*
Referer: http://stock.hexun.com/gsxw/
Accept-Encoding: gzip, deflate
Accept-Language: zh-CN,zh;q=0.9,en;q=0.8"""

将字符串转为字典

split(sep=None, maxsplit=None)

headers = dict([line.split(": ",1) for line in raw_headers.split("\n")])

输出测试

print(headers)
"""
{
  'Accept-Language': ' zh-CN,zh;q=0.9,en;q=0.8', 
  'Accept-Encoding': ' gzip, deflate', 
  'Accept': ' */*', 
  'User-Agent': ' Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.84 Safari/537.36', 
  'Host': ' open.tool.hexun.com', 
  'Referer': ' http://stock.hexun.com/gsxw/', 
  'Pragma': ' no-cache', 
  'Cache-Control': ' no-cache'
}

"""

封装为函数

def get_headers(header_raw):
  """
  通过原生请求头获取请求头字典
  :param header_raw: {str} 浏览器请求头
  :return: {dict} headers
  """
  return dict(line.split(": ", 1) for line in header_raw.split("\n"))


def get_cookies(cookie_raw):
  """
  通过原生cookie获取cookie字段
  :param cookie_raw: {str} 浏览器原始cookie
  :return: {dict} cookies
  """
  return dict(line.split("=", 1) for line in cookie_raw.split("; "))

以上这篇Python爬虫:将headers请求头字符串转为字典的方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python与Redis的连接教程
Apr 22 Python
Google开源的Python格式化工具YAPF的安装和使用教程
May 31 Python
python实现list元素按关键字相加减的方法示例
Jun 09 Python
python读取txt文件中特定位置字符的方法
Dec 24 Python
在pycharm中使用git版本管理以及同步github的方法
Jan 16 Python
python3.6实现学生信息管理系统
Feb 21 Python
python安装scipy的步骤解析
Sep 28 Python
python解析命令行参数的三种方法详解
Nov 29 Python
python计算auc的方法
Sep 09 Python
python文本处理的方案(结巴分词并去除符号)
May 26 Python
Python编程中Python与GIL互斥锁关系作用分析
Sep 15 Python
python中tkinter复选框使用操作
Nov 11 Python
利用python在大量数据文件下删除某一行的例子
Aug 21 #Python
Python 仅获取响应头, 不获取实体的实例
Aug 21 #Python
详解用Python为直方图绘制拟合曲线的两种方法
Aug 21 #Python
Python 使用指定的网卡发送HTTP请求的实例
Aug 21 #Python
Python turtle绘画象棋棋盘
Aug 21 #Python
Python随机函数库random的使用方法详解
Aug 21 #Python
Django+zTree构建组织架构树的方法
Aug 21 #Python
You might like
mysql 全文搜索 技巧
2007/04/27 PHP
Laravel中扩展Memcached缓存驱动实现使用阿里云OCS缓存
2015/02/10 PHP
PHP面向对象程序设计实例分析
2016/01/26 PHP
PHP中Session ID的实现原理实例分析
2019/08/17 PHP
Js 订制自己的AlertBox(信息提示框)
2009/01/09 Javascript
Javascript类定义语法,私有成员、受保护成员、静态成员等介绍
2011/12/08 Javascript
Javascript实现滑块滑动改变值的实现代码
2013/04/12 Javascript
JS实现遮罩层效果的简单实例
2013/11/12 Javascript
js实现多图左右切换功能
2016/08/04 Javascript
jQuery制作圣诞主题页面 更像是爱情影集
2016/08/10 Javascript
JS 滚动事件window.onscroll与position:fixed写兼容IE6的回到顶部组件
2016/10/10 Javascript
vue2.0数据双向绑定与表单bootstrap+vue组件
2017/02/27 Javascript
[js高手之路]设计模式系列课程-发布者,订阅者重构购物车的实例
2017/08/29 Javascript
浅谈ES6 模板字符串的具体使用方法
2017/11/07 Javascript
基于jQuery Ajax实现下拉框无刷新联动
2017/12/06 jQuery
layui中table表头样式修改方法
2018/08/15 Javascript
JavaScript 引用类型实例详解【数组、对象、严格模式等】
2020/05/13 Javascript
解决vue单页面应用打包后相对路径、绝对路径相关问题
2020/08/14 Javascript
[02:50]【扭转乾坤,只此一招】DOTA2全新版本永雾林渊开启新篇章
2020/12/24 DOTA
python中sys.argv参数用法实例分析
2015/05/20 Python
python实现ping的方法
2015/07/06 Python
Python中的字符串查找操作方法总结
2016/06/27 Python
python简易远程控制单线程版
2018/06/20 Python
python元组和字典的内建函数实例详解
2019/10/22 Python
python用pip install时安装失败的一系列问题及解决方法
2020/02/24 Python
tensorflow 2.0模式下训练的模型转成 tf1.x 版本的pb模型实例
2020/06/22 Python
浅析关于Keras的安装(pycharm)和初步理解
2020/10/23 Python
使用CSS3制作响应式导航菜单的方法
2015/07/12 HTML / CSS
请介绍一下WSDL的文档结构
2013/03/17 面试题
《胖乎乎的小手》教学反思
2014/02/26 职场文书
管理学院毕业生自荐信范文
2014/03/10 职场文书
银行求职信
2014/05/31 职场文书
计算机系统管理员求职信
2014/06/20 职场文书
社区五一劳动节活动总结
2015/02/09 职场文书
致接力运动员加油稿
2015/07/21 职场文书
聊聊pytorch测试的时候为何要加上model.eval()
2021/05/23 Python