python爬虫用request库处理cookie的实例讲解


Posted in Python onFebruary 20, 2021

python爬虫中使用urli库可以使用opener"发送多个请求,这些请求是能共享处理cookie的,小编之前也提过python爬虫中使用request库会比urllib库更加⽅便,使用使用requests也能达到共享cookie的目的,即使用request库get方法和使用requests库提供的session对象都可以处理。

方法一:使用request库get方法

resp = requests.get('http://www.baidu.com/') 
print(resp.cookies) 
print(resp.cookies.get_dict())

方法二:使用requests库提供的 session对象

import requests
url = "http://www.renren.com/PLogin.do" 
data = {"email":"970138074@qq.com",'password':"pythonspider"} 
headers = { 'User-Agent': "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 
(KHTML, like Gecko) Chrome/62.0.3202.94 Safari/537.36" }
#登录
session = requests.session() session.post(url,data=data,headers=headers)
#访问
resp = session.get('http://www.renren.com/256450404/profile')
print(resp.text) ```

知识点扩展:

我们知道了requests中的session对象能够在请求之间保持cookie,它极大地方便了我们去使用cookie。当我们想设置方法级别中的请求时,可以如下面示例一样操作。

import requests
s = requests.session()
# 第一步:发送一个请求,用于设置请求中的cookies
cookies = dict(cookies_are='cookie1')
# tips: http://httpbin.org能够用于测试http请求和响应
r1 = s.get(url='http://httpbin.org/cookies', cookies=cookies)
print(r1.text)
# 第二步:发送一个请求,用于再次设置请求中的cookies
cookies = dict(cookies_are='cookie2')
r2 = s.get(url='http://httpbin.org/cookies', cookies=cookies)
print(r2.text)

运行后

# r1.text
{
 "cookies": {
 "cookies_are": "cookie1"
 }
}
# t2.text
{
 "cookies": {
 "cookies_are": "cookie2"
 }
}

到此这篇关于python爬虫用request库处理cookie的实例讲解的文章就介绍到这了,更多相关python爬虫如何使用request库处理cookie内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
用Python进行基础的函数式编程的教程
Mar 31 Python
python中实现精确的浮点数运算详解
Nov 02 Python
python使用os.listdir和os.walk获得文件的路径的方法
Dec 16 Python
Python3.6使用tesseract-ocr的正确方法
Oct 17 Python
python多线程并发实例及其优化
Jun 27 Python
关于pytorch中网络loss传播和参数更新的理解
Aug 20 Python
pytorch 自定义参数不更新方式
Jan 06 Python
Python GUI库PyQt5图形和特效样式QSS介绍
Feb 25 Python
PIL包中Image模块的convert()函数的具体使用
Feb 26 Python
Python任务自动化工具tox使用教程
Mar 17 Python
Django如何实现防止XSS攻击
Oct 13 Python
python实现按日期归档文件
Jan 30 Python
python 多线程爬取壁纸网站的示例
Feb 20 #Python
python 制作网站小说下载器
Feb 20 #Python
如何用python爬取微博热搜数据并保存
Feb 20 #Python
python 统计list中各个元素出现的次数的几种方法
Feb 20 #Python
pandas统计重复值次数的方法实现
Feb 20 #Python
pandas 按日期范围筛选数据的实现
Feb 20 #Python
基于Python-Pycharm实现的猴子摘桃小游戏(源代码)
Feb 20 #Python
You might like
PHP 批量更新网页内容实现代码
2010/01/05 PHP
PHP无法访问远程mysql的问题分析及解决
2013/05/16 PHP
js代码实现微博导航栏
2015/07/30 PHP
yii2 开发api接口时优雅的处理全局异常的方法
2019/05/14 PHP
再次更新!MSClass (Class Of Marquee Scroll通用不间断滚动JS封装类 Ver 1.6)
2007/02/05 Javascript
html dom节点操作(获取/修改/添加或删除)
2014/01/23 Javascript
jquery的ajax和getJson跨域获取json数据的实现方法
2014/02/04 Javascript
node.js中的buffer.toJSON方法使用说明
2014/12/14 Javascript
node.js操作mongodb学习小结
2015/04/25 Javascript
JS产生随机数的几个用法详解
2016/06/22 Javascript
Bootstrap中表单控件状态(验证状态)
2016/08/04 Javascript
JavaScript中数组slice和splice的对比小结
2016/09/22 Javascript
JSON 必知必会 观后记
2016/10/27 Javascript
AngularJS定时器的使用与移除操作方法【interval与timeout】
2016/12/14 Javascript
浅析JavaScript的几种Math函数,random(),ceil(),round(),floor()
2016/12/22 Javascript
jQuery加载及解析XML文件的方法实例分析
2017/01/22 Javascript
AngularJs定时器$interval 和 $timeout详解
2017/05/25 Javascript
解决vue数组中对象属性变化页面不渲染问题
2018/08/09 Javascript
[49:27]2018DOTA2亚洲邀请赛 4.4 淘汰赛 TNC vs VG 第一场
2018/04/05 DOTA
[00:52]DOTA2国际邀请赛
2020/02/21 DOTA
Python的一些用法分享
2012/10/07 Python
python获取当前计算机cpu数量的方法
2015/04/18 Python
利用Python+Java调用Shell脚本时的死锁陷阱详解
2018/01/24 Python
python 时间信息“2018-02-04 18:23:35“ 解析成字典形式的结果代码详解
2018/04/19 Python
使用Python FastAPI构建Web服务的实现
2020/06/08 Python
python3排序的实例方法
2020/10/20 Python
使用html2canvas实现浏览器截图的示例代码
2018/01/26 HTML / CSS
澳大利亚拥有最好的家具和家居用品在线目的地:Nestz
2019/02/23 全球购物
澳大利亚玩具剧场:Toy Playhouse
2019/03/03 全球购物
HomeAway英国:全球领先的度假租赁在线市场
2020/02/03 全球购物
新入职员工的自我介绍演讲稿
2014/01/02 职场文书
新文化运动的口号
2014/06/21 职场文书
岗位安全生产责任书
2014/07/28 职场文书
贵阳市党的群众路线教育实践活动党(工)委领导班子整改方案
2014/10/26 职场文书
2016年圣诞节义工活动总结
2016/04/01 职场文书
laravel添加角色和模糊搜索功能的实现代码
2021/06/22 PHP