python爬虫用request库处理cookie的实例讲解


Posted in Python onFebruary 20, 2021

python爬虫中使用urli库可以使用opener"发送多个请求,这些请求是能共享处理cookie的,小编之前也提过python爬虫中使用request库会比urllib库更加⽅便,使用使用requests也能达到共享cookie的目的,即使用request库get方法和使用requests库提供的session对象都可以处理。

方法一:使用request库get方法

resp = requests.get('http://www.baidu.com/') 
print(resp.cookies) 
print(resp.cookies.get_dict())

方法二:使用requests库提供的 session对象

import requests
url = "http://www.renren.com/PLogin.do" 
data = {"email":"970138074@qq.com",'password':"pythonspider"} 
headers = { 'User-Agent': "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 
(KHTML, like Gecko) Chrome/62.0.3202.94 Safari/537.36" }
#登录
session = requests.session() session.post(url,data=data,headers=headers)
#访问
resp = session.get('http://www.renren.com/256450404/profile')
print(resp.text) ```

知识点扩展:

我们知道了requests中的session对象能够在请求之间保持cookie,它极大地方便了我们去使用cookie。当我们想设置方法级别中的请求时,可以如下面示例一样操作。

import requests
s = requests.session()
# 第一步:发送一个请求,用于设置请求中的cookies
cookies = dict(cookies_are='cookie1')
# tips: http://httpbin.org能够用于测试http请求和响应
r1 = s.get(url='http://httpbin.org/cookies', cookies=cookies)
print(r1.text)
# 第二步:发送一个请求,用于再次设置请求中的cookies
cookies = dict(cookies_are='cookie2')
r2 = s.get(url='http://httpbin.org/cookies', cookies=cookies)
print(r2.text)

运行后

# r1.text
{
 "cookies": {
 "cookies_are": "cookie1"
 }
}
# t2.text
{
 "cookies": {
 "cookies_are": "cookie2"
 }
}

到此这篇关于python爬虫用request库处理cookie的实例讲解的文章就介绍到这了,更多相关python爬虫如何使用request库处理cookie内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
Python使用urllib2模块抓取HTML页面资源的实例分享
May 03 Python
Python入门必须知道的11个知识点
Mar 21 Python
基于Python pip用国内镜像下载的方法
Jun 12 Python
python生成1行四列全2矩阵的方法
Aug 04 Python
浅析Python四种数据类型
Sep 26 Python
Jupyter notebook在mac:linux上的配置和远程访问的方法
Jan 14 Python
关于numpy.where()函数 返回值的解释
Dec 06 Python
Python 面向对象部分知识点小结
Mar 09 Python
浅析pip安装第三方库及pycharm中导入第三方库的问题
Mar 10 Python
python图片指定区域替换img.paste函数的使用
Apr 09 Python
keras小技巧——获取某一个网络层的输出方式
May 23 Python
详解KMP算法以及python如何实现
Sep 18 Python
python 多线程爬取壁纸网站的示例
Feb 20 #Python
python 制作网站小说下载器
Feb 20 #Python
如何用python爬取微博热搜数据并保存
Feb 20 #Python
python 统计list中各个元素出现的次数的几种方法
Feb 20 #Python
pandas统计重复值次数的方法实现
Feb 20 #Python
pandas 按日期范围筛选数据的实现
Feb 20 #Python
基于Python-Pycharm实现的猴子摘桃小游戏(源代码)
Feb 20 #Python
You might like
Oracle Faq(Oracle的版本)
2006/10/09 PHP
五款PHP代码重构工具推荐
2014/10/14 PHP
php实现文件与16进制相互转换的方法示例
2017/02/16 PHP
非常不错的功能强大代码简单的管理菜单美化版
2008/07/09 Javascript
jQuery 使用个人心得
2009/02/26 Javascript
JavaScript Event学习第八章 事件的顺序
2010/02/07 Javascript
IE6下CSS图片缓存问题解决方法
2010/12/09 Javascript
jquery向.ashx文件post中文乱码问题的解决方法
2011/03/28 Javascript
浅析Js中的单引号与双引号问题
2013/11/06 Javascript
在JS中解析HTML字符串示例代码
2014/04/16 Javascript
JavaScript监听文本框回车事件并过滤文本框空格的方法
2015/04/16 Javascript
jQuery实现带滑动条的菜单效果代码
2015/08/26 Javascript
js+canvas绘制矩形的方法
2016/01/28 Javascript
javascript实现九宫格相加数值相等
2020/05/28 Javascript
基于JavaScript实现跳转提示页面
2016/09/24 Javascript
Vue如何实现组件的源码解析
2017/06/08 Javascript
jquery ajaxfileupload异步上传插件
2017/11/21 jQuery
vue微信分享 vue实现当前页面分享其他页面
2017/12/02 Javascript
微信小程序定位当前城市的方法
2018/07/19 Javascript
小程序如何支持使用 async/await详解
2019/09/12 Javascript
[48:32]VGJ.T vs Fnatic 2018国际邀请赛小组赛BO2 第一场 8.16
2018/08/17 DOTA
[49:12]完美世界DOTA2联赛PWL S2 Magma vs GXR 第二场 11.29
2020/12/02 DOTA
Python3.5 处理文本txt,删除不需要的行方法
2018/12/10 Python
Spring实战之使用util:命名空间简化配置操作示例
2019/12/09 Python
浅谈pytorch池化maxpool2D注意事项
2020/02/18 Python
深入浅析python变量加逗号,的含义
2020/02/22 Python
python 检测nginx服务邮件报警的脚本
2020/12/31 Python
html5中去掉input type date默认样式的方法
2018/09/06 HTML / CSS
英国家电直销:Appliances Direct
2016/09/22 全球购物
马来西亚户外装备商店:PTT Outdoor
2019/07/13 全球购物
高三生物教学反思
2014/01/25 职场文书
公司司机岗位职责范本
2014/03/03 职场文书
心理健康日活动总结
2014/05/08 职场文书
合作与交流自我评价
2015/03/09 职场文书
Python中常见的反爬机制及其破解方法总结
2021/06/10 Python
MySQL Shell import_table数据导入的实现
2021/08/07 MySQL