python爬虫用request库处理cookie的实例讲解


Posted in Python onFebruary 20, 2021

python爬虫中使用urli库可以使用opener"发送多个请求,这些请求是能共享处理cookie的,小编之前也提过python爬虫中使用request库会比urllib库更加⽅便,使用使用requests也能达到共享cookie的目的,即使用request库get方法和使用requests库提供的session对象都可以处理。

方法一:使用request库get方法

resp = requests.get('http://www.baidu.com/') 
print(resp.cookies) 
print(resp.cookies.get_dict())

方法二:使用requests库提供的 session对象

import requests
url = "http://www.renren.com/PLogin.do" 
data = {"email":"970138074@qq.com",'password':"pythonspider"} 
headers = { 'User-Agent': "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 
(KHTML, like Gecko) Chrome/62.0.3202.94 Safari/537.36" }
#登录
session = requests.session() session.post(url,data=data,headers=headers)
#访问
resp = session.get('http://www.renren.com/256450404/profile')
print(resp.text) ```

知识点扩展:

我们知道了requests中的session对象能够在请求之间保持cookie,它极大地方便了我们去使用cookie。当我们想设置方法级别中的请求时,可以如下面示例一样操作。

import requests
s = requests.session()
# 第一步:发送一个请求,用于设置请求中的cookies
cookies = dict(cookies_are='cookie1')
# tips: http://httpbin.org能够用于测试http请求和响应
r1 = s.get(url='http://httpbin.org/cookies', cookies=cookies)
print(r1.text)
# 第二步:发送一个请求,用于再次设置请求中的cookies
cookies = dict(cookies_are='cookie2')
r2 = s.get(url='http://httpbin.org/cookies', cookies=cookies)
print(r2.text)

运行后

# r1.text
{
 "cookies": {
 "cookies_are": "cookie1"
 }
}
# t2.text
{
 "cookies": {
 "cookies_are": "cookie2"
 }
}

到此这篇关于python爬虫用request库处理cookie的实例讲解的文章就介绍到这了,更多相关python爬虫如何使用request库处理cookie内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
python实现简单的计时器功能函数
Mar 14 Python
python递归计算N!的方法
May 05 Python
简介二分查找算法与相关的Python实现示例
Aug 26 Python
python构建深度神经网络(DNN)
Mar 10 Python
Python设计模式之命令模式原理与用法实例分析
Jan 11 Python
Django框架创建mysql连接与使用示例
Jul 29 Python
Django中的静态文件管理过程解析
Aug 01 Python
python PyAutoGUI 模拟鼠标键盘操作和截屏功能
Aug 04 Python
python图像处理模块Pillow的学习详解
Oct 09 Python
解决windows上安装tensorflow时报错,“DLL load failed: 找不到指定的模块”的问题
May 20 Python
在CentOS7下安装Python3教程解析
Jul 09 Python
python smtplib发送多个email联系人的实现
Oct 09 Python
python 多线程爬取壁纸网站的示例
Feb 20 #Python
python 制作网站小说下载器
Feb 20 #Python
如何用python爬取微博热搜数据并保存
Feb 20 #Python
python 统计list中各个元素出现的次数的几种方法
Feb 20 #Python
pandas统计重复值次数的方法实现
Feb 20 #Python
pandas 按日期范围筛选数据的实现
Feb 20 #Python
基于Python-Pycharm实现的猴子摘桃小游戏(源代码)
Feb 20 #Python
You might like
apache+php+mysql安装配置方法小结
2010/08/01 PHP
PHP程序开发范例学习之表单 获取文本框的值
2011/08/08 PHP
yii框架配置默认controller和action示例
2014/04/30 PHP
destoon官方标签大全
2014/06/20 PHP
php中使用session防止用户非法登录后台的方法
2015/01/27 PHP
分享php邮件管理器源码
2016/01/06 PHP
php从身份证获取性别和出生年月
2017/02/09 PHP
php+ajax实现无刷新文件上传功能(ajaxuploadfile)
2018/02/11 PHP
PHP 文件写入和读取操作实例详解【必看篇】
2019/11/04 PHP
PHP pthreads v3下worker和pool的使用方法示例
2020/02/21 PHP
Code:findPosX 和 findPosY
2006/12/20 Javascript
一张Web前端的思维导图分享
2015/07/03 Javascript
Bootstrap每天必学之导航条(二)
2016/03/01 Javascript
javascript实现PC网页里的拖拽效果
2016/03/14 Javascript
浅谈jquery中next与siblings的区别
2016/10/27 Javascript
iconfont的三种使用方式详解
2018/08/05 Javascript
在vue中v-bind使用三目运算符绑定class的实例
2018/09/29 Javascript
javascript面向对象三大特征之继承实例详解
2019/07/24 Javascript
微信小程序使用npm包的方法步骤
2019/08/13 Javascript
JS Generator 函数的含义与用法实例总结
2020/04/08 Javascript
微信小程序实现自定义动画弹框/提示框的方法实例
2020/11/06 Javascript
Python用UUID库生成唯一ID的方法示例
2016/12/15 Python
pygame加载中文名mp3文件出现error
2017/03/31 Python
Django + Uwsgi + Nginx 实现生产环境部署的方法
2018/06/20 Python
python 求定积分和不定积分示例
2019/11/20 Python
Python爬虫爬取微信朋友圈
2020/08/06 Python
HTML5中图片之间的缝隙完美解决方法
2017/07/07 HTML / CSS
微软中国官方商城:Microsoft Store中国
2018/10/12 全球购物
PHP如何防止SQL注入
2014/05/03 面试题
SQL注入攻击的种类有哪些
2013/12/30 面试题
计算机专业毕业生推荐信
2013/11/25 职场文书
学生意外伤害赔偿协议书
2014/09/17 职场文书
大学生党员批评与自我批评范文
2014/10/14 职场文书
Python djanjo之csrf防跨站攻击实验过程
2021/05/14 Python
Python进程池与进程锁之语法学习
2022/04/11 Python
古见同学有交流障碍症 第二季宣传CM公开播出
2022/04/11 日漫