python爬虫用request库处理cookie的实例讲解


Posted in Python onFebruary 20, 2021

python爬虫中使用urli库可以使用opener"发送多个请求,这些请求是能共享处理cookie的,小编之前也提过python爬虫中使用request库会比urllib库更加⽅便,使用使用requests也能达到共享cookie的目的,即使用request库get方法和使用requests库提供的session对象都可以处理。

方法一:使用request库get方法

resp = requests.get('http://www.baidu.com/') 
print(resp.cookies) 
print(resp.cookies.get_dict())

方法二:使用requests库提供的 session对象

import requests
url = "http://www.renren.com/PLogin.do" 
data = {"email":"970138074@qq.com",'password':"pythonspider"} 
headers = { 'User-Agent': "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 
(KHTML, like Gecko) Chrome/62.0.3202.94 Safari/537.36" }
#登录
session = requests.session() session.post(url,data=data,headers=headers)
#访问
resp = session.get('http://www.renren.com/256450404/profile')
print(resp.text) ```

知识点扩展:

我们知道了requests中的session对象能够在请求之间保持cookie,它极大地方便了我们去使用cookie。当我们想设置方法级别中的请求时,可以如下面示例一样操作。

import requests
s = requests.session()
# 第一步:发送一个请求,用于设置请求中的cookies
cookies = dict(cookies_are='cookie1')
# tips: http://httpbin.org能够用于测试http请求和响应
r1 = s.get(url='http://httpbin.org/cookies', cookies=cookies)
print(r1.text)
# 第二步:发送一个请求,用于再次设置请求中的cookies
cookies = dict(cookies_are='cookie2')
r2 = s.get(url='http://httpbin.org/cookies', cookies=cookies)
print(r2.text)

运行后

# r1.text
{
 "cookies": {
 "cookies_are": "cookie1"
 }
}
# t2.text
{
 "cookies": {
 "cookies_are": "cookie2"
 }
}

到此这篇关于python爬虫用request库处理cookie的实例讲解的文章就介绍到这了,更多相关python爬虫如何使用request库处理cookie内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
python调用shell的方法
Nov 20 Python
Windows和Linux下使用Python访问SqlServer的方法介绍
Mar 10 Python
Python在Windows和在Linux下调用动态链接库的教程
Aug 18 Python
Python Tkinter实现简易计算器功能
Jan 30 Python
python for 循环获取index索引的方法
Feb 01 Python
使用 Python 玩转 GitHub 的贡献板(推荐)
Apr 04 Python
Django框架登录加上验证码校验实现验证功能示例
May 23 Python
利用python在大量数据文件下删除某一行的例子
Aug 21 Python
opencv设置采集视频分辨率方式
Dec 10 Python
Python异常处理机制结构实例解析
Jul 23 Python
python 绘制国旗的示例
Sep 27 Python
Python文件操作及内置函数flush原理解析
Oct 13 Python
python 多线程爬取壁纸网站的示例
Feb 20 #Python
python 制作网站小说下载器
Feb 20 #Python
如何用python爬取微博热搜数据并保存
Feb 20 #Python
python 统计list中各个元素出现的次数的几种方法
Feb 20 #Python
pandas统计重复值次数的方法实现
Feb 20 #Python
pandas 按日期范围筛选数据的实现
Feb 20 #Python
基于Python-Pycharm实现的猴子摘桃小游戏(源代码)
Feb 20 #Python
You might like
Apache设置虚拟WEB
2006/10/09 PHP
轻松修复Discuz!数据库
2008/05/03 PHP
PHP 反向排序和随机排序代码
2010/06/30 PHP
shopex主机报错误请求解决方案(No such file or directory)
2011/12/27 PHP
PHP中使用register_shutdown_function函数截获fatal error示例
2015/04/21 PHP
php邮件发送的两种方式
2020/04/28 PHP
php+ajax实现无刷新文件上传功能(ajaxuploadfile)
2018/02/11 PHP
PHP利用pdo_odbc实现连接数据库示例【基于ThinkPHP5.1搭建的项目】
2019/05/13 PHP
jQuery创建自己的插件(自定义插件)的方法
2010/06/10 Javascript
JavaScript的类型简单说明
2010/09/03 Javascript
JavaScript实现鼠标点击后层展开效果的方法
2015/05/13 Javascript
js兼容火狐获取图片宽和高的方法
2015/05/21 Javascript
jquery+ajax实现注册实时验证实例详解
2015/12/08 Javascript
理解javascript模块化
2016/03/28 Javascript
全面解析Bootstrap中scrollspy(滚动监听)的使用方法
2016/06/06 Javascript
jQuery解析与处理服务器端返回xml格式数据的方法详解
2016/07/04 Javascript
Javascript 实现计算器时间功能详解及实例(二)
2017/01/08 Javascript
JavaScript基础之this详解
2017/06/04 Javascript
jquery.picsign图片标注组件实例详解
2018/02/02 jQuery
详解Angular中实现自定义组件的双向绑定的两种方法
2018/11/23 Javascript
vue spa应用中的路由缓存问题与解决方案
2019/05/31 Javascript
详解微信小程序开发(项目从零开始)
2019/06/06 Javascript
express如何解决ajax跨域访问session失效问题详解
2019/06/20 Javascript
[05:09]2016国际邀请赛中国区预选赛淘汰赛首日精彩回顾
2016/06/29 DOTA
Python基于回溯法子集树模板解决旅行商问题(TSP)实例
2017/09/05 Python
ubuntu系统下使用pm2设置nodejs开机自启动的方法
2018/05/12 NodeJs
用Python实现数据的透视表的方法
2018/11/16 Python
Python实现计算对象的内存大小示例
2019/07/10 Python
Python下opencv图像阈值处理的使用笔记
2019/08/04 Python
在python中利用try..except来代替if..else的用法
2019/12/19 Python
在keras里面实现计算f1-score的代码
2020/06/15 Python
英国电器零售商:PRC Direct
2018/06/21 全球购物
Java面试题汇总
2015/12/06 面试题
小学安全教育材料
2014/02/17 职场文书
安全生产工作汇报
2014/10/28 职场文书
成功的商业计划书这样写才最靠谱
2019/07/12 职场文书