python cookie反爬处理的实现


Posted in Python onNovember 01, 2020

Cookies的处理

作用
保存客户端的相关状态

在爬虫中如果遇到了cookie的反爬如何处理?

手动处理
    在抓包工具中捕获cookie,将其封装在headers中
    应用场景:cookie没有有效时长且不是动态变化

自动处理
 使用session机制
 使用场景:动态变化的cookie
 session对象:该对象和requests模块用法几乎一致.如果在请求的过程中产生了cookie,如果该请求使用session发起的,则cookie会被自动存储到session中.

案例

爬取雪球网中的新闻资讯数据:https://xueqiu.com/

#获取一个session对象
import requests
headers = {
  'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36'
}
session = requests.Session()
main_url = 'https://xueqiu.com' #推测对该url发起请求会产生cookie
session.get(main_url,headers=headers)
url = 'https://xueqiu.com/v4/statuses/public_timeline_by_category.json'
params = {
  'since_id': '-1',
  'max_id': '20346152',
  'count': '15',
  'category': '-1',
}
page_text = session.get(url,headers=headers,params=params).json()
page_text

到此这篇关于python cookie反爬处理的实现的文章就介绍到这了,更多相关python cookie反爬内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
python新手经常遇到的17个错误分析
Jul 30 Python
Python实现二叉搜索树
Feb 03 Python
浅谈Python类里的__init__方法函数,Python类的构造函数
Dec 10 Python
python+matplotlib绘制简单的海豚(顶点和节点的操作)
Jan 02 Python
1分钟快速生成用于网页内容提取的xslt
Feb 23 Python
Python使用zip合并相邻列表项的方法示例
Mar 17 Python
Python 类的特殊成员解析
Jun 20 Python
NumPy 基本切片和索引的具体使用方法
Apr 24 Python
python实现翻转棋游戏(othello)
Jul 29 Python
Python flask框架如何显示图像到web页面
Jun 03 Python
python 读取、写入txt文件的示例
Sep 27 Python
pytorch 带batch的tensor类型图像显示操作
May 20 Python
10个python爬虫入门实例(小结)
Nov 01 #Python
利用pipenv和pyenv管理多个相互独立的Python虚拟开发环境
Nov 01 #Python
Python经纬度坐标转换为距离及角度的实现
Nov 01 #Python
详解Anaconda安装tensorflow报错问题解决方法
Nov 01 #Python
python Cartopy的基础使用详解
Nov 01 #Python
Python中使用aiohttp模拟服务器出现错误问题及解决方法
Oct 31 #Python
关于python中导入文件到list的问题
Oct 31 #Python
You might like
PHP中HTTP方式下的Gzip压缩传输方法举偶
2007/02/15 PHP
PHP Document 代码注释规范
2009/04/13 PHP
PHP异常Parse error: syntax error, unexpected T_VAR错误解决方法
2014/05/06 PHP
PHP使用header()输出图片缓存实例
2014/12/09 PHP
ThinkPHP通过AJAX返回JSON的两种实现方法
2014/12/18 PHP
PHP实现的Redis多库选择功能单例类
2017/07/27 PHP
IOS 开发之NSDictionary转换成JSON字符串
2017/08/14 PHP
基于Jquery的开发个代阴影的对话框效果代码
2011/07/28 Javascript
JSON.stringify 语法实例讲解
2012/03/14 Javascript
jquery聚焦文本框与扩展文本框聚焦方法
2012/10/12 Javascript
ajax提交表单实现网页无刷新注册示例
2014/05/08 Javascript
JS实现不使用图片仿Windows右键菜单效果代码
2015/10/22 Javascript
JS组件Bootstrap按钮组与下拉按钮详解
2016/05/10 Javascript
JavaScript仿淘宝页面图片滚动加载及刷新回顶部的方法解析
2016/05/24 Javascript
基于jQuery实现仿百度首页选项卡切换效果
2016/05/29 Javascript
JavaScript中有关一个数组中最大值和最小值及它们的下表的输出的解决办法
2016/07/01 Javascript
通俗易懂地解释JS中的闭包
2017/10/23 Javascript
Nodejs连接mysql并实现增、删、改、查操作的方法详解
2018/01/04 NodeJs
解决vue attr取不到属性值的问题
2018/09/18 Javascript
Node.JS枚举统计当前文件夹和子目录下所有代码文件行数
2019/08/23 Javascript
jQuery实现的解析本地 XML 文档操作示例
2020/04/30 jQuery
vue实现防抖的实例代码
2021/01/11 Vue.js
[46:09]2014 DOTA2华西杯精英邀请赛 5 25 LGD VS VG第三场
2014/05/26 DOTA
Python程序设计入门(4)模块和包
2014/06/16 Python
linux 下实现python多版本安装实践
2014/11/18 Python
Python中使用Flask、MongoDB搭建简易图片服务器
2015/02/04 Python
Python引用模块和查找模块路径
2016/03/17 Python
Python3.5运算符操作实例详解
2019/04/25 Python
python实现得到当前登录用户信息的方法
2019/06/21 Python
Python迭代器模块itertools使用原理解析
2019/12/11 Python
Django filter动态过滤与排序实现过程解析
2020/11/26 Python
材料化学应届生求职信
2013/10/09 职场文书
校园报刊亭的创业计划书
2014/01/02 职场文书
社区消防工作实施方案
2014/03/21 职场文书
党的群众路线整改落实情况汇报
2014/10/28 职场文书
原告代理词范文
2015/05/25 职场文书