python cookie反爬处理的实现


Posted in Python onNovember 01, 2020

Cookies的处理

作用
保存客户端的相关状态

在爬虫中如果遇到了cookie的反爬如何处理?

手动处理
    在抓包工具中捕获cookie,将其封装在headers中
    应用场景:cookie没有有效时长且不是动态变化

自动处理
 使用session机制
 使用场景:动态变化的cookie
 session对象:该对象和requests模块用法几乎一致.如果在请求的过程中产生了cookie,如果该请求使用session发起的,则cookie会被自动存储到session中.

案例

爬取雪球网中的新闻资讯数据:https://xueqiu.com/

#获取一个session对象
import requests
headers = {
  'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36'
}
session = requests.Session()
main_url = 'https://xueqiu.com' #推测对该url发起请求会产生cookie
session.get(main_url,headers=headers)
url = 'https://xueqiu.com/v4/statuses/public_timeline_by_category.json'
params = {
  'since_id': '-1',
  'max_id': '20346152',
  'count': '15',
  'category': '-1',
}
page_text = session.get(url,headers=headers,params=params).json()
page_text

到此这篇关于python cookie反爬处理的实现的文章就介绍到这了,更多相关python cookie反爬内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
python ip正则式
May 07 Python
在Python中定义和使用抽象类的方法
Jun 30 Python
解决python2.7用pip安装包时出现错误的问题
Jan 23 Python
Python实现读取及写入csv文件的方法示例
Jan 12 Python
Python计算一个给定时间点前一个月和后一个月第一天的方法
May 29 Python
深入浅析Python中list的复制及深拷贝与浅拷贝
Sep 03 Python
从0开始的Python学习016异常
Apr 08 Python
解决Django加载静态资源失败的问题
Jul 28 Python
Python PyPDF2模块安装使用解析
Jan 19 Python
Python Socket TCP双端聊天功能实现过程详解
Jun 15 Python
基于PyTorch实现一个简单的CNN图像分类器
May 29 Python
深入浅析Django MTV模式
Sep 04 Python
10个python爬虫入门实例(小结)
Nov 01 #Python
利用pipenv和pyenv管理多个相互独立的Python虚拟开发环境
Nov 01 #Python
Python经纬度坐标转换为距离及角度的实现
Nov 01 #Python
详解Anaconda安装tensorflow报错问题解决方法
Nov 01 #Python
python Cartopy的基础使用详解
Nov 01 #Python
Python中使用aiohttp模拟服务器出现错误问题及解决方法
Oct 31 #Python
关于python中导入文件到list的问题
Oct 31 #Python
You might like
ZF等常用php框架中存在的问题
2008/01/10 PHP
PHP生成自定义长度随机字符串的函数分享
2014/05/04 PHP
phpword插件导出word文件时中文乱码问题处理方案
2014/08/19 PHP
php实现的简单日志写入函数
2015/03/31 PHP
Yii2.0建立公共方法简单示例
2019/01/29 PHP
PHP连接MySQL数据库三种实现方法
2020/12/10 PHP
JavaScript 中的事件教程
2007/04/05 Javascript
用js生产批量批处理执行命令
2008/07/28 Javascript
js中的string.format函数代码
2020/08/11 Javascript
javascript判断iphone/android手机横竖屏模式的函数
2011/12/20 Javascript
firefox浏览器不支持innerText的解决方法
2013/08/07 Javascript
JS控制输入框内字符串长度
2014/05/21 Javascript
js中最容易被忽视的事件问题大总结
2016/05/15 Javascript
jQuery Ajax 上传文件处理方式介绍(推荐)
2016/06/30 Javascript
jQuery删除当前节点元素
2016/12/07 Javascript
vue.js获得当前元素的文字信息方法
2018/03/09 Javascript
VUE DEMO之模拟登录个人中心页面之间数据传值实例
2019/10/31 Javascript
Vue中使用matomo进行访问流量统计的实现
2019/11/05 Javascript
十分钟教你上手ES2020新特性
2020/02/12 Javascript
js+for循环实现字符串自动转义的代码(把后面的字符替换前面的字符)
2020/12/24 Javascript
Python实现端口复用实例代码
2014/07/03 Python
Python实现HTTP协议下的文件下载方法总结
2016/04/20 Python
详解python的ORM中Pony用法
2018/02/09 Python
Python fileinput模块如何逐行读取多个文件
2020/10/05 Python
马来西亚网上购物:Youbeli
2018/03/30 全球购物
请说出几个常用的异常类
2013/01/08 面试题
儿科主治医生个人求职信
2013/09/23 职场文书
会计岗位职责范本
2014/03/07 职场文书
学校四风问题对照检查材料思想汇报
2014/09/26 职场文书
网吧员工管理制度
2015/08/05 职场文书
车间班组长竞聘书
2015/09/15 职场文书
纯CSS实现酷炫的霓虹灯效果
2021/04/13 HTML / CSS
教你使用Python pypinyin库实现汉字转拼音
2021/05/27 Python
pytorch 两个GPU同时训练的解决方案
2021/06/01 Python
数据库之SQL技巧整理案例
2021/07/07 SQL Server
Nginx的基本概念和原理
2022/03/21 Servers