cookies应对python反爬虫知识点详解


Posted in Python onNovember 25, 2020

在保持合理的数据采集上,使用python爬虫也并不是一件坏事情,因为在信息的交流上加快了流通的频率。今天小编为大家带来了一个稍微复杂一点的应对反爬虫的方法,那就是我们自己构造cookies。在开始正式的构造之前,我们先进行简单的分析如果不构造cookies爬虫时会出现的一些情况,相信这样更能体会出cookies的作用。

网站需要cookies才能正常返回,但是该网站的cookies过期很快,我总不能用浏览器开发者工具获取cookies,然后让程序跑一会儿,每隔几分钟再手动获取cookies,再让程序继续跑吧。如果反复这样工作,那么写爬虫也就没意义了。便开始对cookies进行分析。

从浏览器的开发者工具获取到的cookies大约有10个字段,经过反复测试,能让网站正常返回的只需要两个字段,分别为__jsluid_h=011a522dbxxxxxxxxc1ce59d336e5e60和__jsl_clearance=1581880640.794|0|trTB4c6b%2BZpvxxxxxxxx8YqCOOo%3D (中间打码处理)。

 经过测试,如果请求的时候不自己构造cookies,默认会返回__jsluid_h :

cookies应对python反爬虫知识点详解

先尝试了将那段js脚本保存下来,包装成一个html文件打开,发现浏览器不停的刷新,也并没起什么作用。那就分析一下js脚本,原来的代码是单行的,自己整理一下并加了一些变量名和log,大概是这么个样子: 

cookies应对python反爬虫知识点详解

将第16行的变量cmd打印出来看看,发现是另一段类似的脚本:

cookies应对python反爬虫知识点详解

可以看到第二段脚本已经开始设置cookies的__jsl_clearence 字段了。这些显然就是混淆后的js脚本,但是分析到这里也就大概弄明白了从发送请求到网站返回是怎么回事。之所以在本地跑这段代码会不断刷新,是因为第二行的setTimeout会让其在1.5秒后重新请求,但是我们本地没有服务处理请求让其停止,所以会不断的刷新。

而第一段脚本当中,变量y是完整的js代码 ,代码中的变量名和关键字被进行编码了,变量x存储的是用来替换的变量名和关键字,后面是解码函数。所以现在的问题变成了获取第一段脚本当中的cmd代码,执行后再获取第二段代码的document.cookie的内容即可。

可是对于python和js的交互我完全没接触过,尝试了PyExecJS和Js2Py,都没办法正常执行第一段脚本。无奈之下,我用python复现了第一段脚本,然后用Js2Py获取了cookie。在请求一次过后,构造cookies,再请求一次,就可以了:

def test():
  url = REQUEST_URL
  # url = 'https://www.baidu.com'
  request_header = get_header()
  html = requests.get(url, headers=request_header)
  print(html)
  jscode = html.text
  # print(jscode)
  # tryjs.get_cookies()为复现的js代码,以及用Js2Py获取cookies的代码
  request_cookies = try_js.get_cookies(jscode)
  request_cookies += ';__jsluid_h=' + html.cookies['__jsluid_h']
  request_header['Cookie'] = request_cookies
  print(request_header)
  html = requests.get(url, headers=request_header, timeout=5)
  print('new connection')
  print(html)
  print(html.text)

在经历重重的分析试验后,我们终于得出以上的代码成功实现了构造cookies。相信经过本篇的学习,小伙伴们又多了一种解决爬虫阻拦获取数据的cookies办法了,赶快行动起来吧。

到此这篇关于cookies应对python反爬虫知识点详解的文章就介绍到这了,更多相关如何构造cookies应对python反爬虫内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
使用PYTHON接收多播数据的代码
Mar 01 Python
python实现批量转换文件编码(批转换编码示例)
Jan 23 Python
Python datetime时间格式化去掉前导0
Jul 31 Python
python中pass语句用法实例分析
Apr 30 Python
python 打印出所有的对象/模块的属性(实例代码)
Sep 11 Python
Python常用时间操作总结【取得当前时间、时间函数、应用等】
May 11 Python
pandas 快速处理 date_time 日期格式方法
Nov 12 Python
对python GUI实现完美进度条的示例详解
Dec 13 Python
关于阿里云oss获取sts凭证 app直传 python的实例
Aug 20 Python
django中瀑布流写法实例代码
Oct 14 Python
Python 面向对象之封装、继承、多态操作实例分析
Nov 21 Python
python 使用OpenCV进行简单的人像分割与合成
Feb 02 Python
Python基于unittest实现测试用例执行
Nov 25 #Python
python反爬虫方法的优缺点分析
Nov 25 #Python
Pytest测试框架基本使用方法详解
Nov 25 #Python
python实现企业微信定时发送文本消息的实例代码
Nov 25 #Python
Python json解析库jsonpath原理及使用示例
Nov 25 #Python
搭建pypi私有仓库实现过程详解
Nov 25 #Python
Python代码覆盖率统计工具coverage.py用法详解
Nov 25 #Python
You might like
php析构函数的简单使用说明
2015/08/24 PHP
js确定对象类型方法
2012/03/30 Javascript
Chrome扩展页面动态绑定JS事件提示错误
2014/02/11 Javascript
解决用jquery load加载页面到div时,不执行页面js的问题
2014/02/22 Javascript
jquery 根据name名获取元素的value值
2015/02/27 Javascript
jquery实现很酷的网页顶部图标下拉菜单效果
2015/08/22 Javascript
jQuery fancybox在ie浏览器下无法显示关闭按钮的解决办法
2016/02/19 Javascript
JavaScript实现字符串与日期的互相转换及日期的格式化
2016/03/07 Javascript
基于jQuery的select下拉框选择触发事件实例分析
2016/11/18 Javascript
node.js express中app.param的用法详解
2017/07/16 Javascript
jquery easyui如何实现格式化列
2017/07/30 jQuery
vue cli2.0单页面title修改方法
2018/06/07 Javascript
vue+element的表格实现批量删除功能示例代码
2018/08/17 Javascript
vue动态绘制四分之三圆环图效果
2019/09/03 Javascript
React+Redux实现简单的待办事项列表ToDoList
2019/09/29 Javascript
JS遍历树层级关系实现原理解析
2020/08/31 Javascript
django允许外部访问的实例讲解
2018/05/14 Python
python实现文件的备份流程详解
2019/06/18 Python
详解基于python-django框架的支付宝支付案例
2019/09/23 Python
Python使用cn2an实现中文数字与阿拉伯数字的相互转换
2021/03/02 Python
阿迪达斯墨西哥官方网站:adidas墨西哥
2017/11/03 全球购物
size?荷兰官方网站:英国高级运动鞋精品店
2020/07/24 全球购物
旅游管理毕业生自荐信
2013/11/05 职场文书
酒吧员工的岗位职责
2013/11/26 职场文书
战友聚会邀请函
2014/01/18 职场文书
毕业自我评价
2014/02/05 职场文书
《观舞记》教学反思
2014/04/16 职场文书
党员干部一句话承诺
2014/05/30 职场文书
球队口号
2014/06/18 职场文书
爱心募捐感谢信
2015/01/22 职场文书
2015年重阳节主持词
2015/07/04 职场文书
办公室日常管理制度
2015/08/04 职场文书
严以用权学习心得体会
2016/01/12 职场文书
转变工作作风心得体会
2016/01/23 职场文书
Windows下使用Nginx+Tomcat做负载均衡的完整步骤
2021/03/31 Servers
浅谈Python类的单继承相关知识
2021/05/12 Python