python反扒机制的5种解决方法


Posted in Python onFebruary 06, 2021

前言

反爬虫是网站为了维护自己的核心安全而采取的抑制爬虫的手段,反爬虫的手段有很多种,一般情况下除了百度等网站,反扒机制会常常更新以外。为了保持网站运行的高效,网站采取的反扒机制并不是太多,今天分享几个我在爬虫过程中遇到的反扒机制,并简单介绍其解决方式。

基于User-Agent反爬

简介:服务器后台对访问的User_Agent进行统计,单位时间内同一User_Agent访问的次数超过特定的阀值,则会被不同程度的封禁IP,从而造成无法进行爬虫的状况。

解决方法:

一 . 将常见的User-Agent放到ua_list中,以列表形式进行随机使用

代码示例:

python反扒机制的5种解决方法

二. 加载fake_useragent库,随机生成User-Agent添加到headers中

代码示例:

python反扒机制的5种解决方法

2 基于IP反爬

简介: 爬虫程序可能会在短时间内对指定的服务器发起高频的请求。后台服务器对访问进行统计,单位时间内同一IP访问的次数超过一个特定的值(阀值),就会不同程度的禁封IP,导致无法进行爬虫操作。

解决方法:使用代理池,并设定延迟访问

如何获取代理服务器?免费:西祠代理、快代理、goubanjia 收费:代理精灵等

代码示例:

python反扒机制的5种解决方法

3 基于cookie反扒

简介:网站会通过cookie跟踪你的访问过程,如果发现有爬虫行为会立刻中断你的访问,比如特别快的填写表单,或者短时间内浏览大量页面。而正确地处理cookie,又可以避免很多采集问题,建议在采集网站过程中,检查一下这些网站生成的cookie,然后想想哪一个是爬虫需要处理的。

解决方法:

一 手动处理

将cookie封装到headers字典中,将该字典作用到get/post方法的headers参数中

二 自动处理

需要两次处理。第一次是为了捕获和存储cookie到session对象中,第二次就是用携带cookie的session进行请求发送,这次请求发送就是携带cookie发起的请求。可以跟requests一样调用get/post进行请求的发送。在使用session进行请求发送的过程中,如果产生了cookie,则cookie会被自动存储session对象中

代码示例:

#基于session自动处理
cookiesess = requests.Session() 
#该次请求只是为了捕获cookie存储到sess中
sess.get(url='https://xueqiu.com/',headers=headers)
url = 'https://xueqiu.com/v4/statuses/public_timeline_by_category.json?since_id=-1&max_id=20367942&count=15&category=-1'
json_data = sess.get(url=url,headers=headers).json()json_data

4 图片懒加载

简介:图片懒加载是一种网页优化技术。图片作为一种网络资源,在被请求时也与普通静态资源一样,将占用网络资源,而一次性将整个页面的所有图片加载完,将大大增加页面的首屏加载时间。为了解决这种问题,通过前后端配合,使图片仅在浏览器当前视窗内出现时才加载该图片,达到减少首屏图片请求数的技术就被称为“图片懒加载”。在网页源码中,在img标签中首先会使用一个“伪属性”(通常使用src2,original......)去存放真正的图片链接而并非是直接存放在src属性中。当图片出现到页面的可视化区域中,会动态将伪属性替换成src属性,完成图片的加载。

解决方法:通过细致观察页面的结构,发现图片的链接真正链的伪属性中,一般不在src中,而是src2中,xpath要使用该属性

示例代码:

python反扒机制的5种解决方法

5 Ajax动态加载

简介:从网页的 url 加载网页的源代码之后,会在浏览器里执行JavaScript程序。这些程序会加载出更多的内容,并把这些内容传输到网页中。这就是为什么有些网页直接爬它的URL时却没有数据的原因。现在这样的网站也越来越多。
解决方法:使用审查元素分析”请求“对应的链接(方法:右键→审查元素→Network→清空,点击”加载更多“,出现对应的GET链接寻找Type为text/html的,点击,查看get参数或者复制Request URL),循环过程。如果“请求”之前有页面,依据上一步的网址进行分析推导第1页。以此类推,抓取抓Ajax地址的数据。对返回的json使用requests中的json进行解析,观察动态加载的规律,在请求头中对规律进行使用

抓包工具推荐:fiddler

到此这篇关于python反扒机制的5种解决方法的文章就介绍到这了,更多相关python反扒机制内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
Django在Win7下的安装及创建项目hello word简明教程
Jul 14 Python
Python实现批量检测HTTP服务的状态
Oct 27 Python
Python实现矩阵加法和乘法的方法分析
Dec 19 Python
python opencv之SIFT算法示例
Feb 24 Python
关于python之字典的嵌套,递归调用方法
Jan 21 Python
Flask框架踩坑之ajax跨域请求实现
Feb 22 Python
利用python将图片版PDF转文字版PDF
May 03 Python
python+openCV调用摄像头拍摄和处理图片的实现
Aug 06 Python
浅析PEP572: 海象运算符
Oct 15 Python
python实现输入的数据在地图上生成热力图效果
Dec 06 Python
Jupyter Notebook添加代码自动补全功能的实现
Jan 07 Python
Python初学者必备的文件读写指南
Jun 23 Python
Python 爬取淘宝商品信息栏目的实现
Feb 06 #Python
解决pytorch下出现multi-target not supported at的一种可能原因
Feb 06 #Python
pytorch下的unsqueeze和squeeze的用法说明
Feb 06 #Python
一文带你掌握Pyecharts地理数据可视化的方法
Feb 06 #Python
解决pycharm不能自动保存在远程linux中的问题
Feb 06 #Python
Python第三方库安装缓慢的解决方法
Feb 06 #Python
python中threading和queue库实现多线程编程
Feb 06 #Python
You might like
PHP实现MySQL更新记录的代码
2008/06/07 PHP
PHP连接局域网MYSQL数据库的简单实例
2013/08/26 PHP
php调用KyotoTycoon简单实例
2015/04/02 PHP
PHP借助phpmailer发送邮件
2015/05/11 PHP
thinkPHP5项目中实现QQ第三方登录功能
2017/10/20 PHP
laravel5使用freetds连接sql server的方法
2018/12/07 PHP
农历与西历对照
2006/09/06 Javascript
一个简单的JavaScript数据缓存系统实现代码
2010/10/24 Javascript
文本框获得焦点和失去焦点的判断代码
2012/03/18 Javascript
JavaScript使用DeviceOne开发实战(四)仿优酷视频应用
2015/12/02 Javascript
javascript实现文字无缝滚动效果
2017/08/26 Javascript
基于vue1和vue2获取dom元素的方法
2018/03/17 Javascript
Layer弹出层动态获取数据的方法
2018/08/20 Javascript
vuex实现的简单购物车功能示例
2019/02/13 Javascript
微信小程序Page中data数据操作和函数调用方法
2019/05/08 Javascript
深入理解 ES6中的 Reflect用法
2020/07/18 Javascript
Vue实现boradcast和dispatch的示例
2020/11/13 Javascript
JS闭包原理及其使用场景解析
2020/12/03 Javascript
python以环状形式组合排列图片并输出的方法
2015/03/17 Python
给Python初学者的一些编程技巧
2015/04/03 Python
Python 由字符串函数名得到对应的函数(实例讲解)
2017/08/10 Python
基于Django统计博客文章阅读量
2019/10/29 Python
如何分离django中的媒体、静态文件和网页
2019/11/12 Python
python装饰器的特性原理详解
2019/12/25 Python
Python3.7.0 Shell添加清屏快捷键的实现示例
2020/03/23 Python
python 制作python包,封装成可用模块教程
2020/07/13 Python
Jmeter HTTPS接口测试证书导入过程图解
2020/07/22 Python
Matplotlib中rcParams使用方法
2021/01/05 Python
CSS3中的clip-path使用攻略
2015/08/03 HTML / CSS
优秀员工评语
2014/02/10 职场文书
四年级评语大全
2014/04/21 职场文书
关爱老人标语
2014/06/21 职场文书
2014迎国庆标语大全
2014/09/19 职场文书
2015年党员发展工作总结
2015/05/13 职场文书
个人更名证明
2015/06/23 职场文书
Python中文分词库jieba(结巴分词)详细使用介绍
2022/04/07 Python