python爬虫泛滥的解决方法详解


Posted in Python onNovember 25, 2020

我们可以把互联网上搬运数据的程序看成小蚂蚁,它们需要采集不同的食物带回洞里存储。但是大家也知道白蚁泛滥的事件,在我们的网络环境里,如果爬虫都集中在某几个位置,最直接的结果就是这个网站的拥挤。对于我们这些网站访问者而言也不是好事情,首先网页的页面会被卡住。网站的管理人员面对爬虫过多,这时候就要进行一系列的限制措施了,这里小编分了两个大的应对方向,从不同的角度进 行分析爬虫过多的解决思路。

一、识别爬虫

1. HTTP请求头

这算是最基础的网络爬虫识别了,正常的网络访问者都是通过浏览器对网站进行访问的。而浏览器都会带上自己的请求头以表明自己的基础信息。而这也是最容易被爬虫程序突破的识别手段,因为HTTP请求头谁都可以进行修改和伪造。

2. Cookie值

Cookie通常用来标识网站访问者的身份,就像是手上的一张临时凭证。并凭着这个凭着与网站服务器进行身份的校对。很遗憾,Cookie是保存在客户端的数据,也可以被修改和伪造。

3. 访问频率

如果一个访问者,每隔1秒请求一次网站的某个页面,或者一秒钟请求了几百次这个页面。这个访问者不是爬虫程序就有鬼了。试问人类中有谁能快速和频繁地点击鼠标访问一个页面?他是得了帕金森综合征还是八爪鱼转世?

通过访问频率来识别爬虫程序是可行的,但是爬虫程序也能通过使用大量的代理IP来实现一个IP地址只访问了一次的效果,也可以通过随机的请求时间间隔规避。

4. 鼠标行为轨迹

正常人类访问者浏览网页势必不会像机器一样,机械地移动和点击鼠标。而鼠标的移动和点击,是可以通过JS脚本捕获到的,所以可以通过判断访问者的鼠标行为轨迹来判断访问者是否为爬虫程序。

5. token值

现在很多网站都是前后端分离开发的,数据通过后端接口返回给前端,前端拿到数据再结合页面进行渲染。所以很多爬虫程序都直接找数据接口,而不是傻傻地请求页面了。token就用在验证这些后端数据接口上。token一般通过网页上的某个密钥加上时间再加上某些数据组合加密而成。

还有更多地识别爬虫的手段在此就不一一进行介绍。很遗憾的是,上述任何一种识别爬虫的手段,都有可能被爬虫绕过和突破。

二、拒绝爬虫

1. 内容上限制内容的开放

开放的内容是获取用户、流量的基础,所以内容必须是开放的。但是内容的开放并不是无限制的开放。非注册用户可以看到一篇内容、两篇内容,但是不能无限地一直看到内容。这个限制,可以是要求登录,可以是要求扫码验证,可以是接入谷歌验证码之类的点击验证机制。

现在已经有越来越多的网站采用了有限内容开放的机制,比如微博、知乎、淘宝等,你可以看到一页两页的内容,但是如果还想继续,对不起请登录。

2. 行为上记录用户操作

需要访问者进行登录并不能解决问题,因为模拟登录一直是网络爬虫程序的一个热门发展分支,无论是图片验证码、拼图、滑块还是点选汉字,都会被突破。甚至于短信验证码都可以通过编写APP与爬虫程序和网站之间进行通信。

所以记录用户行为必不可少,用户的一切操作和访问行为都需要记录在案,这是分析和处理爬虫的基础。

3. 控制上严厉打击高频行为

从实际上来看,也有很多爬虫程序的运行并非是为了往死里薅网站的数据和内容,仅仅是为了方便进行手工的收集和整理工作,这种类型的爬虫行为一般会比人工浏览的频次要高,但是又显著低于鬣狗般的高频爬虫,对这种类型的爬虫行为可以忽略掉。做人留一线,日后好相见。

但是对于影响网站服务器运行的高频爬虫行为,高防服务器必须采取措施。结合用户和IP信息,对相关用户或IP进行处理。

4. 协议里申明权利

网站的所有者必须在网站协议或用户协议里申明,允许正常的浏览、访问和数据获取,对于异常、高频、威胁网站服务器稳定的行为,将保留进一步处理的权利。

到此这篇关于python爬虫泛滥的解决方法详解的文章就介绍到这了,更多相关python爬虫泛滥的解决实例内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
pyqt4教程之widget使用示例分享
Mar 07 Python
Python pass 语句使用示例
Mar 11 Python
Python中使用Inotify监控文件实例
Feb 14 Python
在MAC上搭建python数据分析开发环境
Jan 26 Python
Python的Django框架中forms表单类的使用方法详解
Jun 21 Python
python3中str(字符串)的使用教程
Mar 23 Python
Python三级菜单的实例
Sep 13 Python
python编写弹球游戏的实现代码
Mar 12 Python
如何使用selenium和requests组合实现登录页面
Feb 03 Python
jupyter notebook tensorflow打印device信息实例
Apr 20 Python
python中逻辑与或(and、or)和按位与或异或(&、|、^)区别
Aug 05 Python
python文件目录操作之os模块
May 08 Python
cookies应对python反爬虫知识点详解
Nov 25 #Python
Python基于unittest实现测试用例执行
Nov 25 #Python
python反爬虫方法的优缺点分析
Nov 25 #Python
Pytest测试框架基本使用方法详解
Nov 25 #Python
python实现企业微信定时发送文本消息的实例代码
Nov 25 #Python
Python json解析库jsonpath原理及使用示例
Nov 25 #Python
搭建pypi私有仓库实现过程详解
Nov 25 #Python
You might like
一个简洁的多级别论坛
2006/10/09 PHP
php横向重复区域显示二法
2008/09/25 PHP
PHP递归创建多级目录
2015/11/05 PHP
thinkPHP中volist标签用法示例
2016/12/06 PHP
基于ThinkPHP5.0实现图片上传插件
2017/09/25 PHP
thinkPHP利用ajax异步上传图片并显示、删除的示例
2018/09/26 PHP
javascript实现促销倒计时+fixed固定在底部
2013/09/18 Javascript
javascript常用经典算法实例详解
2015/11/25 Javascript
jQuery Easyui 验证两次密码输入是否相等
2016/05/13 Javascript
浅谈html转义及防止javascript注入攻击的方法
2016/12/04 Javascript
Vue实现自带的过滤器实例
2017/03/09 Javascript
vue mint-ui 实现省市区街道4级联动示例(仿淘宝京东收货地址4级联动)
2017/10/16 Javascript
AngularJS实时获取并显示密码的方法
2018/02/06 Javascript
angularJS的radio实现单项二选一的使用方法
2018/02/28 Javascript
vue中,在本地缓存中读写数据的方法
2018/09/21 Javascript
详解element-ui设置下拉选择切换必填和非必填
2019/06/17 Javascript
jQuery+ThinkPHP实现图片上传
2020/07/23 jQuery
[49:31]TFT vs Mski Supermajor小组赛C组 BO3 第一场 6.3
2018/06/04 DOTA
Python Web框架Flask信号机制(signals)介绍
2015/01/01 Python
python里使用正则的findall函数的实例详解
2017/10/19 Python
如何用Python合并lmdb文件
2018/07/02 Python
python2.7实现邮件发送功能
2018/12/12 Python
PowerBI和Python关于数据分析的对比
2019/07/11 Python
pytorch中使用cuda扩展的实现示例
2020/02/12 Python
关于Theano和Tensorflow多GPU使用问题
2020/06/19 Python
KIKO美国官网:意大利的平价彩妆品牌
2017/05/16 全球购物
应届毕业生的个人自我鉴定
2013/10/24 职场文书
物业门卫岗位职责
2013/12/28 职场文书
2014年预备党员学习两会心得体会
2014/03/17 职场文书
陈胜吴广起义口号
2014/06/20 职场文书
民主评议政风行风活动心得体会
2014/10/29 职场文书
钱学森观后感
2015/06/04 职场文书
力克胡哲观后感
2015/06/10 职场文书
Redis 持久化 RDB 与 AOF的执行过程
2021/11/07 Redis
详解JSON.parse和JSON.stringify用法
2022/02/18 Javascript
SQL SERVER实现连接与合并查询
2022/02/24 SQL Server