python反爬虫方法的优缺点分析


Posted in Python onNovember 25, 2020

我们选择一种问题的解决办法,通常需要考虑到想要达到的效果,还有最重要的是这个办法本身的优缺点有哪些,与其他的方法对比哪一个更好。之前小编之前也教过大家在python应对反爬虫的方法,那么小伙伴们知道具体情况下选择哪一种办法更适合吗?今天就其中的user-agent和ip代码两个办法进行优缺点分析比较,让大家可以明确不同办法的区别从而进行选择。

方法一:

可以自己设置一下user-agent,或者更好的是,可以从一系列的user-agent里随机挑出一个符合标准的使用。

 python反爬虫方法的优缺点分析缺点:

容易伪造头部,github上有人分享开源库fake-useragent

IP限制

如果一个固定的ip在短暂的时间内,快速大量的访问一个网站,后台管理员可以编写IP限制,不让该IP继续访问。

方法二:

比较成熟的方式是:IP代理池

python反爬虫方法的优缺点分析 

简单的说,就是通过ip代理,从不同的ip进行访问,这样就不会被封掉ip了。

可是ip代理的获取本身就是一个很麻烦的事情,网上有免费和付费的,但是质量都层次不齐。如果是企业里需要的话,可以通过自己购买集群云服务来自建代理池。

缺点:

可以使用免费/付费代理,绕过检测。

读完本篇我们会发现,每种方法都有它的缺陷,我们要做的就是发挥使用它的优势出。根据不同的环境情况,可以选择适合自己操作顺手的方法。对于两种方法知识点遗忘的,可以直接点击进去进行回顾。

到此这篇关于python反爬虫方法的优缺点分析的文章就介绍到这了,更多相关python解决反爬虫方法的优缺点对比内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
python 查找文件夹下所有文件 实现代码
Jul 01 Python
python中self原理实例分析
Apr 30 Python
合并百度影音的离线数据( with python 2.3)
Aug 04 Python
横向对比分析Python解析XML的四种方式
Mar 30 Python
解决Pycharm运行时找不到文件的问题
Oct 29 Python
Python Django 命名空间模式的实现
Aug 09 Python
Pytorch 多块GPU的使用详解
Dec 31 Python
详解pandas.DataFrame.plot() 画图函数
Jun 14 Python
python 识别登录验证码图片功能的实现代码(完整代码)
Jul 03 Python
Python+MySQL随机试卷及答案生成程序的示例代码
Feb 01 Python
python绘图模块之利用turtle画图
Feb 12 Python
如何使用python包中的sched事件调度器
Apr 30 Python
Pytest测试框架基本使用方法详解
Nov 25 #Python
python实现企业微信定时发送文本消息的实例代码
Nov 25 #Python
Python json解析库jsonpath原理及使用示例
Nov 25 #Python
搭建pypi私有仓库实现过程详解
Nov 25 #Python
Python代码覆盖率统计工具coverage.py用法详解
Nov 25 #Python
python 实时调取摄像头的示例代码
Nov 25 #Python
Python存储读取HDF5文件代码解析
Nov 25 #Python
You might like
PHP获取url的函数代码
2011/08/02 PHP
PHP获取当前url的具体方法全面解析
2013/11/26 PHP
php通过session防url攻击方法
2014/12/10 PHP
用php代码限制国内IP访问我们网站
2015/09/26 PHP
php将从数据库中获得的数据转换成json格式并输出的方法
2018/08/21 PHP
初识javascript 文档碎片
2010/07/13 Javascript
将input file的选择的文件清空的两种解决方案
2013/10/21 Javascript
jQuery照片伸缩效果不影响其他元素的布局
2014/05/09 Javascript
深入探讨javascript中的数据类型
2015/03/04 Javascript
jQuery实现左右滑动的toggle方法
2018/03/03 jQuery
JavaScript实现短暂提示框功能
2018/04/04 Javascript
Python中的二叉树查找算法模块使用指南
2014/07/04 Python
Python利用Beautiful Soup模块搜索内容详解
2017/03/29 Python
Python用csv写入文件_消除空余行的方法
2018/07/06 Python
一百多行python代码实现抢票助手
2018/09/25 Python
Python Flask 搭建微信小程序后台详解
2019/05/06 Python
Python generator生成器和yield表达式详解
2019/08/08 Python
Python使用psutil获取进程信息的例子
2019/12/17 Python
Python 音频生成器的实现示例
2019/12/24 Python
python操作gitlab API过程解析
2019/12/27 Python
TensorFlow dataset.shuffle、batch、repeat的使用详解
2020/01/21 Python
python实现查找所有程序的安装信息
2020/02/18 Python
Python3 ffmpeg视频转换工具使用方法解析
2020/08/10 Python
咖啡为什么会有酸味?你喝到的咖啡為什麼是酸的?
2021/03/17 冲泡冲煮
CSS3 实现弹幕的示例代码
2017/08/07 HTML / CSS
详解HTML5中ol标签的用法
2015/09/08 HTML / CSS
寒假实习自荐信
2014/01/26 职场文书
反腐倡廉警示教育活动总结
2014/05/05 职场文书
艺术学院毕业生求职信
2014/07/09 职场文书
企业党的群众路线教育实践活动学习心得体会
2014/10/31 职场文书
2016年寒假社会实践活动总结
2015/03/27 职场文书
2015年度护士个人工作总结
2015/04/09 职场文书
2016党校学习心得体会范文
2016/01/07 职场文书
区域销售大会开幕词
2016/03/04 职场文书
django中websocket的具体使用
2022/01/22 Python
关于CSS自定义属性与前端页面的主题切换问题
2022/03/21 HTML / CSS