python反爬虫方法的优缺点分析


Posted in Python onNovember 25, 2020

我们选择一种问题的解决办法,通常需要考虑到想要达到的效果,还有最重要的是这个办法本身的优缺点有哪些,与其他的方法对比哪一个更好。之前小编之前也教过大家在python应对反爬虫的方法,那么小伙伴们知道具体情况下选择哪一种办法更适合吗?今天就其中的user-agent和ip代码两个办法进行优缺点分析比较,让大家可以明确不同办法的区别从而进行选择。

方法一:

可以自己设置一下user-agent,或者更好的是,可以从一系列的user-agent里随机挑出一个符合标准的使用。

 python反爬虫方法的优缺点分析缺点:

容易伪造头部,github上有人分享开源库fake-useragent

IP限制

如果一个固定的ip在短暂的时间内,快速大量的访问一个网站,后台管理员可以编写IP限制,不让该IP继续访问。

方法二:

比较成熟的方式是:IP代理池

python反爬虫方法的优缺点分析 

简单的说,就是通过ip代理,从不同的ip进行访问,这样就不会被封掉ip了。

可是ip代理的获取本身就是一个很麻烦的事情,网上有免费和付费的,但是质量都层次不齐。如果是企业里需要的话,可以通过自己购买集群云服务来自建代理池。

缺点:

可以使用免费/付费代理,绕过检测。

读完本篇我们会发现,每种方法都有它的缺陷,我们要做的就是发挥使用它的优势出。根据不同的环境情况,可以选择适合自己操作顺手的方法。对于两种方法知识点遗忘的,可以直接点击进去进行回顾。

到此这篇关于python反爬虫方法的优缺点分析的文章就介绍到这了,更多相关python解决反爬虫方法的优缺点对比内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
python正则表达式去掉数字中的逗号(python正则匹配逗号)
Dec 25 Python
Python使用struct处理二进制的实例详解
Sep 11 Python
Python中字典的浅拷贝与深拷贝用法实例分析
Jan 02 Python
python调用OpenCV实现人脸识别功能
May 25 Python
Python3.6使用tesseract-ocr的正确方法
Oct 17 Python
Python正则表达式和元字符详解
Nov 29 Python
python粘包问题及socket套接字编程详解
Jun 29 Python
在django模板中实现超链接配置
Aug 21 Python
关于Python 常用获取元素 Driver 总结
Nov 24 Python
python安装cx_Oracle和wxPython的方法
Sep 14 Python
使用Python解析Chrome浏览器书签的示例
Nov 13 Python
Python序列化与反序列化相关知识总结
Jun 08 Python
Pytest测试框架基本使用方法详解
Nov 25 #Python
python实现企业微信定时发送文本消息的实例代码
Nov 25 #Python
Python json解析库jsonpath原理及使用示例
Nov 25 #Python
搭建pypi私有仓库实现过程详解
Nov 25 #Python
Python代码覆盖率统计工具coverage.py用法详解
Nov 25 #Python
python 实时调取摄像头的示例代码
Nov 25 #Python
Python存储读取HDF5文件代码解析
Nov 25 #Python
You might like
PHP4 与 MySQL 数据库操作函数详解
2006/10/09 PHP
php whois查询API制作方法
2011/06/23 PHP
神盾加密解密教程(二)PHP 神盾解密
2014/06/08 PHP
php中动态修改ini配置
2014/10/14 PHP
php 判断页面或图片是否经过gzip压缩的方法
2017/04/05 PHP
运用jquery实现table单双行不同显示并能单行选中
2009/07/25 Javascript
jquery动态加载图片数据练习代码
2011/08/04 Javascript
JQuery结合CSS操作打印样式的方法
2013/12/24 Javascript
js 日期比较相关天数代码
2014/04/02 Javascript
基于jquery实现人物头像跟随鼠标转动
2015/08/23 Javascript
JQuery实现左右滚动菜单特效
2015/09/28 Javascript
JavaScript简单获取系统当前时间完整示例
2016/08/02 Javascript
Vuex简单入门
2017/04/19 Javascript
Three.js利用性能插件stats实现性能监听的方法
2017/09/25 Javascript
js实现鼠标单击Tab表单切换效果
2018/05/16 Javascript
Angular ui-roter 和AngularJS 通过 ocLazyLoad 实现动态(懒)加载模块和依赖
2018/11/25 Javascript
jQuery表单选择器用法详解
2019/08/22 jQuery
简单理解Python中基于生成器的状态机
2015/04/13 Python
python中返回矩阵的行列方法
2018/04/04 Python
python网络爬虫学习笔记(1)
2018/04/09 Python
Python爬虫之正则表达式的使用教程详解
2018/10/25 Python
基于Python实现船舶的MMSI的获取(推荐)
2019/10/21 Python
不同浏览器对CSS3和HTML5的支持状况
2009/10/31 HTML / CSS
20世纪40年代连衣裙和复古服装:The Seamstress Of Bloomsbury
2018/07/24 全球购物
双创工作实施方案
2014/03/26 职场文书
企业安全标语
2014/06/07 职场文书
环境科学专业教师求职信
2014/07/12 职场文书
2014大学生中国梦主题教育学习思想汇报
2014/09/10 职场文书
2015年酒店客房部工作总结
2015/04/25 职场文书
道歉的话怎么说
2015/05/12 职场文书
国博复兴之路观后感
2015/06/02 职场文书
2015年国庆晚会主持词
2015/07/01 职场文书
秋季运动会加油词
2015/07/18 职场文书
Go 语言中 20 个占位符的整理
2021/10/16 Golang
Github 使用python对copilot做些简单使用测试
2022/04/14 Python
使用 CSS 构建强大且酷炫的粒子动画效果
2022/08/14 HTML / CSS