编程 Python

Python爬虫动态ip代理防止被封的方法

Posted in Python onJuly 07, 2019

在爬取的过程中难免发生ip被封和403错误等等，这都是网站检测出你是爬虫而进行反爬措施，在这里为大家总结一下怎么用IP代理防止被封

首先，设置等待时间：

常见的设置等待时间有两种，一种是显性等待时间（强制停几秒），一种是隐性等待时间（看具体情况，比如根据元素加载完成需要时间而等待）图1是显性等待时间设置，图2是隐性

第二步，修改请求头：

识别你是机器人还是人类浏览器浏览的重要依据就是User-Agent，比如人类用浏览器浏览就会使这个样子的User-Agent：'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.2454.101 Safari/537.36'

Python爬虫动态ip代理防止被封的方法

第三步，采用代理ip/建代理ip池

直接看代码。利用动态ip代理，可以强有力地保障爬虫不会被封，能够正常运行。图1为使用代理ip的情况，图2是建ip代理池的代码，有没有必要需要看自己的需求，大型项目是必须用大量ip的。

Python爬虫动态ip代理防止被封的方法

做好以上3个步骤，大致爬虫的运行就不成问题了。

以上就是本次介绍的全部内容，感谢大家的学习和对三水点靠木的支持。

Python爬虫动态ip代理防止被封的方法

- Author -

撒撒撒windy

声明：登载此文出于传递更多信息之目的，并不意味着赞同其观点或证实其描述。

Python 相关文章推荐

Python实现学生成绩管理系统

Apr 05 Python

python中的set实现不重复的排序原理

Jan 24 Python

python实现批量图片格式转换

Jun 16 Python

python numpy和list查询其中某个数的个数及定位方法

Jun 27 Python

Python实现矩阵相乘的三种方法小结

Jul 26 Python

Python设计模式之职责链模式原理与用法实例分析

Jan 11 Python

Python变量访问权限控制详解

Jun 29 Python

Python模块_PyLibTiff读取tif文件的实例

Jan 13 Python

Python使用Pandas库常见操作详解

Jan 16 Python

tensorflow 模型权重导出实例

Jan 24 Python

python 实现在无序数组中找到中位数方法

Mar 03 Python

Windows下PyCharm配置Anaconda环境(超详细教程)

Jul 31 Python

Python异常处理例题整理

Jul 07 #Python

解决pycharm下os.system执行命令返回有中文乱码的问题

Jul 07 #Python

在python中实现调用可执行文件.exe的3种方法

Jul 07 #Python

Python求两点之间的直线距离(2种实现方法)

Jul 07 #Python

对Python中画图时候的线类型详解

Jul 07 #Python

Python 3 实现定义跨模块的全局变量和使用教程

Jul 07 #Python

Python正则表达式匹配日期与时间的方法

Jul 07 #Python

You might like

PHP项目开发中最常用的自定义函数整理

2010/12/02 PHP

兼容PHP和Java的des加密解密代码分享

2014/06/26 PHP

CodeIgniter针对数据库的连接、配置及使用方法

2016/03/03 PHP

PHP处理Ajax请求与Ajax跨域问题

2017/02/13 PHP

php + nginx项目中的权限详解

2017/05/23 PHP

PHP基于redis计数器类定义与用法示例

2018/02/08 PHP

JQuery 操作select标签实现代码

2010/05/14 Javascript

javascript里绝对用的上的字符分割函数总结

2014/07/31 Javascript

JavaScript获取并更改input标签name属性的方法

2015/07/02 Javascript

JSONP跨域请求实例详解

2016/07/04 Javascript

JS使用onerror捕获异常示例

2016/08/03 Javascript

Nodejs下DNS缓存问题浅析

2016/11/16 NodeJs

谈谈第三方App接入微信登录解读

2016/12/27 Javascript

vue移动端轻量级的轮播组件实现代码

2018/07/12 Javascript

JS实现二维数组元素的排列组合运算简单示例

2019/01/28 Javascript

ES6 Object属性新的写法实例小结

2019/06/25 Javascript

vue登录以及权限验证相关的实现

2019/10/25 Javascript

[01:29]2014DOTA2展望TI 剑指西雅图DK战队专访

2014/06/30 DOTA

python根据经纬度计算距离示例

2014/02/16 Python

Python实现同时兼容老版和新版Socket协议的一个简单WebSocket服务器

2014/06/04 Python

python七夕浪漫表白源码

2019/04/05 Python

python实现扫描局域网指定网段ip的方法

2019/04/16 Python

python2使用bs4爬取腾讯社招过程解析

2019/08/14 Python

python openvc 裁剪、剪切图片提取图片的行和列

2019/09/19 Python

OpenCV里的imshow()和Matplotlib.pyplot的imshow()的实现

2019/11/25 Python

python中列表的含义及用法

2020/05/26 Python

HTML5中视频音频的使用详解

2017/07/07 HTML / CSS

医学类个人求职信范文

2014/02/05 职场文书

毕业生就业推荐表自我鉴定

2014/03/20 职场文书

鸿星尔克广告词

2014/03/21 职场文书

大连导游词

2015/02/12 职场文书

民事撤诉申请书范本

2015/05/18 职场文书

小程序教您怎样你零成本推广获取数万用户的方法

2019/07/30 职场文书

JavaScript中时间格式化新思路toLocaleString()

2021/11/07 Javascript

python中的sys模块和os模块

2022/03/20 Python

Python按顺序遍历并读取文件夹中文件

2022/04/29 Python