Scrapy 配置动态代理IP的实现


Posted in Python onSeptember 28, 2020

应用 Scrapy框架 ,配置动态IP处理反爬。

# settings 配置中间件
DOWNLOADER_MIDDLEWARES = {
  'text.middlewares.TextDownloaderMiddleware': 543,
  # 'text.middlewares.RandomUserAgentMiddleware': 544,
  # 'text.middlewares.CheckUserAgentMiddleware': 545,
  'text.middlewares.ProxyMiddleware': 546,
  'text.middlewares.CheckProxyMiddleware': 547
}

 
# settings 配置可用动态IP
PROXIES = [
  "http://101.231.104.82:80",
  "http://39.137.69.6:8080",
  "http://39.137.69.10:8080",
  "http://39.137.69.7:80",
  "http://39.137.77.66:8080",
  "http://117.191.11.102:80",
  "http://117.191.11.113:8080",
  "http://117.191.11.113:80",
  "http://120.210.219.103:8080",
  "http://120.210.219.104:80",
  "http://120.210.219.102:80",
  "http://119.41.236.180:8010",
  "http://117.191.11.80:8080"
]
# middlewares 配置中间件
import random

class ProxyMiddleware(object):

  def process_request(self, request, spider):
    ip = random.choice(spider.settings.get('PROXIES'))
    print('测试IP:', ip)
    request.meta['proxy'] = ip


class CheckProxyMiddleware(object):

  def process_response(self, request, response, spider):
    print('代理IP:', request.meta['proxy'])
    return response

到此这篇关于Scrapy 配置动态代理IP的实现的文章就介绍到这了,更多相关Scrapy 动态代理IP内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
使用Python程序抓取新浪在国内的所有IP的教程
May 04 Python
简单易懂的python环境安装教程
Jul 13 Python
Python实现读取TXT文件数据并存进内置数据库SQLite3的方法
Aug 08 Python
matplotlib简介,安装和简单实例代码
Dec 26 Python
pandas多级分组实现排序的方法
Apr 20 Python
Python获取昨天、今天、明天开始、结束时间戳的方法
Jun 01 Python
pandas pivot_table() 按日期分多列数据的方法
Nov 16 Python
python重试装饰器的简单实现方法
Jan 31 Python
python添加菜单图文讲解
Jun 04 Python
python+selenium实现12306模拟登录的步骤
Jan 21 Python
python实现简单的井字棋
May 26 Python
一篇文章搞懂python混乱的切换操作与优雅的推导式
Aug 23 Python
Scrapy中如何向Spider传入参数的方法实现
Sep 28 #Python
详解向scrapy中的spider传递参数的几种方法(2种)
Sep 28 #Python
小结Python的反射机制
Sep 28 #Python
scrapy与selenium结合爬取数据(爬取动态网站)的示例代码
Sep 28 #Python
scrapy结合selenium解析动态页面的实现
Sep 28 #Python
互斥锁解决 Python 中多线程共享全局变量的问题(推荐)
Sep 28 #Python
python 常见的反爬虫策略
Sep 27 #Python
You might like
PHPMyadmin 配置文件详解(配置)
2009/12/03 PHP
mysql下创建字段并设置主键的php代码
2010/05/16 PHP
PHP三层结构(上) 简单三层结构
2010/07/04 PHP
php中通过curl检测页面是否被百度收录
2013/09/27 PHP
PHP实现操作redis的封装类完整实例
2015/11/14 PHP
js倒计时小程序
2013/11/05 Javascript
js动态修改整个页面样式达到换肤效果
2014/05/23 Javascript
Node.js中创建和管理外部进程详解
2014/08/16 Javascript
JavaScript中使用Object.create()创建对象介绍
2014/12/30 Javascript
JQuery 传送中文乱码问题的简单解决办法
2016/05/24 Javascript
JavaScript简单获取页面图片原始尺寸的方法
2016/06/21 Javascript
javascript中获取class的简单实现
2016/07/12 Javascript
jquery ajaxfileupload异步上传插件使用详解
2017/02/08 Javascript
JavaScript中正则表达式判断匹配规则及常用方法
2017/08/03 Javascript
AngularJS实现表单元素值绑定操作示例
2017/10/11 Javascript
基于jQuery解决ios10以上版本缩放问题
2017/11/03 jQuery
vue中使用[provide/inject]实现页面reload的方法
2019/09/30 Javascript
Python用模块pytz来转换时区
2016/08/19 Python
Python 正则表达式入门(中级篇)
2016/12/07 Python
python机器学习理论与实战(一)K近邻法
2021/01/28 Python
pandas 将list切分后存入DataFrame中的实例
2018/07/03 Python
Python数据报表之Excel操作模块用法分析
2019/03/11 Python
Python实现计算文件MD5和SHA1的方法示例
2019/06/11 Python
使用 Python 写一个简易的抽奖程序
2019/12/08 Python
Python谱减法语音降噪实例
2019/12/18 Python
css3实现3D文本悬停改变效果的示例代码
2019/01/16 HTML / CSS
H5最强接口之canvas实现动态图形功能
2019/05/31 HTML / CSS
网络事业创业计划书范文
2014/01/09 职场文书
薪酬专员岗位职责
2014/02/18 职场文书
活动总结范文
2014/08/30 职场文书
模范班主任事迹材料
2014/12/17 职场文书
退税申请报告怎么写
2015/05/18 职场文书
解析:创业计划书和商业计划书二者之间到底有什么区别
2019/08/14 职场文书
nginx如何将http访问的网站改成https访问
2021/03/31 Servers
大脑的记忆过程在做数据压缩,不同图形也有共同的记忆格式
2022/04/29 数码科技
Spring boot实现上传文件到本地服务器
2022/08/14 Java/Android