python打造爬虫代理池过程解析


Posted in Python onAugust 15, 2019

最近在使用爬虫爬取数据时,经常会返回403代码,大致意思是该IP访问过于频繁,被限制访问。限制IP访问网站最常用的反爬手段了,其实破解也很容易,就是在爬取网站是使用代理即可,这个IP被限制了,就使用其他的IP。对于高大上的公司来说,他们基本都使用收费的代理,基本不会有什么问题,比较稳定。像我这样的矮矬穷,肯定是用不起收费的代理。一般都是使用国内免费的代理,网上也有很多提供免费的代理。

很多人都是从网上爬取一批免费的代理IP,存放在存储媒介中,例如excel文件或者数据库。定时维护代理,保证代理可用。这个做法有个缺点,有些机器上并没有装有excel或者mysql、redis等数据库,这就导致了的代理池无法正常使用。

我之前是做java开发的,经常会把一些常用的数据放在ArrayList中,使用起来非常方便,效率高,因此借鉴之前在java方面的经验,将代理IP爬取下来存放在list列表中中,将list列表当做一个代理池,经常维护这个池里的代理。

我经常爬取免费代理的网站xicidaili swei360等,这些免费的代理足够我使用了,能够应付大多数的爬虫工作。爬取过程需要用到requests和pyquery库,没有安装的同学自行安装。

首先介绍下爬取xicidaili网站的过程, 要先定义一个方法用于抓取xicidaili网站的,参数有两个,一个是url,另外一个是要爬取代理网页的页数,也就是要爬几页,方法如下:

def get_xicidaili_proxy(url,page):
  for i in range(1,page):
    headers = {
      "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36 SE 2.X MetaSr 1.0"}
    response = requests.get(url + str(i), headers=headers)

    html = response.text
    doc = pq(html)
    ip_list = doc('#ip_list')('tr:gt(0)').items()
    for item in ip_list:
      ip = item.find('td:nth-child(2)').text()
      port = item.find('td:nth-child(3)').text()
      http_type = item.find('td:nth-child(6)').text()
      proxy_ip = http_type + "://" + ip + ":" + port
      if http_type == 'HTTP':
        http_proxy_pool.append(proxy_ip)
      elif http_type == 'HTTPS':
        https_proxy_pool.append(proxy_ip)
      # print(proxy_ip)

定义了http_proxy_pool和https_proxy_pool两个list变量,用于存储http类型和https类型的代理。 使用PyQuery根据css伪选择器提取出ip,端口和http类型信息,并按照http:// + ip+port的方式组合成一个字符串,存储在已经定义好的http_proxy_tool和https_proxy_pool变量中。

爬取swei360网站代理的方法就不贴出来了,原理和爬取xicidaili网站是一样的。

一个代理在使用之前要判断是否可用,我们使用request的get请求的返回代码判断代理是否可用,返回200,就说明代理可用,返回其他的代码就表示代理不可用,代码如下:

def detect_proxy(test_url,http_type,proxy):
  headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36 SE 2.X MetaSr 1.0"}
  proxy={
    http_type : proxy
  }
  try:
    response = requests.get(test_url,proxies=proxy,headers=headers)
    if response.status_code in [200]:
      print('代理可用',proxy)
      return True
    else:
      print('代理不可用', proxy);
      delete_proxy(http_type,proxy)
      return False
  except(requests.exceptions.ProxyError,RequestException):
    print('代理不可用', proxy)
    delete_proxy(http_type, proxy)
    return False

定义了detect_proxy方法用于检测代理是否可用,有三个参数,分别是测试网址,代理类型(http和https)和代理IP。当requests的请求返回200代码时,就表示该代理可用,返回True,否则就是不可用,返回False。当遇到request异常或者其他的错误也认为代理不可用,返回False。对于不可用的代理,要从代理池中删除。

从代理池中获取代理时,我们使用的是从代理池中随机返回一个代理,这样就避免经常使用一个代理,从而遭到拒绝访问。代码如下:

def get_https_proxy():
  proxy_ip = random.choice(https_proxy_pool)
  return proxy_ip

def get_http_proxy():
  proxy_ip = random.choice(http_proxy_pool)
  return proxy_ip

为了保证代理的可用,当检测到一个代理不可用时,要及时的清理掉。就是从http_proxy_pool和https_proxy_pool列表中删除。

一个简单的爬虫代理池已经搭建好,总结下爬虫代理池搭建的过程:

  • 从免费的代理网站上爬取代理信息,存放在列表中。
  • 提供从代理池中随机获取代理的方法。http类型的网站要使用http类型的代理,https类型的网站要使用https类型的代理,因此分别提供获取http和https类型代理的方法。
  • 提供检测代理是否可用的方法,代理可用返回True,不可用返回False。
  • 提供删除代理的方法。

这个代理池其实相当的简单,有一个弊端就是在检测代理是否可用时,如果返回的不是200代码就认为代理不可用,返回其他代码的情况有很多,例如网络不可用、测试网站不可访问等。比较好的做法是给每个代理设置一个分值,例如10分,如果检测到不可用就减1,当分数为0时,就确定该代理不可用,直接从代理池中移除。检测到代理可用,就将分数设为10分。

这种做法给每个检测到不可用代理一个改邪归正的机会,不至于一刀切的抛弃掉。

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python 代码性能优化技巧分享
Aug 07 Python
linux系统使用python监测系统负载脚本分享
Jan 15 Python
Python多线程编程(三):threading.Thread类的重要函数和方法
Apr 05 Python
分享6个隐藏的python功能
Dec 07 Python
python异步存储数据详解
Mar 19 Python
python脚本执行CMD命令并返回结果的例子
Aug 14 Python
详解python中*号的用法
Oct 21 Python
python使用ctypes调用扩展模块的实例方法
Jan 28 Python
python 已知三条边求三角形的角度案例
Apr 12 Python
解决matplotlib.pyplot在Jupyter notebook中不显示图像问题
Apr 22 Python
Django之全局使用request.user.username的实例详解
May 14 Python
scrapy与selenium结合爬取数据(爬取动态网站)的示例代码
Sep 28 Python
使用selenium和pyquery爬取京东商品列表过程解析
Aug 15 #Python
如何爬取通过ajax加载数据的网站
Aug 15 #Python
Python K最近邻从原理到实现的方法
Aug 15 #Python
Python数据可视化 pyecharts实现各种统计图表过程详解
Aug 15 #Python
浅谈Python 敏感词过滤的实现
Aug 15 #Python
pycharm创建scrapy项目教程及遇到的坑解析
Aug 15 #Python
通过selenium抓取某东的TT购买记录并分析趋势过程解析
Aug 15 #Python
You might like
使用php实现下载生成某链接快捷方式的解决方法
2013/05/07 PHP
PHP正则表达式 /i, /is, /s, /isU等介绍
2014/10/23 PHP
thinkPHP实现瀑布流的方法
2014/11/29 PHP
微信公众平台开发之天气预报功能
2015/08/31 PHP
再谈javascript面向对象编程
2012/03/18 Javascript
js截取字符串的两种方法及区别详解
2013/11/05 Javascript
javascript学习笔记(六)数据类型和JSON格式
2014/10/08 Javascript
jQuery中:empty选择器用法实例
2014/12/30 Javascript
jQuery学习笔记之2个小技巧
2015/01/19 Javascript
简介JavaScript中POSITIVE_INFINITY值的使用
2015/06/05 Javascript
JS实现拖动滚动条评分的效果代码分享
2016/09/29 Javascript
浅谈jquery页面初始化的4种方式
2016/11/27 Javascript
EasyUI Combobox设置默认值 获取text的方法
2016/11/28 Javascript
React教程之Props验证的具体用法(Props Validation)
2017/09/04 Javascript
JS中实现隐藏部分姓名或者电话号码的代码
2018/07/17 Javascript
JavaScript检查数据中是否存在相同的元素(两种方法)
2018/10/07 Javascript
vue 使用axios 数据请求第三方插件的使用教程详解
2019/07/05 Javascript
layui的select联动实现代码
2019/09/28 Javascript
[02:28]DOTA2亚洲邀请赛附加赛 RECAP赛事回顾
2015/01/29 DOTA
[50:34]VGJ.T vs Fnatic 2018国际邀请赛小组赛BO2 第二场 8.16
2018/08/17 DOTA
[01:13:17]Secret vs NB 2018国际邀请赛小组赛BO2 第二场 8.19
2018/08/21 DOTA
python:socket传输大文件示例
2017/01/18 Python
程序员的七夕用30行代码让Python化身表白神器
2019/08/07 Python
Python计算不规则图形面积算法实现解析
2019/11/22 Python
使用K.function()调试keras操作
2020/06/17 Python
浅析Python requests 模块
2020/10/09 Python
python爬虫中url管理器去重操作实例
2020/11/30 Python
Linux上比较文件的命令都有哪些
2012/02/24 面试题
销售文员的岗位职责
2013/11/20 职场文书
高级工程师岗位职责
2013/12/15 职场文书
干部行政关系介绍信
2014/01/17 职场文书
党员教师个人对照检查材料(群众路线)
2014/09/26 职场文书
政府班子四风问题整改措施思想汇报
2014/10/08 职场文书
护士先进个人总结
2015/02/13 职场文书
2016教师给学生的毕业寄语
2015/12/04 职场文书
村党总支部公开承诺书2016
2016/03/25 职场文书