Python爬虫简单运用爬取代理IP的实现


Posted in Python onDecember 01, 2020

功能1: 爬取西拉ip代理官网上的代理ip

环境:python3.8+pycharm
库:requests,lxml
浏览器:谷歌
IP地址:http://www.xiladaili.com/gaoni/

分析网页源码:

Python爬虫简单运用爬取代理IP的实现

选中div元素后右键找到Copy再深入子菜单找到Copy Xpath点击一下就复制到XPath

Python爬虫简单运用爬取代理IP的实现

我们复制下来的Xpth内容为:/html/body/div/div[3]/div[2]/table/tbody/tr[50]/td[1]
虽然可以查出来ip,但不利于程序自动爬取所有IP,利用谷歌XpathHelp测试一下

Python爬虫简单运用爬取代理IP的实现

从上图可以看出,只匹配到了一个Ip,我们稍作修改,即可达到目的
,有关xpath规则,可以参考下表;

Python爬虫简单运用爬取代理IP的实现

Python爬虫简单运用爬取代理IP的实现

Python爬虫简单运用爬取代理IP的实现

经过上面的规则学习后,我们修改为://*[@class=‘mt-0 mb-2 table-responsive']/table/tbody/tr/td[1],再利用xpthhelp工具验证一下:

Python爬虫简单运用爬取代理IP的实现

这样我们就可以爬取整个页面的Ip地址了,为了方便爬取更多的IP,我们继续往下翻页,找到翻页按钮:

Python爬虫简单运用爬取代理IP的实现

找规律,发现每翻一页,a标签下的href连接地址加1即可,python程序可以利用for循环解决翻页问题即可。
为了提高IP代理的质量,我们爬取评分高的IP来使用。找到评分栏下的Xpath路径,这里不再做详细介绍,思路参考上面找IP地址的思路,及XPath规则,过程参考下图:

Python爬虫简单运用爬取代理IP的实现

Python代码实现

代码可复制粘贴直接使用,如果出现报错,修改一下cookie。这里使用代理ip爬取,防止IP被封。当然这里的代码还是基础的,有空可以写成代理池,多任务去爬。当然还可以使用其它思路去实现,这里只做入门介绍。当有了这些代理IP后,我们可以用文件保存,或者保存到数据库中,根据实际使用情况而定,这里不做保存,只放到列表变量中保存。

import requests
from lxml import etree
import time


class XiLaIp_Spider:

  def __init__(self):
    self.url = 'http://www.xiladaili.com/gaoni/'
    self.headers = {
      'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.61 Safari/537.36',
      'cookie': 'td_cookie=1539882751; csrftoken=lymOXQp49maLMeKXS1byEMMmsavQPtOCOUwy6WIbfMNazZW80xKKA8RW2Zuo6ssy; Hm_lvt_31dfac66a938040b9bf68ee2294f9fa9=1592547159; Hm_lvt_9bfa8deaeafc6083c5e4683d7892f23d=1592535959,1592539254,1592612217; Hm_lpvt_9bfa8deaeafc6083c5e4683d7892f23d=1592612332',
    }
    self.proxy = '116.196.85.150:3128'
    self.proxies = {
      "http": "http://%(proxy)s/" % {'proxy': self.proxy},
      "https": "http://%(proxy)s/" % {'proxy': self.proxy}
    }
    self.list1 = []

  def get_url(self):
    file = open('Ip_Proxy.txt', 'a', encoding='utf-8')
    ok_file = open('OkIp_Proxy.txt', 'a', encoding='utf-8')
    for index in range(50):
      time.sleep(3)
      try:
        res = requests.get(url=self.url if index == 0 else self.url + str(index) + "/", headers=self.headers,
                  proxies=self.proxies, timeout=10).text
      except:
        continue
      data = etree.HTML(res).xpath("//*[@class='mt-0 mb-2 table-responsive']/table/tbody/tr/td[1]")
      # '//*[@id="scroll"]/table/tbody/tr/td[1]'
      score_data = etree.HTML(res).xpath("//*[@class='mt-0 mb-2 table-responsive']/table/tbody/tr/td[8]")
      for i, j in zip(data, score_data):
        # file.write(i.text + '\n')
        score = int(j.text)
        # 追加评分率大于十万的ip
        if score > 100000:
          self.list1.append(i.text)
      set(self.list1)
    file.close()
    ok_ip = []
    for i in self.list1:
      try:
        # 验证代理ip是否有效
        res = requests.get(url='https://www.baidu.com', headers=self.headers, proxies={'http': 'http://' + i},
                  timeout=10)
        if res.status_code == 200:
          # ok_file.write(i + '\n')
          ok_ip.append(i)
      except:
        continue
    ok_file.close()
    return ok_ip

  def run(self):
    return self.get_url()


dl = XiLaIp_Spider()
dl.run()

到此这篇关于Python爬虫简单运用爬取代理IP的实现的文章就介绍到这了,更多相关Python 爬取代理IP内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
rhythmbox中文名乱码问题解决方法
Sep 06 Python
python动态监控日志内容的示例
Feb 16 Python
Python深入学习之闭包
Aug 31 Python
Python实现对百度云的文件上传(实例讲解)
Oct 21 Python
python list删除元素时要注意的坑点分享
Apr 18 Python
tensorflow: variable的值与variable.read_value()的值区别详解
Jul 30 Python
Python3+Appium实现多台移动设备操作的方法
Jul 05 Python
使用Filter过滤python中的日志输出的实现方法
Jul 17 Python
使用Matplotlib 绘制精美的数学图形例子
Dec 13 Python
Python3 socket即时通讯脚本实现代码实例(threading多线程)
Jun 01 Python
编写python代码实现简单抽奖器
Oct 20 Python
Pytest中skip skipif跳过用例详解
Jun 30 Python
python爬虫请求头的使用
Dec 01 #Python
在pycharm创建scrapy项目的实现步骤
Dec 01 #Python
Python实现迪杰斯特拉算法并生成最短路径的示例代码
Dec 01 #Python
python 检测图片是否有马赛克
Dec 01 #Python
python中pop()函数的语法与实例
Dec 01 #Python
python爬虫多次请求超时的几种重试方法(6种)
Dec 01 #Python
python爬虫搭配起Bilibili唧唧的流程分析
Dec 01 #Python
You might like
js下函数般调用正则的方法附代码
2008/06/22 PHP
php文件上传表单摘自drupal的代码
2011/02/15 PHP
php使用百度ping服务代码实例
2014/06/19 PHP
JavaScript 序列化对象实现代码
2009/12/18 Javascript
解决javascript:window.close()在chrome,Firefox下失效的问题
2013/05/07 Javascript
zTree插件之单选下拉菜单实例代码
2013/11/07 Javascript
js判断字符长度及中英文数字等
2014/03/19 Javascript
jquery操作checked属性以及disabled属性的多种方法
2014/06/20 Javascript
原生Ajax 和jQuery Ajax的区别示例分析
2014/12/17 Javascript
创建、调用JavaScript对象的方法集锦
2014/12/24 Javascript
Javascript动态创建表格及删除行列的方法
2015/05/15 Javascript
JavaScript判断微信浏览器实例代码
2016/06/13 Javascript
EasyUI加载完Html内容样式渲染完成后显示
2016/07/25 Javascript
seajs学习之模块的依赖加载及模块API的导出
2016/10/20 Javascript
vue中如何实现变量和字符串拼接
2017/06/19 Javascript
关于JavaScript中forEach和each用法浅析
2017/07/27 Javascript
ES6 javascript的异步操作实例详解
2017/10/30 Javascript
Koa2 之文件上传下载的示例代码
2018/03/29 Javascript
Python IDLE 错误:IDLE''s subprocess didn''t make connection 的解决方案
2017/02/13 Python
Python中模块pymysql查询结果后如何获取字段列表
2017/06/05 Python
Python Dataframe 指定多列去重、求差集的方法
2018/07/10 Python
详解Django的model查询操作与查询性能优化
2018/10/16 Python
python 获取键盘输入,同时有超时的功能示例
2018/11/13 Python
通过selenium抓取某东的TT购买记录并分析趋势过程解析
2019/08/15 Python
利用python绘制数据曲线图的实现
2020/04/09 Python
Python实现AI换脸功能
2020/04/10 Python
30行Python代码实现高分辨率图像导航的方法
2020/05/22 Python
html5指南-4.使用Geolocation实现定位功能
2013/01/07 HTML / CSS
HTML5 canvas画矩形时出现边框样式不一致的解决方法
2013/10/14 HTML / CSS
远程学习的教学用品和家庭学习资源:Really Good Stuff
2020/04/27 全球购物
财务管理专业求职信
2014/06/11 职场文书
旅游与酒店管理专业求职信
2014/07/21 职场文书
2016入党积极分子党校培训心得体会
2016/01/06 职场文书
Mysql实现主从配置和多主多从配置
2021/06/02 MySQL
Nginx反向代理配置的全过程记录
2021/06/22 Servers
java版 联机五子棋游戏
2022/05/04 Java/Android