python多线程爬取西刺代理的示例代码


Posted in Python onJanuary 30, 2021

西刺代理是一个国内IP代理,由于代理倒闭了,所以我就把原来的代码放出来供大家学习吧。

镜像地址:https://www.blib.cn/url/xcdl.html

首先找到所有的tr标签,与class="odd"的标签,然后提取出来。

python多线程爬取西刺代理的示例代码

然后再依次找到tr标签里面的所有td标签,然后只提取出里面的[1,2,5,9]这四个标签的位置,其他的不提取。

python多线程爬取西刺代理的示例代码

最后可以写出提取单一页面的代码,提取后将其保存到文件中。

import sys,re,threading
import requests,lxml
from queue import Queue
import argparse
from bs4 import BeautifulSoup

head = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.100 Safari/537.36"}

if __name__ == "__main__":
  ip_list=[]
  fp = open("SpiderAddr.json","a+",encoding="utf-8")
  url = "https://www.blib.cn/url/xcdl.html"
  request = requests.get(url=url,headers=head)
  soup = BeautifulSoup(request.content,"lxml")
  data = soup.find_all(name="tr",attrs={"class": re.compile("|[^odd]")})
  for item in data:
    soup_proxy = BeautifulSoup(str(item),"lxml")
    proxy_list = soup_proxy.find_all(name="td")
    for i in [1,2,5,9]:
      ip_list.append(proxy_list[i].string)
    print("[+] 爬行列表: {} 已转存".format(ip_list))
    fp.write(str(ip_list) + '\n')
    ip_list.clear()

爬取后会将文件保存为 SpiderAddr.json 格式。

python多线程爬取西刺代理的示例代码

最后再使用另一段代码,将其转换为一个SSR代理工具直接能识别的格式,{'http': 'http://119.101.112.31:9999'}

import sys,re,threading
import requests,lxml
from queue import Queue
import argparse
from bs4 import BeautifulSoup

if __name__ == "__main__":
  result = []
  fp = open("SpiderAddr.json","r")
  data = fp.readlines()

  for item in data:
    dic = {}
    read_line = eval(item.replace("\n",""))
    Protocol = read_line[2].lower()
    if Protocol == "http":
      dic[Protocol] = "http://" + read_line[0] + ":" + read_line[1]
    else:
      dic[Protocol] = "https://" + read_line[0] + ":" + read_line[1]
    result.append(dic)
    print(result)

python多线程爬取西刺代理的示例代码

完整多线程版代码如下所示。

import sys,re,threading
import requests,lxml
from queue import Queue
import argparse
from bs4 import BeautifulSoup

head = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.100 Safari/537.36"}

class AgentSpider(threading.Thread):
  def __init__(self,queue):
    threading.Thread.__init__(self)
    self._queue = queue

  def run(self):
    ip_list=[]
    fp = open("SpiderAddr.json","a+",encoding="utf-8")
    while not self._queue.empty():
      url = self._queue.get()
      try:
        request = requests.get(url=url,headers=head)
        soup = BeautifulSoup(request.content,"lxml")
        data = soup.find_all(name="tr",attrs={"class": re.compile("|[^odd]")})
        for item in data:
          soup_proxy = BeautifulSoup(str(item),"lxml")
          proxy_list = soup_proxy.find_all(name="td")
          for i in [1,2,5,9]:
            ip_list.append(proxy_list[i].string)
          print("[+] 爬行列表: {} 已转存".format(ip_list))
          fp.write(str(ip_list) + '\n')
          ip_list.clear()
      except Exception:
        pass

def StartThread(count):
  queue = Queue()
  threads = []
  for item in range(1,int(count)+1):
    url = "https://www.xicidaili.com/nn/{}".format(item)
    queue.put(url)
    print("[+] 生成爬行链接 {}".format(url))

  for item in range(count):
    threads.append(AgentSpider(queue))
  for t in threads:
    t.start()
  for t in threads:
    t.join()

# 转换函数
def ConversionAgentIP(FileName):
  result = []
  fp = open(FileName,"r")
  data = fp.readlines()

  for item in data:
    dic = {}
    read_line = eval(item.replace("\n",""))
    Protocol = read_line[2].lower()
    if Protocol == "http":
      dic[Protocol] = "http://" + read_line[0] + ":" + read_line[1]
    else:
      dic[Protocol] = "https://" + read_line[0] + ":" + read_line[1]
    result.append(dic)
  return result

if __name__ == "__main__":
  parser = argparse.ArgumentParser()
  parser.add_argument("-p","--page",dest="page",help="指定爬行多少页")
  parser.add_argument("-f","--file",dest="file",help="将爬取到的结果转化为代理格式 SpiderAddr.json")
  args = parser.parse_args()
  if args.page:
    StartThread(int(args.page))
  elif args.file:
    dic = ConversionAgentIP(args.file)
    for item in dic:
      print(item)
  else:
    parser.print_help()

以上就是python多线程爬取西刺代理的示例代码的详细内容,更多关于python多线程爬取代理的资料请关注三水点靠木其它相关文章!

Python 相关文章推荐
用python实现面向对像的ASP程序实例
Nov 10 Python
python制作爬虫并将抓取结果保存到excel中
Apr 06 Python
Django实现分页功能
Jul 02 Python
python中hasattr()、getattr()、setattr()函数的使用
Aug 16 Python
python+django+rest框架配置创建方法
Aug 31 Python
python pygame实现滚动横版射击游戏城市之战
Nov 25 Python
Django调用百度AI接口实现人脸注册登录代码实例
Apr 23 Python
Python如何安装第三方模块
May 28 Python
python 代码实现k-means聚类分析的思路(不使用现成聚类库)
Jun 01 Python
python压包的概念及实例详解
Feb 17 Python
聊一聊python常用的编程模块
May 14 Python
python编程简单几行代码实现视频转换Gif示例
Oct 05 Python
Python如何实现Paramiko的二次封装
Jan 30 #Python
python实现按日期归档文件
Jan 30 #Python
python使用Windows的wmic命令监控文件运行状况,如有异常发送邮件报警
Jan 30 #Python
如何用Django处理gzip数据流
Jan 29 #Python
Spy++的使用方法及下载教程
Jan 29 #Python
Python实现随机爬山算法
Jan 29 #Python
用pushplus+python监控亚马逊到货动态推送微信
Jan 29 #Python
You might like
DC《小丑》11项提名领跑奥斯卡 Netflix成第92届奥斯卡提名最大赢家
2020/04/09 欧美动漫
php学习笔记之 函数声明
2011/06/09 PHP
php的array数组和使用实例简明教程(容易理解)
2014/03/20 PHP
用php来限制每个ip每天浏览页面数量的实现思路
2015/02/24 PHP
php基于curl重写file_get_contents函数实例
2016/11/08 PHP
基于PHP的加载类操作以及其他两种魔术方法的应用实例
2017/08/28 PHP
PHP filesize函数用法浅析
2019/02/15 PHP
PHP模版引擎原理、定义与用法实例
2019/03/29 PHP
firefox下frameset取不到值的解决方法
2010/09/06 Javascript
JavaScript使用IEEE 标准进行二进制浮点运算产生莫名错误的解决方法
2011/05/28 Javascript
php跨域调用json的例子
2013/11/13 Javascript
详谈LABJS按需动态加载js文件
2015/05/07 Javascript
javascript元素动态创建实现方法
2015/05/13 Javascript
谈谈JavaScript异步函数发展历程
2015/09/29 Javascript
体验jQuery和AngularJS的不同点及AngularJS的迷人之处
2016/02/02 Javascript
针对BootStrap中tabs控件的美化和完善(推荐)
2016/07/06 Javascript
vue双向数据绑定原理探究(附demo)
2017/01/17 Javascript
微信小程序 实现动态显示和隐藏某个控件
2017/04/27 Javascript
原生JS实现 MUI导航栏透明渐变效果
2017/11/07 Javascript
vue setInterval 定时器失效的解决方式
2020/07/30 Javascript
关于Node.js中频繁修改代码重启服务器的问题
2020/10/15 Javascript
Python中Scrapy爬虫图片处理详解
2017/11/29 Python
Python之多线程爬虫抓取网页图片的示例代码
2018/01/10 Python
深入flask之异步非堵塞实现代码示例
2018/07/31 Python
python将txt文档每行内容循环插入数据库的方法
2018/12/28 Python
Python Tkinter模块 GUI 可视化实例
2019/11/20 Python
Django搭建项目实战与避坑细节详解
2020/12/06 Python
英国剑桥包官网:The Cambridge Satchel Company
2016/08/01 全球购物
英国内衣连锁店:Boux Avenue
2018/01/24 全球购物
英国在线药房:Express Chemist
2019/03/28 全球购物
通信工程毕业生自荐信
2013/11/01 职场文书
家长给幼儿园的表扬信
2014/01/09 职场文书
品牌宣传方案
2014/03/21 职场文书
2015年幼儿园大班工作总结
2015/04/25 职场文书
上课讲话检讨书范文
2015/05/07 职场文书
浅谈mysql返回Boolean类型的几种情况
2021/06/04 MySQL