python 爬虫 批量获取代理ip的实例代码


Posted in Python onMay 22, 2018

实例如下所示:

import urllib.request
import os, re,sys,time
try:
 from StringIO import StringIO
except ImportError:
 from io import StringIO
loca = re.compile(r"""ion":"\D+", "ti""")
#伪装成浏览器
header = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/44.0.2403.157 Safari/537.36'}
class Getip():
 def __init__(self,diqu):
  self.ur ={"xicidaili国内普通代理 --1线":"http://www.xicidaili.com/nt/",
        
    "ip84国内普通代理 --2线":'http://www.ip84.com/dlpn-http/',
        
    'xicidaili国内高匿名代理 --1线':'http://www.xicidaili.com/nn/',
       
    'ip84国内高匿名代理 --2线':'http://www.ip84.com/dlgn-http/',
    
    'xicidaili国外高匿名代理 --1线':'http://www.xicidaili.com/wn/',
    
    'ip84国外高匿名代理 --2线':'http://www.ip84.com/gwgn-http/',
    'xicidaili国外普通代理 --1线':'http://www.xicidaili.com/wt/',
    'haodailiip国内混合代理 --3线':'http://www.haodailiip.com/guonei/',
    'haodailiip国外混合代理 --3线':'http://www.haodailiip.com/guoji/',
        }
  self.diqu = diqu
 
 def urlopen(self,url):
  global header
  try:
   req = urllib.request.Request(url, None, header)
   res=urllib.request.urlopen(req)
  
   return res
  except:
   pass
 def getip(self,ren):
  '''url = "http://proxy.ipcn.org/proxylist.html"#代理IP页面
  ip_proxy_re = re.compile(r"""\d{1,3}\.\d{1,3}\.\d{1,3}\.\d{1,3}:\d{1,}""")# 直接匹配 xxx.xxx.xxx.xxx:xxxx'''
  
  url = self.ur[self.diqu]+str(ren)
  
  ip_proxy_re = re.compile(r'(\d{1,3}\.\d{1,3}\.\d{1,3}\.\d{1,3})\s*</td>\s*<td>\s*(\d{1,})\s*</td>\s*<[^\u4E00-\u9FA5]+>([\u4E00-\u9FA5]*\s*[\u4E00-\u9FA5]*\s*[\u4E00-\u9FA5]*)\s*<')
  #################################通用正则匹配的  格式 是  (IP,端口,地区) 地区有可能包含换行和空格
  try:
   data = self.urlopen(url).read().decode('utf-8')
  except:
   return None
  
  self.rel = []
  
  ip = ip_proxy_re.findall(data)
  ##########返回的IP 就是 正则匹配的结果(IP,端口,地区) 地区有可能包含换行和空格
  
  return ip
  
if __name__ == '__main__':
 g=Getip("xicidaili国内普通代理 --1线")
 import pprint
 for x in range(4):
  ips = g.getip(1)
  print('获取到ip地址一共:',len(ips))
  pprint.pprint(ips)

以上这篇python 爬虫 批量获取代理ip的实例代码就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python编程实现数学运算求一元二次方程的实根算法示例
Apr 02 Python
spyder常用快捷键(分享)
Jul 19 Python
Python使用matplotlib绘制正弦和余弦曲线的方法示例
Jan 06 Python
python利用itertools生成密码字典并多线程撞库破解rar密码
Aug 12 Python
python使用pip安装模块出现ReadTimeoutError: HTTPSConnectionPool的解决方法
Oct 04 Python
FFT快速傅里叶变换的python实现过程解析
Oct 21 Python
pytorch制作自己的LMDB数据操作示例
Dec 18 Python
Python @property及getter setter原理详解
Mar 31 Python
python适合做数据挖掘吗
Jun 16 Python
使用pytorch实现论文中的unet网络
Jun 24 Python
利用django创建一个简易的博客网站的示例
Sep 29 Python
关于Python3的import问题(pycharm可以运行命令行import错误)
Nov 18 Python
python 获取当天每个准点时间戳的实例
May 22 #Python
selenium+python 去除启动的黑色cmd窗口方法
May 22 #Python
python3实现163邮箱SMTP发送邮件
May 22 #Python
django请求返回不同的类型图片json,xml,html的实例
May 22 #Python
Django使用HttpResponse返回图片并显示的方法
May 22 #Python
python实现最长公共子序列
May 22 #Python
使用python存储网页上的图片实例
May 22 #Python
You might like
php 生成唯一id的几种解决方法
2013/03/08 PHP
php简单压缩css样式示例
2016/09/22 PHP
JavaScript基础篇之变量作用域、传值、传址的简单介绍与实例
2013/06/29 Javascript
js中prototype用法详细介绍
2013/11/14 Javascript
浅析JavaScript中两种类型的全局对象/函数
2013/12/05 Javascript
[原创]推荐10款最热门jQuery UI框架
2014/08/19 Javascript
jquery实现很酷的网页顶部图标下拉菜单效果
2015/08/22 Javascript
JavaScript中innerHTML,innerText,outerHTML的用法及区别
2015/09/01 Javascript
jQuery实现磁力图片跟随效果完整示例
2016/09/16 Javascript
JavaScript 闭包机制详解及实例代码
2016/10/10 Javascript
浅谈Vue的基本应用
2016/12/27 Javascript
Node.js获取前端ajax提交的request信息
2017/02/20 Javascript
微信小程序 两种为对象属性赋值的方式详解
2017/02/23 Javascript
vue2.0实现倒计时的插件(时间戳 刷新 跳转 都不影响)
2017/03/30 Javascript
jQuery实现遍历XML节点和属性的方法示例
2018/04/29 jQuery
使用React-Router实现前端路由鉴权的示例代码
2020/07/26 Javascript
vue中v-model对select的绑定操作
2020/08/31 Javascript
vue Cli 环境删除与重装教程 - 版本文档
2020/09/11 Javascript
Python urlopen()函数 示例分享
2014/06/12 Python
在Python中使用sort()方法进行排序的简单教程
2015/05/21 Python
数组保存为txt, npy, csv 文件, 数组遍历enumerate的方法
2018/07/09 Python
浅析python继承与多重继承
2018/09/13 Python
python实现AES加密和解密
2019/03/27 Python
Python微信操控itchat的方法
2019/05/31 Python
python操作cfg配置文件方式
2019/12/22 Python
CSS3 创建网页动画实现弹跳球动效果
2018/10/30 HTML / CSS
HTML+CSS+JavaScript实现图片3D展览的示例代码
2020/10/12 HTML / CSS
Lookfantastic俄罗斯:欧洲在线化妆品零售商
2019/08/06 全球购物
澳大利亚在线性感内衣商店:Fantasy Lingerie
2021/02/07 全球购物
专营店会计助理岗位职责
2013/11/29 职场文书
企业为何需要商业计划书
2013/12/26 职场文书
机工车间主任岗位职责
2014/03/05 职场文书
文明演讲稿范文
2014/05/12 职场文书
2014年材料员工作总结
2014/11/19 职场文书
一百条裙子读书笔记
2015/07/01 职场文书
高三数学教学反思
2016/02/18 职场文书