首页
所有分类
TAGS
文字工具 EMOJI BIBLE
编程 Python

Python使用代理抓取网站图片（多线程）

Posted in Python onMarch 14, 2014

一、功能说明：
1. 多线程方式抓取代理服务器，并多线程验证代理服务器
ps 代理服务器是从http://www.cnproxy.com/ （测试只选择了8个页面）抓取
2. 抓取一个网站的图片地址，多线程随机取一个代理服务器下载图片
二、实现代码

#!/usr/bin/env python
#coding:utf-8
import urllib2
import re
import threading
import time
import random
rawProxyList = []
checkedProxyList = []
imgurl_list = []
#抓取代理网站
portdicts ={'v':"3",'m':"4",'a':"2",'l':"9",'q':"0",'b':"5",'i':"7",'w':"6",'r':"8",'c':"1"}
targets = []
for i in xrange(1,9):
        target = r"http://www.cnproxy.com/proxy%d.html" % i
        targets.append(target)
#print targets
#抓取代理服务器正则
p = re.compile(r'''<tr><td>(.+?)<SCRIPT type=text/javascript>document.write\(":"\+(.+?)\)</SCRIPT></td><td>(.+?)</td><td>.+?</td><td>(.+?)</td></tr>''')
#获取代理的类
class ProxyGet(threading.Thread):
    def __init__(self,target):
        threading.Thread.__init__(self)
        self.target = target
    def getProxy(self):
        print "代理服务器目标网站： " + self.target
        req = urllib2.urlopen(self.target)
        result = req.read()
        #print chardet.detect(result)
        matchs = p.findall(result)
        for row in matchs:
            ip=row[0]
            port =row[1]
            port = map(lambda x:portdicts[x],port.split('+'))
            port = ''.join(port)
            agent = row[2]
            addr = row[3].decode("cp936").encode("utf-8")
            proxy = [ip,port,addr]
            #print proxy
            rawProxyList.append(proxy)
    def run(self):
        self.getProxy()
#检验代理的类
class ProxyCheck(threading.Thread):
    def __init__(self,proxyList):
        threading.Thread.__init__(self)
        self.proxyList = proxyList
        self.timeout = 5
        self.testUrl = "http://www.baidu.com/"
        self.testStr = "030173"
    def checkProxy(self):
        cookies = urllib2.HTTPCookieProcessor()
        for proxy in self.proxyList:
            proxyHandler = urllib2.ProxyHandler({"http" : r'http://%s:%s' %(proxy[0],proxy[1])})
            #print r'http://%s:%s' %(proxy[0],proxy[1])
            opener = urllib2.build_opener(cookies,proxyHandler)
            opener.addheaders = [('User-agent', 'Mozilla/5.0 (Windows NT 6.2; WOW64; rv:22.0) Gecko/20100101 Firefox/22.0')] 
            #urllib2.install_opener(opener)
            t1 = time.time()
            try:
                #req = urllib2.urlopen("http://www.baidu.com", timeout=self.timeout)
                req = opener.open(self.testUrl, timeout=self.timeout)
                #print "urlopen is ok...."
                result = req.read()
                #print "read html...."
                timeused = time.time() - t1
                pos = result.find(self.testStr)
                #print "pos is %s" %pos
                if pos > 1:
                    checkedProxyList.append((proxy[0],proxy[1],proxy[2],timeused))
                    #print "ok ip: %s %s %s %s" %(proxy[0],proxy[1],proxy[2],timeused)
                else:
                     continue
            except Exception,e:
                #print e.message
                continue
    def run(self):
        self.checkProxy()
#获取图片地址函数
def imgurlList(url_home):
    global imgurl_list
    home_page = urllib2.urlopen(url_home)
    url_re = re.compile(r'<li><a href="(.+?)" target="_blank" rel="nofollow">')
    pic_re = re.compile(r'<img src="(.*?\.\w{3,4})"')
    url_list = re.findall(url_re,home_page.read())
    for url in url_list:
        #print url_home+url
        url_page = urllib2.urlopen(url_home+url)
        for imgurlList in re.findall(pic_re,url_page.read()):
            imgurl_list.append(imgurlList)
#下载图片的类
class getPic(threading.Thread):
    def __init__(self,imgurl_list):
        threading.Thread.__init__(self)
        self.imgurl_list = imgurl_list 
        self.timeout = 5
    def downloadimg(self):
        for imgurl in self.imgurl_list:
            pic_suffix = imgurl.split('.')[-1] #获取图片后缀
            pic_name = str(random.randint(0,10000000000))+'.'+pic_suffix
            cookies = urllib2.HTTPCookieProcessor()
            randomCheckedProxy = random.choice(checkedProxyList) #随机取一组代理服务器
            proxyHandler = urllib2.ProxyHandler({"http" : r'http://%s:%s' %(randomCheckedProxy[0],randomCheckedProxy[1])})
            opener = urllib2.build_opener(cookies,proxyHandler)
            opener.addheaders = [('User-agent', 'Mozilla/5.0 (Windows NT 6.2; WOW64; rv:22.0) Gecko/20100101 Firefox/22.0')]
            urllib2.install_opener(opener)
            try:
                data_img = opener.open(imgurl,timeout=self.timeout)
                f = open (pic_name,'wb')
                f.write(data_img.read())
                f.close()
            except:
                continue
    def run(self):
        self.downloadimg()
if __name__ == "__main__":
    getThreads = []
    checkThreads = []
    imgurlList('http://www.ivsky.com')
    getPicThreads = []
#对每个目标网站开启一个线程负责抓取代理
for i in range(len(targets)):
    t = ProxyGet(targets[i])
    getThreads.append(t)
for i in range(len(getThreads)):
    getThreads[i].start()
for i in range(len(getThreads)):
    getThreads[i].join()
print '.'*10+"总共抓取了%s个代理" %len(rawProxyList) +'.'*10
#开启20个线程负责校验，将抓取到的代理分成20份，每个线程校验一份
for i in range(20):
    t = ProxyCheck(rawProxyList[((len(rawProxyList)+19)/20) * i:((len(rawProxyList)+19)/20) * (i+1)])
    checkThreads.append(t)
for i in range(len(checkThreads)):
    checkThreads[i].start()
for i in range(len(checkThreads)):
    checkThreads[i].join()
print '.'*10+"总共有%s个代理通过校验" %len(checkedProxyList) +'.'*10
#开启20个线程随机取一个代理下载图片
for i in range(20):
    t = getPic(imgurl_list[((len(imgurl_list)+19)/20) * i:((len(imgurl_list)+19)/20) * (i+1)])
    getPicThreads.append(t)
for i in range(len(getPicThreads)):
    getPicThreads[i].start()
for i in range(len(getPicThreads)):
    getPicThreads[i].join()
print '.'*10+"总共有%s个图片下载" %len(imgurl_list) +'.'*10
#代理排序持久化
f= open("proxy_list.txt",'w+')
for proxy in sorted(checkedProxyList,cmp=lambda x,y:cmp(x[3],y[3])):
    #print "checked proxy is: %s:%s\t%s\t%s" %(proxy[0],proxy[1],proxy[2],proxy[3])
    f.write("%s:%s\t%s\t%s\n"%(proxy[0],proxy[1],proxy[2],proxy[3]))
f.close()

二、测试结果：

# ls
proxy_getpic.py
# python proxy_getpic.py
代理服务器目标网站： http://www.cnproxy.com/proxy1.html
代理服务器目标网站： http://www.cnproxy.com/proxy2.html
代理服务器目标网站： http://www.cnproxy.com/proxy3.html
代理服务器目标网站： http://www.cnproxy.com/proxy4.html
代理服务器目标网站： http://www.cnproxy.com/proxy5.html
代理服务器目标网站： http://www.cnproxy.com/proxy6.html
代理服务器目标网站： http://www.cnproxy.com/proxy7.html
代理服务器目标网站： http://www.cnproxy.com/proxy8.html
..........总共抓取了800个代理..........
..........总共有458个代理通过校验..........
..........总共有154个图片下载..........
# cat proxy_list.txt | more
173.213.113.111:3128    United States   0.432188987732
173.213.113.111:8089    United States   0.441318035126
173.213.113.111:7808    United States   0.444597005844
110.4.24.170:80 香港 香港移动通讯有限公司       0.489440202713
211.142.236.135:8080    湖南省株洲市 移动       0.490673780441
211.142.236.135:8081    湖南省株洲市 移动       0.518096923828
211.142.236.135:8000    湖南省株洲市 移动       0.51860499382
211.142.236.135:8082    湖南省株洲市 移动       0.520448207855
# ls
1001117689.jpg  3097883176.jpg  5234319709.jpg  7012274766.jpg  8504924248.jpg
1076458640.jpg  3144369522.jpg  5387877704.jpg  7106183143.jpg  867723868.jpg
1198548712.jpg  3161307031.jpg  5572092752.jpg  7361254661.jpg  8746315373.jpg
165738192.jpg   3228008315.jpg  5575388077.jpg  7389537793.jpg  8848973192.jpg
1704512138.jpg  3306931164.jpg  5610740708.jpg  7407358698.jpg  8973834958.jpg
1742167711.jpg  3320152673.jpg  5717429022.jpg  7561176207.jpg  8976862152.jpg
...............

Python使用代理抓取网站图片（多线程）

声明：登载此文出于传递更多信息之目的，并不意味着赞同其观点或证实其描述。

Python 相关文章推荐
python 提取文件的小程序
Jul 29 Python
Python脚本暴力破解栅栏密码
Oct 19 Python
利用scrapy将爬到的数据保存到mysql（防止重复）
Mar 31 Python
详解python Todo清单实战
Nov 01 Python
python 定时器,实现每天凌晨3点执行的方法
Feb 20 Python
Django Rest framework认证组件详细用法
Jul 25 Python
Python协程操作之gevent(yield阻塞，greenlet)，协程实现多任务(有规律的交替协作执行)用法详解
Oct 14 Python
使用Python实现 学生学籍管理系统
Nov 26 Python
Python学习之路之pycharm的第一个项目搭建过程
Jun 18 Python
Numpy ndarray 多维数组对象的使用
Feb 10 Python
Python实现单例模式的5种方法
Jun 15 Python
Python自动化工具之实现Excel转Markdown表格
Apr 08 Python
python3.3使用tkinter开发猜数字游戏示例
Mar 14 #Python
Python subprocess模块学习总结
Mar 13 #Python
用Python和MD5实现网站挂马检测程序
Mar 13 #Python
python操作数据库之sqlite3打开数据库、删除、修改示例
Mar 13 #Python
使用Python判断IP地址合法性的方法实例
Mar 13 #Python
Python 分析Nginx访问日志并保存到MySQL数据库实例
Mar 13 #Python
详解Python中的__init__和__new__
Mar 12 #Python
TypeScript(2) RTMP(1) zabbix(9) keeplive_timeout(1) NumPy(2) text-shadow(1) http_stub_status_module(1) 区块链(2) location(2) 双向链表(6)
You might like
php函数指定默认值方法的小例子
2013/12/04 PHP
php的webservice的wsdl的XML无法显示问题的解决方法
2014/03/11 PHP
URL编码转换,escape() encodeURI() encodeURIComponent()
2006/12/27 Javascript
javascript 字符串连接的性能问题(多浏览器)
2008/11/18 Javascript
jquery常用操作小结
2014/07/21 Javascript
JavaScript 作用域链解析
2014/11/13 Javascript
express的中间件basicAuth详解
2014/12/04 Javascript
全面接触神奇的Bootstrap导航条实战篇
2016/08/01 Javascript
JS FormData上传文件的设置方法
2017/07/05 Javascript
webpack4 处理CSS的方法示例
2018/09/03 Javascript
vue.draggable实现表格拖拽排序效果
2018/12/01 Javascript
JS实现页面跳转与刷新的方法汇总
2019/08/30 Javascript
vue项目在webpack2实现移动端字体自适配功能
2020/06/02 Javascript
Python实现的Kmeans++算法实例
2014/04/26 Python
Python使用numpy产生正态分布随机数的向量或矩阵操作示例
2018/08/22 Python
使用Python实现租车计费系统的两种方法
2018/09/29 Python
Django使用unittest模块进行单元测试过程解析
2019/08/02 Python
Python 中@property的用法详解
2020/01/15 Python
Python关于反射的实例代码分享
2020/02/20 Python
在Python中用GDAL实现矢量对栅格的切割实例
2020/03/11 Python
Django haystack实现全文搜索代码示例
2020/11/28 Python
DHC中国官方购物网站：日本通信销售No.1化妆品
2016/08/20 全球购物
Sunglasses Shop荷兰站：英国最大的太阳镜独立在线零售商和供应商
2017/01/08 全球购物
美国最大的骑马用品零售商：HorseLoverZ
2017/01/12 全球购物
美国一家运动专业鞋类零售商：Warehouse Shoe Sale（WSS）
2018/03/28 全球购物
Lookfantastic希腊官网：英国知名美妆购物网站
2018/09/15 全球购物
Tiqets英国：智能手机上的文化和娱乐门票
2019/07/10 全球购物
儿科主治医生个人求职信
2013/09/23 职场文书
求职自荐信范文格式
2013/11/29 职场文书
小学教师节活动方案
2014/01/31 职场文书
商学院大学生求职的自我评价
2014/03/12 职场文书
2014国庆65周年领导讲话稿（3篇）
2014/09/21 职场文书
2014年惩防体系建设工作总结
2014/12/01 职场文书
公司安全管理制度范本
2015/08/05 职场文书
php微信小程序解包过程实例详解
2021/03/31 PHP
pytorch中的model.eval()和BN层的使用
2021/05/22 Python