python线程池的实现实例


Posted in Python onNovember 18, 2013

直接上代码:

# -*- coding: utf-8 -*- 
import Queue 
import threading
import urllib
import urllib2
import os
def down(url,n):
    print 'item '+str(n)+' start '
    filename=urllib2.unquote(url).decode('utf8').split('/')[-1]
    urllib.urlretrieve(url, filename)
    print 'item '+str(n)+' finish '

def worker():
    while True:
        i = q.get()
        url=i[0]
        n=i[1]
        down(url,n)
        q.task_done()

if __name__=="__main__":
    num_worker_threads=100
    f=open('url.txt')
    l=f.readlines()
    q = Queue.Queue()
    for i in range(num_worker_threads):
        t = threading.Thread(target=worker)
        t.daemon = True
        t.start()
    for i in range(0,len(l)):
        q.put((l[i],i))
    q.join()
Python 相关文章推荐
python实现挑选出来100以内的质数
Mar 24 Python
解决Django migrate No changes detected 不能创建表的问题
May 27 Python
Python实现的爬虫刷回复功能示例
Jun 07 Python
python3实现名片管理系统
Nov 29 Python
Python实现获取汉字偏旁部首的方法示例【测试可用】
Dec 18 Python
Python网络爬虫之爬取微博热搜
Apr 18 Python
人工神经网络算法知识点总结
Jun 11 Python
python-opencv获取二值图像轮廓及中心点坐标的代码
Aug 27 Python
python中resample函数实现重采样和降采样代码
Feb 25 Python
python模拟点击网页按钮实现方法
Feb 25 Python
Python全面分析系统的时域特性和频率域特性
Feb 26 Python
Django实现随机图形验证码的示例
Oct 15 Python
python批量导出导入MySQL用户的方法
Nov 15 #Python
python连接MySQL、MongoDB、Redis、memcache等数据库的方法
Nov 15 #Python
python实现代理服务功能实例
Nov 15 #Python
Python(Tornado)模拟登录小米抢手机
Nov 12 #Python
Python3实现的腾讯微博自动发帖小工具
Nov 11 #Python
python正则分组的应用
Nov 10 #Python
python Django连接MySQL数据库做增删改查
Nov 07 #Python
You might like
一个PHP验证码类代码分享(已封装成类)
2011/07/17 PHP
php中可能用来加密字符串的函数[base64_encode、urlencode、sha1]
2012/01/16 PHP
PHP 利用AJAX获取网页并输出的实现代码(Zjmainstay)
2012/08/31 PHP
PHP文件读写操作相关函数总结
2014/11/18 PHP
yii实现CheckBox复选框在同一行显示的方法
2014/12/03 PHP
php ajax confirm 删除实例详解
2019/03/06 PHP
PHP正则之正向预查与反向预查讲解与实例
2020/04/06 PHP
比较简单的异步加载JS文件的代码
2009/07/18 Javascript
js判断上传文件类型判断FileUpload文件类型代码
2014/05/20 Javascript
js使用for循环查询数组中是否存在某个值
2014/08/12 Javascript
js onmousewheel事件多次触发问题解决方法
2014/10/17 Javascript
node.js中的http.response.getHeader方法使用说明
2014/12/14 Javascript
javascript动态添加删除tabs标签的方法
2015/07/06 Javascript
JS截取与分割字符串常用技巧总结
2015/11/10 Javascript
JS作用域闭包、预解释和this关键字综合实例解析
2016/12/16 Javascript
微信小程序使用字体图标的方法
2019/05/23 Javascript
vue  elementUI 表单嵌套验证的实例代码
2019/11/06 Javascript
[01:26]DOTA2荣耀之路2:iG,China
2018/05/24 DOTA
详解Python编程中包的概念与管理
2015/10/16 Python
python3.0 模拟用户登录,三次错误锁定的实例
2017/11/02 Python
Python温度转换实例分析
2018/01/17 Python
Python实现读取Properties配置文件的方法
2018/03/29 Python
django加载本地html的方法
2018/05/27 Python
Python使用pydub库对mp3与wav格式进行互转的方法
2019/01/10 Python
使用python+whoosh实现全文检索
2019/12/09 Python
python颜色随机生成器的实例代码
2020/01/10 Python
python实现人机猜拳小游戏
2020/02/03 Python
Python selenium爬虫实现定时任务过程解析
2020/06/08 Python
英国天然宝石首饰购买网站:Gemondo Jewellery
2018/10/23 全球购物
天游软件面试
2013/11/23 面试题
区域销售主管岗位职责
2014/06/15 职场文书
初中国旗下的演讲稿
2014/08/28 职场文书
乒乓球比赛通知
2015/04/27 职场文书
2019年学校消防安全责任书(2篇)
2019/10/09 职场文书
nginx配置ssl实现https的方法示例
2021/03/31 Servers
评测 | 大屏显示带收音机的高端音箱,JBL TUNE2便携式插卡音箱实测
2021/04/24 无线电