python线程池的实现实例


Posted in Python onNovember 18, 2013

直接上代码:

# -*- coding: utf-8 -*- 
import Queue 
import threading
import urllib
import urllib2
import os
def down(url,n):
    print 'item '+str(n)+' start '
    filename=urllib2.unquote(url).decode('utf8').split('/')[-1]
    urllib.urlretrieve(url, filename)
    print 'item '+str(n)+' finish '

def worker():
    while True:
        i = q.get()
        url=i[0]
        n=i[1]
        down(url,n)
        q.task_done()

if __name__=="__main__":
    num_worker_threads=100
    f=open('url.txt')
    l=f.readlines()
    q = Queue.Queue()
    for i in range(num_worker_threads):
        t = threading.Thread(target=worker)
        t.daemon = True
        t.start()
    for i in range(0,len(l)):
        q.put((l[i],i))
    q.join()
Python 相关文章推荐
Python读取图片EXIF信息类库介绍和使用实例
Jul 10 Python
Python中itertools模块用法详解
Sep 25 Python
Python制作简易注册登录系统
Dec 15 Python
Python图像滤波处理操作示例【基于ImageFilter类】
Jan 03 Python
numpy求平均值的维度设定的例子
Aug 24 Python
详解python3中用HTMLTestRunner.py报ImportError: No module named 'StringIO'如何解决
Aug 27 Python
python画微信表情符的实例代码
Oct 09 Python
Python算法的时间复杂度和空间复杂度(实例解析)
Nov 19 Python
Python利用matplotlib绘制约数个数统计图示例
Nov 26 Python
python opencv根据颜色进行目标检测的方法示例
Jan 15 Python
你需要学会的8个Python列表技巧
Jun 24 Python
Python 数据的累加与统计的示例代码
Aug 03 Python
python批量导出导入MySQL用户的方法
Nov 15 #Python
python连接MySQL、MongoDB、Redis、memcache等数据库的方法
Nov 15 #Python
python实现代理服务功能实例
Nov 15 #Python
Python(Tornado)模拟登录小米抢手机
Nov 12 #Python
Python3实现的腾讯微博自动发帖小工具
Nov 11 #Python
python正则分组的应用
Nov 10 #Python
python Django连接MySQL数据库做增删改查
Nov 07 #Python
You might like
非洲第一个咖啡超凡杯大赛承办国—卢旺达的咖啡怎么样
2021/03/03 咖啡文化
php smarty的预保留变量总结
2008/12/04 PHP
PHP分多步骤填写发布信息的简单方法实例代码
2012/09/23 PHP
javascript concat数组累加 示例
2009/09/03 Javascript
JavaScript加强之自定义callback示例
2013/09/21 Javascript
使用JavaScript实现Java的List功能(实例讲解)
2013/11/07 Javascript
jqeury-easyui-layout问题解决方法
2014/03/24 Javascript
JS实现鼠标滑过链接改变网页背景颜色的方法
2015/10/20 Javascript
JS学习之表格的排序简单实例
2016/05/16 Javascript
angularjs 源码解析之injector
2016/08/22 Javascript
node.js路径处理方法以及绝对路径详解
2021/03/04 Javascript
JS高级运动实例分析
2016/12/20 Javascript
JavaScript用JSONP跨域请求数据实例详解
2017/01/06 Javascript
基于vue.js实现侧边菜单栏
2017/03/20 Javascript
javascript数组去重常用方法实例分析
2017/04/11 Javascript
React Native实现地址挑选器功能
2017/10/24 Javascript
基于Vue制作组织架构树组件
2017/12/06 Javascript
使用classList来实现两个按钮样式的切换方法
2018/01/24 Javascript
react组件从搭建脚手架到在npm发布的步骤实现
2019/01/09 Javascript
基于JS实现table导出Excel并保留样式
2020/05/19 Javascript
微信小程序实现选择地址省市区三级联动
2020/06/21 Javascript
python编程实现希尔排序
2017/04/13 Python
Python读取图片为16进制表示简单代码
2018/01/19 Python
Python中的元组介绍
2019/01/28 Python
深入理解Python异常处理的哲学
2019/02/01 Python
解决Django migrate不能发现app.models的表问题
2019/08/31 Python
python openCV实现摄像头获取人脸图片
2020/08/20 Python
CSS3教程:新增加的结构伪类
2009/04/02 HTML / CSS
香港草莓网土耳其网站:Strawberrynet TR
2017/03/02 全球购物
Bulk Powders意大利:运动补充在线商店
2019/02/09 全球购物
德国价格合理的品牌商品购物网站:averdo
2019/03/21 全球购物
Groupon法国官方网站:特卖和网上购物高达-70%
2019/09/02 全球购物
英语商务邀请函范文
2014/01/16 职场文书
战友聚会邀请函
2014/01/18 职场文书
jquery插件实现搜索历史
2021/04/24 jQuery
各种货币符号快捷输入
2022/02/17 杂记