python线程池的实现实例


Posted in Python onNovember 18, 2013

直接上代码:

# -*- coding: utf-8 -*- 
import Queue 
import threading
import urllib
import urllib2
import os
def down(url,n):
    print 'item '+str(n)+' start '
    filename=urllib2.unquote(url).decode('utf8').split('/')[-1]
    urllib.urlretrieve(url, filename)
    print 'item '+str(n)+' finish '

def worker():
    while True:
        i = q.get()
        url=i[0]
        n=i[1]
        down(url,n)
        q.task_done()

if __name__=="__main__":
    num_worker_threads=100
    f=open('url.txt')
    l=f.readlines()
    q = Queue.Queue()
    for i in range(num_worker_threads):
        t = threading.Thread(target=worker)
        t.daemon = True
        t.start()
    for i in range(0,len(l)):
        q.put((l[i],i))
    q.join()
Python 相关文章推荐
树莓派中python获取GY-85九轴模块信息示例
Dec 05 Python
python使用urllib2实现发送带cookie的请求
Apr 28 Python
mac系统安装Python3初体验
Jan 02 Python
pandas进行数据的交集与并集方式的数据合并方法
Jun 27 Python
pygame游戏之旅 添加游戏暂停功能
Nov 21 Python
Python使用pandas对数据进行差分运算的方法
Dec 22 Python
对python调用RPC接口的实例详解
Jan 03 Python
Django之创建引擎索引报错及解决详解
Jul 17 Python
python自动化测试之DDT数据驱动的实现代码
Jul 23 Python
pytorch实现对输入超过三通道的数据进行训练
Jan 15 Python
Python pip安装模块提示错误解决方案
May 22 Python
Python+OpenCV图像处理——实现轮廓发现
Oct 23 Python
python批量导出导入MySQL用户的方法
Nov 15 #Python
python连接MySQL、MongoDB、Redis、memcache等数据库的方法
Nov 15 #Python
python实现代理服务功能实例
Nov 15 #Python
Python(Tornado)模拟登录小米抢手机
Nov 12 #Python
Python3实现的腾讯微博自动发帖小工具
Nov 11 #Python
python正则分组的应用
Nov 10 #Python
python Django连接MySQL数据库做增删改查
Nov 07 #Python
You might like
php变量范围介绍
2012/10/15 PHP
php打开文件fopen函数的使用说明
2013/07/05 PHP
PHPMailer发送HTML内容、带附件的邮件实例
2014/07/01 PHP
PHP中$GLOBALS['HTTP_RAW_POST_DATA']和$_POST的区别分析
2017/07/03 PHP
PHP反射学习入门示例
2019/06/14 PHP
laravel5.6 框架操作数据 Eloquent ORM用法示例
2020/01/26 PHP
jQuery ajax 路由和过滤器使用说明
2011/08/02 Javascript
一个简单不报错的summernote 图片上传案例
2016/07/11 Javascript
jQuery中弹出iframe内嵌页面元素到父页面并全屏化的实例代码
2016/12/27 Javascript
nodejs基础应用
2017/02/03 NodeJs
Bootstrap栅格系统简单实现代码
2017/03/06 Javascript
在vue组件中使用axios的方法
2018/03/16 Javascript
详解webpack4多入口、多页面项目构建案例
2018/05/25 Javascript
微信小程序实现比较功能的方法汇总(五种方法)
2020/03/07 Javascript
vue+element实现图片上传及裁剪功能
2020/06/29 Javascript
Python入门之modf()方法的使用
2015/05/15 Python
Python3.遍历某文件夹提取特定文件名的实例
2018/04/26 Python
Python多重继承之菱形继承的实例详解
2020/02/12 Python
pycharm设置当前工作目录的操作(working directory)
2020/02/14 Python
使用Python将图片转正方形的两种方法实例代码详解
2020/04/29 Python
澳大利亚便宜的家庭购物网站:CrazySales
2018/02/06 全球购物
高尔夫球鞋、服装、手套和装备:FootJoy
2018/12/15 全球购物
iHerb俄罗斯:维生素、补品和天然产品
2020/07/09 全球购物
教师求职推荐信范文
2013/11/20 职场文书
九年级化学教学反思
2014/01/28 职场文书
小学生检讨书大全
2014/02/06 职场文书
家长写给老师的建议书
2014/03/13 职场文书
英文自荐信常用句子
2014/03/26 职场文书
电子信息工程自荐信
2014/05/26 职场文书
销售简历自我评价怎么写
2014/09/26 职场文书
2014年办公室工作总结范文
2014/11/12 职场文书
2015年社区创卫工作总结
2015/04/21 职场文书
安全教育片观后感
2015/06/17 职场文书
羊脂球读书笔记
2015/06/30 职场文书
Python pyecharts绘制条形图详解
2022/04/02 Python
Win10 Anaconda安装python-pcl
2022/04/29 Servers