python线程池的实现实例


Posted in Python onNovember 18, 2013

直接上代码:

# -*- coding: utf-8 -*- 
import Queue 
import threading
import urllib
import urllib2
import os
def down(url,n):
    print 'item '+str(n)+' start '
    filename=urllib2.unquote(url).decode('utf8').split('/')[-1]
    urllib.urlretrieve(url, filename)
    print 'item '+str(n)+' finish '

def worker():
    while True:
        i = q.get()
        url=i[0]
        n=i[1]
        down(url,n)
        q.task_done()

if __name__=="__main__":
    num_worker_threads=100
    f=open('url.txt')
    l=f.readlines()
    q = Queue.Queue()
    for i in range(num_worker_threads):
        t = threading.Thread(target=worker)
        t.daemon = True
        t.start()
    for i in range(0,len(l)):
        q.put((l[i],i))
    q.join()
Python 相关文章推荐
python在Windows8下获取本机ip地址的方法
Mar 14 Python
Python中DJANGO简单测试实例
May 11 Python
常用python编程模板汇总
Feb 12 Python
使用pyecharts无法import Bar的解决方案
Apr 23 Python
python django事务transaction源码分析详解
Mar 17 Python
Python3 获取一大段文本之间两个关键字之间的内容方法
Oct 11 Python
用Python编写一个简单的CS架构后门的方法
Nov 20 Python
对Python 简单串口收发GUI界面的实例详解
Jun 12 Python
python异步Web框架sanic的实现
Apr 27 Python
python 6行代码制作月历生成器
Sep 18 Python
Python 流媒体播放器的实现(基于VLC)
Apr 28 Python
Python中的pprint模块
Nov 27 Python
python批量导出导入MySQL用户的方法
Nov 15 #Python
python连接MySQL、MongoDB、Redis、memcache等数据库的方法
Nov 15 #Python
python实现代理服务功能实例
Nov 15 #Python
Python(Tornado)模拟登录小米抢手机
Nov 12 #Python
Python3实现的腾讯微博自动发帖小工具
Nov 11 #Python
python正则分组的应用
Nov 10 #Python
python Django连接MySQL数据库做增删改查
Nov 07 #Python
You might like
passwordStrength 基于jquery的密码强度检测代码使用介绍
2011/10/08 Javascript
基于jquery的web页面日期格式化插件
2011/11/15 Javascript
jquery中ajax使用error调试错误的方法
2015/02/08 Javascript
使用jquery实现仿百度自动补全特效
2015/07/23 Javascript
如何解决easyui自定义标签 datagrid edit combobox 手动输入保存不上
2015/12/26 Javascript
Vuejs第八篇之Vuejs组件的定义实例解析
2016/09/05 Javascript
微信小程序 Video API实例详解
2016/10/02 Javascript
利用n 升级工具升级Node.js版本及在mac环境下的坑
2017/02/15 Javascript
使用JavaScriptCore实现OC和JS交互详解
2017/03/28 Javascript
React Native中Navigator的使用方法示例
2017/10/13 Javascript
JS+CSS实现滚动数字时钟效果
2017/12/25 Javascript
微信小程序实现点赞、取消点赞功能
2018/11/02 Javascript
基于vue、react实现倒计时效果
2019/08/26 Javascript
axios 实现post请求时把对象obj数据转为formdata
2019/10/31 Javascript
JQuery Ajax如何实现注册检测用户名
2020/09/25 jQuery
合并百度影音的离线数据( with python 2.3)
2015/08/04 Python
python语言中with as的用法使用详解
2018/02/23 Python
实例讲解Python爬取网页数据
2018/07/08 Python
Python 多线程不加锁分块读取文件的方法
2018/12/11 Python
Python3爬虫之urllib携带cookie爬取网页的方法
2018/12/28 Python
Python使用pyshp库读取shapefile信息的方法
2018/12/29 Python
python+rsync精确同步指定格式文件
2019/08/29 Python
Python通用唯一标识符uuid模块使用案例
2020/09/10 Python
python 实现性别识别
2020/11/21 Python
详解matplotlib中pyplot和面向对象两种绘图模式之间的关系
2021/01/22 Python
土耳其时尚购物网站:Morhipo
2017/09/04 全球购物
SkinCeuticals官网:美国药妆品牌
2018/04/19 全球购物
德国的各种媒体在线商店:Thalia.de(书籍、电子书、玩具等)
2020/10/08 全球购物
如何将无状态会话Bean发布为WEB服务,只有无状态会话Bean可以发布为WEB服务?
2015/12/03 面试题
文案策划求职信
2014/04/14 职场文书
中等生评语大全
2014/05/04 职场文书
职业生涯规划书怎么写?
2014/09/14 职场文书
详细的本科生职业生涯规划范文
2014/09/16 职场文书
环保建议书范文
2015/09/14 职场文书
保护环境建议书作文300字
2015/09/14 职场文书
CSS SandBox应用场景及常见问题
2022/06/25 HTML / CSS