python 如何用map()函数创建多线程任务


Posted in Python onApril 07, 2021

对于多线程的使用,我们经常是用thread来创建,比较繁琐. 在Python中,可以使用map函数简化代码。map可以实现多任务的并发

简单说明map()实现多线程原理:

task = [‘任务1', ‘任务2', ‘任务3', …]

map 函数一手包办了序列操作、参数传递和结果保存等一系列的操作,map函数负责将线程分给不同的CPU。

python 如何用map()函数创建多线程任务

在 Python 中有个两个库包含了 map 函数: multiprocessing 和它鲜为人知的子库 multiprocessing.dummy.dummy 是 multiprocessing 模块的完整克隆,唯一的不同在于 multiprocessing 作用于进程,而 dummy 模块作用于线程。

代码如下:

from multiprocessing.dummy import Pool as ThreadPool
import os
import requests
import time
import numpy as np
# 文件夹位置
filepath = r'C:\Users\Administrator\Desktop\ceshi'
pool = ThreadPool(10)#开启线程数,即一次性抛出的请求数
time_list = []#用来计算时间
xml_list = []#数据集
pathDir = os.listdir(filepath)
for i, allDir in enumerate(pathDir):
 filename = os.path.join('%s%s' % (filepath + '\\', allDir))
 kk = open(filename, 'r', encoding='utf-8').read()
 data = kk.encode('utf-8')
 for k in range(10):
  xml_list.append(data)
def res(data):
 # 访问目标服务器地址
 url_host = 'https://mp.csdn.net/mdeditor#'
 start = time.clock()
 s = requests.post(url_host, data=data)
 end = time.clock()
 if s.status_code == 200:
  print(end-start)
  time_list.append(end-start)
 else:
  print('请求失败')
# 传入的参数,1为函数, 2为参数
result = pool.map(res, xml_list)
all_arr = np.array(time_list)
aver = np.mean(all_arr)
variance = np.var(all_arr)
mid = np.median(all_arr)
min_num = np.min(all_arr)
max_num = np.max(all_arr)
print('平均值 : '+ str(aver))
print('方差 : ' + str(variance))
print('中值 : ' + str(mid))
print('最小值 : ' + str(min_num))
print('最大值 : ' + str(max_num))

个人做的小测试,如果有错误的地方希望留言提出意见及建议。

补充:python多进程(multiprocessing)(map)

map的基本使用:

map函数一手包办了序列操作,参数传递和结果保存等一系列的操作。

from multiprocessing.dummy import Pool
poop = Pool(4)  # 4代表电脑是多少核的
results = pool.map(爬取函数,网址列表)

from multiprocessing.dummy import Pool as ThreadPool
import requests
import time
kv = {'user-agent':'Mozilla/5.0'}
def getsource(url):
 html = requests.get(url,headers=kv)
urls = []
for i in range(0,41):
 i = i*50
 newpage = 'https://tieba.baidu.com/f?kw=读书&ie=utf-8&pn=' + str(i)
 urls.append(newpage)
# 单线程爬取
time1 = time.time()
for each in urls:
 print(each)
 getsource(each)
time2 = time.time()
print('单线程耗时: ' + str(time2-time1))
# 多线程爬取
pool = ThreadPool(8)
time3 = time.time()
results = pool.map(getsource, urls)
pool.close()
pool.join()
time4 = time.time()
print('多线程所消耗时间:' + str(time4 - time3))

python 如何用map()函数创建多线程任务

以上为个人经验,希望能给大家一个参考,也希望大家多多支持三水点靠木。如有错误或未考虑完全的地方,望不吝赐教。

Python 相关文章推荐
Python中__init__和__new__的区别详解
Jul 09 Python
在Python中利用Into包整洁地进行数据迁移的教程
Mar 30 Python
Python实现豆瓣图片下载的方法
May 25 Python
python多进程提取处理大量文本的关键词方法
Jun 05 Python
解决Python3.5+OpenCV3.2读取图像的问题
Dec 05 Python
python 自动重连wifi windows的方法
Dec 18 Python
Python Django给admin添加Action的方法实例详解
Apr 29 Python
Python创建或生成列表的操作方法
Jun 19 Python
Python脚本利用adb进行手机控制的方法
Jul 08 Python
Python中*args和**kwargs的区别详解
Sep 17 Python
Python pickle模块实现对象序列化
Nov 22 Python
详解Python内置模块Collections
Mar 22 Python
python requests模块的使用示例
Apr 07 #Python
Python 使用dict实现switch的操作
Apr 07 #Python
Python 把两层列表展开平铺成一层(5种实现方式)
Apr 07 #Python
Python获取百度热搜的完整代码
详解Python小数据池和代码块缓存机制
Apr 07 #Python
浅谈Python列表嵌套字典转化的问题
Apr 07 #Python
python pyhs2 的安装操作
Apr 07 #Python
You might like
php中使用ExcelFileParser处理excel获得数据(可作批量导入到数据库使用)
2010/08/21 PHP
IIS7.X配置PHP运行环境小结
2011/06/09 PHP
ThinkPHP关联模型操作实例分析
2012/09/23 PHP
php制作unicode解码工具(unicode编码转换器)代码分享
2013/12/24 PHP
非常经典的PHP文件上传类分享
2016/05/15 PHP
Yii框架弹出窗口组件CJuiDialog用法分析
2017/01/07 PHP
PHP实现类似题库抽题效果
2018/08/16 PHP
网页里控制图片大小的相关代码
2006/06/25 Javascript
Prototype使用指南之selector.js说明
2008/10/26 Javascript
jQuery 前的按键判断代码
2010/03/19 Javascript
自定义一个jquery插件[鼠标悬浮时候 出现说明label]
2011/06/27 Javascript
简约JS日历控件 实例代码
2013/07/12 Javascript
js控制frameSet示例
2013/09/10 Javascript
jQuery中Ajax的get、post等方法详解
2015/01/20 Javascript
jquery 插件实现多行文本框[textarea]自动高度
2015/03/04 Javascript
jQuery中extend()和fn.extend()方法详解
2015/06/03 Javascript
深入理解JS addLoadEvent函数
2016/05/20 Javascript
BootStrap网页中代码显示用法详解
2016/10/21 Javascript
简单的jQuery拖拽排序效果的实现(增强动态)
2017/02/09 Javascript
Vue AST源码解析第一篇
2017/07/19 Javascript
浅谈react 同构之样式直出
2017/11/07 Javascript
浅谈webpack SplitChunksPlugin实用指南
2018/09/17 Javascript
剖析Django中模版标签的解析与参数传递
2015/07/21 Python
浅谈Python中列表生成式和生成器的区别
2015/08/03 Python
python 判断linux进程,并杀死进程的实现方法
2019/07/01 Python
python 并发编程 阻塞IO模型原理解析
2019/08/20 Python
python实现图片上添加图片
2019/11/26 Python
Pycharm中Python环境配置常见问题解析
2020/01/16 Python
Python使用PyQt5/PySide2编写一个极简的音乐播放器功能
2020/02/07 Python
Roxy美国官网:澳大利亚冲浪、滑雪健身品牌
2016/07/30 全球购物
渗透攻击的测试步骤
2014/06/07 面试题
行政办公员自我评价分享
2013/12/14 职场文书
项目经理聘任书
2014/03/29 职场文书
入党积极分子批评与自我批评思想汇报
2014/09/14 职场文书
Nginx实现高可用集群构建(Keepalived+Haproxy+Nginx)
2021/05/27 Servers
OpenCV实现常见的四种图像几何变换
2022/04/01 Python