Python利用多进程将大量数据放入有限内存的教程


Posted in Python onApril 01, 2015

简介

这是一篇有关如何将大量的数据放入有限的内存中的简略教程。

与客户工作时,有时会发现他们的数据库实际上只是一个csv或Excel文件仓库,你只能将就着用,经常需要在不更新他们的数据仓库的情况下完成工作。大部分情况下,如果将这些文件存储在一个简单的数据库框架中或许更好,但时间可能不允许。这种方法对时间、机器硬件和所处环境都有要求。

下面介绍一个很好的例子:假设有一堆表格(没有使用Neo4j、MongoDB或其他类型的数据库,仅仅使用csvs、tsvs等格式存储的表格),如果将所有表格组合在一起,得到的数据帧太大,无法放入内存。所以第一个想法是:将其拆分成不同的部分,逐个存储。这个方案看起来不错,但处理起来很慢。除非我们使用多核处理器。
目标

这里的目标是从所有职位中(大约1万个),找出相关的的职位。将这些职位与政府给的职位代码组合起来。接着将组合的结果与对应的州(行政单位)信息组合起来。然后用通过word2vec生成的属性信息在我们的客户的管道中增强已有的属性。

这个任务要求在短时间内完成,谁也不愿意等待。想象一下,这就像在不使用标准的关系型数据库的情况下进行多个表的连接。
数据

Python利用多进程将大量数据放入有限内存的教程

示例脚本

下面的是一个示例脚本,展示了如何使用multiprocessing来在有限的内存空间中加速操作过程。脚本的第一部分是和特定任务相关的,可以自由跳过。请着重关注第二部分,这里侧重的是multiprocessing引擎。

#import the necessary packages
import pandas as pd
import us
import numpy as np
from multiprocessing import Pool,cpu_count,Queue,Manager
 
# the data in one particular column was number in the form that horrible excel version
# of a number where '12000' is '12,000' with that beautiful useless comma in there.
# did I mention I excel bothers me?
# instead of converting the number right away, we only convert them when we need to
def median_maker(column):
  return np.median([int(x.replace(',','')) for x in column])
 
# dictionary_of_dataframes contains a dataframe with information for each title; e.g title is 'Data Scientist'
# related_title_score_df is the dataframe of information for the title; columns = ['title','score']
### where title is a similar_title and score is how closely the two are related, e.g. 'Data Analyst', 0.871
# code_title_df contains columns ['code','title']
# oes_data_df is a HUGE dataframe with all of the Bureau of Labor Statistics(BLS) data for a given time period (YAY FREE DATA, BOO BAD CENSUS DATA!)
 
def job_title_location_matcher(title,location):
  try:
    related_title_score_df = dictionary_of_dataframes[title]
    # we limit dataframe1 to only those related_titles that are above
    # a previously established threshold
    related_title_score_df = related_title_score_df[title_score_df['score']>80]
 
    #we merge the related titles with another table and its codes
    codes_relTitles_scores = pd.merge(code_title_df,related_title_score_df)
    codes_relTitles_scores = codes_relTitles_scores.drop_duplicates()
 
    # merge the two dataframes by the codes
    merged_df = pd.merge(codes_relTitles_scores, oes_data_df)
    #limit the BLS data to the state we want
    all_merged = merged_df[merged_df['area_title']==str(us.states.lookup(location).name)]
 
    #calculate some summary statistics for the time we want
    group_med_emp,group_mean,group_pct10,group_pct25,group_median,group_pct75,group_pct90 = all_merged[['tot_emp','a_mean','a_pct10','a_pct25','a_median','a_pct75','a_pct90']].apply(median_maker)
    row = [title,location,group_med_emp,group_mean,group_pct10,group_pct25, group_median, group_pct75, group_pct90]
    #convert it all to strings so we can combine them all when writing to file
    row_string = [str(x) for x in row]
    return row_string
  except:
    # if it doesnt work for a particular title/state just throw it out, there are enough to make this insignificant
    'do nothing'

这里发生了神奇的事情:

#runs the function and puts the answers in the queue
def worker(row, q):
    ans = job_title_location_matcher(row[0],row[1])
    q.put(ans)
 
# this writes to the file while there are still things that could be in the queue
# this allows for multiple processes to write to the same file without blocking eachother
def listener(q):
  f = open(filename,'wb')
  while 1:
    m = q.get()
    if m =='kill':
        break
    f.write(','.join(m) + 'n')
    f.flush()
  f.close()
 
def main():
  #load all your data, then throw out all unnecessary tables/columns
  filename = 'skill_TEST_POOL.txt'
 
  #sets up the necessary multiprocessing tasks
  manager = Manager()
  q = manager.Queue()
  pool = Pool(cpu_count() + 2)
  watcher = pool.map_async(listener,(q,))
 
  jobs = []
  #titles_states is a dataframe of millions of job titles and states they were found in
  for i in titles_states.iloc:
    job = pool.map_async(worker, (i, q))
    jobs.append(job)
 
  for job in jobs:
    job.get()
  q.put('kill')
  pool.close()
  pool.join()
 
if __name__ == "__main__":
  main()

由于每个数据帧的大小都不同(总共约有100Gb),所以将所有数据都放入内存是不可能的。通过将最终的数据帧逐行写入内存,但从来不在内存中存储完整的数据帧。我们可以完成所有的计算和组合任务。这里的“标准方法”是,我们可以仅仅在“job_title_location_matcher”的末尾编写一个“write_line”方法,但这样每次只会处理一个实例。根据我们需要处理的职位/州的数量,这大概需要2天的时间。而通过multiprocessing,只需2个小时。

虽然读者可能接触不到本教程处理的任务环境,但通过multiprocessing,可以突破许多计算机硬件的限制。本例的工作环境是c3.8xl ubuntu ec2,硬件为32核60Gb内存(虽然这个内存很大,但还是无法一次性放入所有数据)。这里的关键之处是我们在60Gb的内存的机器上有效的处理了约100Gb的数据,同时速度提升了约25倍。通过multiprocessing在多核机器上自动处理大规模的进程,可以有效提高机器的利用率。也许有些读者已经知道了这个方法,但对于其他人,可以通过multiprocessing能带来非常大的收益。顺便说一句,这部分是skill assets in the job-market这篇博文的延续。

Python 相关文章推荐
基于scrapy实现的简单蜘蛛采集程序
Apr 17 Python
python中redis的安装和使用
Dec 04 Python
浅谈django model的get和filter方法的区别(必看篇)
May 23 Python
Python3安装Pymongo详细步骤
May 26 Python
基于Python对象引用、可变性和垃圾回收详解
Aug 21 Python
Python根据文件名批量转移图片的方法
Oct 21 Python
python 实现创建文件夹和创建日志文件的方法
Jul 07 Python
python框架flask入门之路由及简单实现方法
Jun 07 Python
python中tab键是什么意思
Jun 18 Python
Python接口自动化测试框架运行原理及流程
Nov 30 Python
Python max函数中key的用法及原理解析
Jun 26 Python
python playwright 自动等待和断言详解
Nov 27 Python
python连接远程ftp服务器并列出目录下文件的方法
Apr 01 #Python
10种检测Python程序运行时间、CPU和内存占用的方法
Apr 01 #Python
深入Python解释器理解Python中的字节码
Apr 01 #Python
Python中的defaultdict模块和namedtuple模块的简单入门指南
Apr 01 #Python
Python进行数据科学工作的简单入门教程
Apr 01 #Python
10个易被忽视但应掌握的Python基本用法
Apr 01 #Python
用Python制作检测Linux运行信息的工具的教程
Apr 01 #Python
You might like
php求一个网段开始与结束IP地址的方法
2015/07/09 PHP
Yii使用Captcha验证码的方法
2015/12/28 PHP
如何让PHP编码更加好看利于阅读
2019/05/12 PHP
jQuery 白痴级入门教程
2009/11/11 Javascript
jquery的$getjson调用并获取远程的JSON字符串问题
2012/12/10 Javascript
解决jquery submit()提交表单提示:f[s] is not a function
2013/01/23 Javascript
一个奇葩的最短的 IE 版本判断JS脚本
2014/05/28 Javascript
PHP实现的各种中文编码转换类分享
2015/01/23 Javascript
js的toUpperCase方法用法实例
2015/01/27 Javascript
JQuery自动触发事件的方法
2015/06/13 Javascript
跟我学习javascript的严格模式
2015/11/16 Javascript
在JSP中如何实现MD5加密的方法
2016/11/02 Javascript
JS简单获取日期相差天数的方法
2017/04/24 Javascript
谈谈React中的Render Props模式
2018/12/06 Javascript
Vue中对iframe实现keep alive无刷新的方法
2019/07/23 Javascript
nuxt静态部署打包相对路径操作
2020/11/06 Javascript
[05:45]Ti4观战指南(下)
2014/07/07 DOTA
[01:46]辉夜杯—打造中国DOTA新格局
2015/12/25 DOTA
[51:36]Optic vs Newbee 2018国际邀请赛小组赛BO2 第一场 8.17
2018/08/18 DOTA
python删除不需要的python文件方法
2018/04/24 Python
flask入门之表单的实现
2018/07/18 Python
python实现求两个字符串的最长公共子串方法
2018/07/20 Python
python通过zabbix api获取主机
2018/09/17 Python
python使用PIL实现多张图片垂直合并
2019/01/15 Python
Django将默认的SQLite更换为MySQL的实现
2019/11/18 Python
python opencv进行图像拼接
2020/03/27 Python
Python日志器使用方法及原理解析
2020/09/27 Python
结合 CSS3 transition transform 实现简单的跑马灯效果的示例
2018/02/07 HTML / CSS
用C#语言写出与SQLSERVER访问时的具体过程
2013/04/16 面试题
大学新生军训感言
2014/02/25 职场文书
2014年超市工作总结
2014/11/19 职场文书
病人写给医生的感谢信
2015/01/23 职场文书
教师工作态度自我评价
2015/03/05 职场文书
2015学习委员工作总结范文
2015/04/03 职场文书
2015秋季开学典礼新闻稿
2015/07/17 职场文书
践行三严三实心得体会(2016推荐篇)
2016/01/06 职场文书