Python利用多进程将大量数据放入有限内存的教程


Posted in Python onApril 01, 2015

简介

这是一篇有关如何将大量的数据放入有限的内存中的简略教程。

与客户工作时,有时会发现他们的数据库实际上只是一个csv或Excel文件仓库,你只能将就着用,经常需要在不更新他们的数据仓库的情况下完成工作。大部分情况下,如果将这些文件存储在一个简单的数据库框架中或许更好,但时间可能不允许。这种方法对时间、机器硬件和所处环境都有要求。

下面介绍一个很好的例子:假设有一堆表格(没有使用Neo4j、MongoDB或其他类型的数据库,仅仅使用csvs、tsvs等格式存储的表格),如果将所有表格组合在一起,得到的数据帧太大,无法放入内存。所以第一个想法是:将其拆分成不同的部分,逐个存储。这个方案看起来不错,但处理起来很慢。除非我们使用多核处理器。
目标

这里的目标是从所有职位中(大约1万个),找出相关的的职位。将这些职位与政府给的职位代码组合起来。接着将组合的结果与对应的州(行政单位)信息组合起来。然后用通过word2vec生成的属性信息在我们的客户的管道中增强已有的属性。

这个任务要求在短时间内完成,谁也不愿意等待。想象一下,这就像在不使用标准的关系型数据库的情况下进行多个表的连接。
数据

Python利用多进程将大量数据放入有限内存的教程

示例脚本

下面的是一个示例脚本,展示了如何使用multiprocessing来在有限的内存空间中加速操作过程。脚本的第一部分是和特定任务相关的,可以自由跳过。请着重关注第二部分,这里侧重的是multiprocessing引擎。

#import the necessary packages
import pandas as pd
import us
import numpy as np
from multiprocessing import Pool,cpu_count,Queue,Manager
 
# the data in one particular column was number in the form that horrible excel version
# of a number where '12000' is '12,000' with that beautiful useless comma in there.
# did I mention I excel bothers me?
# instead of converting the number right away, we only convert them when we need to
def median_maker(column):
  return np.median([int(x.replace(',','')) for x in column])
 
# dictionary_of_dataframes contains a dataframe with information for each title; e.g title is 'Data Scientist'
# related_title_score_df is the dataframe of information for the title; columns = ['title','score']
### where title is a similar_title and score is how closely the two are related, e.g. 'Data Analyst', 0.871
# code_title_df contains columns ['code','title']
# oes_data_df is a HUGE dataframe with all of the Bureau of Labor Statistics(BLS) data for a given time period (YAY FREE DATA, BOO BAD CENSUS DATA!)
 
def job_title_location_matcher(title,location):
  try:
    related_title_score_df = dictionary_of_dataframes[title]
    # we limit dataframe1 to only those related_titles that are above
    # a previously established threshold
    related_title_score_df = related_title_score_df[title_score_df['score']>80]
 
    #we merge the related titles with another table and its codes
    codes_relTitles_scores = pd.merge(code_title_df,related_title_score_df)
    codes_relTitles_scores = codes_relTitles_scores.drop_duplicates()
 
    # merge the two dataframes by the codes
    merged_df = pd.merge(codes_relTitles_scores, oes_data_df)
    #limit the BLS data to the state we want
    all_merged = merged_df[merged_df['area_title']==str(us.states.lookup(location).name)]
 
    #calculate some summary statistics for the time we want
    group_med_emp,group_mean,group_pct10,group_pct25,group_median,group_pct75,group_pct90 = all_merged[['tot_emp','a_mean','a_pct10','a_pct25','a_median','a_pct75','a_pct90']].apply(median_maker)
    row = [title,location,group_med_emp,group_mean,group_pct10,group_pct25, group_median, group_pct75, group_pct90]
    #convert it all to strings so we can combine them all when writing to file
    row_string = [str(x) for x in row]
    return row_string
  except:
    # if it doesnt work for a particular title/state just throw it out, there are enough to make this insignificant
    'do nothing'

这里发生了神奇的事情:

#runs the function and puts the answers in the queue
def worker(row, q):
    ans = job_title_location_matcher(row[0],row[1])
    q.put(ans)
 
# this writes to the file while there are still things that could be in the queue
# this allows for multiple processes to write to the same file without blocking eachother
def listener(q):
  f = open(filename,'wb')
  while 1:
    m = q.get()
    if m =='kill':
        break
    f.write(','.join(m) + 'n')
    f.flush()
  f.close()
 
def main():
  #load all your data, then throw out all unnecessary tables/columns
  filename = 'skill_TEST_POOL.txt'
 
  #sets up the necessary multiprocessing tasks
  manager = Manager()
  q = manager.Queue()
  pool = Pool(cpu_count() + 2)
  watcher = pool.map_async(listener,(q,))
 
  jobs = []
  #titles_states is a dataframe of millions of job titles and states they were found in
  for i in titles_states.iloc:
    job = pool.map_async(worker, (i, q))
    jobs.append(job)
 
  for job in jobs:
    job.get()
  q.put('kill')
  pool.close()
  pool.join()
 
if __name__ == "__main__":
  main()

由于每个数据帧的大小都不同(总共约有100Gb),所以将所有数据都放入内存是不可能的。通过将最终的数据帧逐行写入内存,但从来不在内存中存储完整的数据帧。我们可以完成所有的计算和组合任务。这里的“标准方法”是,我们可以仅仅在“job_title_location_matcher”的末尾编写一个“write_line”方法,但这样每次只会处理一个实例。根据我们需要处理的职位/州的数量,这大概需要2天的时间。而通过multiprocessing,只需2个小时。

虽然读者可能接触不到本教程处理的任务环境,但通过multiprocessing,可以突破许多计算机硬件的限制。本例的工作环境是c3.8xl ubuntu ec2,硬件为32核60Gb内存(虽然这个内存很大,但还是无法一次性放入所有数据)。这里的关键之处是我们在60Gb的内存的机器上有效的处理了约100Gb的数据,同时速度提升了约25倍。通过multiprocessing在多核机器上自动处理大规模的进程,可以有效提高机器的利用率。也许有些读者已经知道了这个方法,但对于其他人,可以通过multiprocessing能带来非常大的收益。顺便说一句,这部分是skill assets in the job-market这篇博文的延续。

Python 相关文章推荐
python3实现ftp服务功能(服务端 For Linux)
Mar 24 Python
python+pillow绘制矩阵盖尔圆简单实例
Jan 16 Python
修复 Django migration 时遇到的问题解决
Jun 14 Python
Python爬虫包BeautifulSoup异常处理(二)
Jun 17 Python
Django model反向关联名称的方法
Dec 15 Python
pyinstaller参数介绍以及总结详解
Jul 12 Python
python修改字典键(key)的方法
Aug 05 Python
Python+Selenium+phantomjs实现网页模拟登录和截图功能(windows环境)
Dec 11 Python
Python中内建模块collections如何使用
May 27 Python
Python如何避免文件同名产生覆盖
Jun 09 Python
python 生成器需注意的小问题
Sep 29 Python
python中Pyqt5使用Qlabel标签播放视频
Apr 22 Python
python连接远程ftp服务器并列出目录下文件的方法
Apr 01 #Python
10种检测Python程序运行时间、CPU和内存占用的方法
Apr 01 #Python
深入Python解释器理解Python中的字节码
Apr 01 #Python
Python中的defaultdict模块和namedtuple模块的简单入门指南
Apr 01 #Python
Python进行数据科学工作的简单入门教程
Apr 01 #Python
10个易被忽视但应掌握的Python基本用法
Apr 01 #Python
用Python制作检测Linux运行信息的工具的教程
Apr 01 #Python
You might like
PHP strtr() 函数使用说明
2008/11/21 PHP
php 字符串中的\n换行符无效、不能换行的解决方法
2014/04/02 PHP
php判断电脑访问、手机访问的例子
2014/05/10 PHP
Prototype使用指南之form.js
2007/01/10 Javascript
一个简单的javascript类定义例子
2009/09/12 Javascript
使用jQuery轻松实现Ajax的实例代码
2010/08/16 Javascript
js获取URL的参数的方法(getQueryString)示例
2013/09/29 Javascript
动态添加option及createElement使用示例
2014/01/26 Javascript
js设置控件的隐藏与显示的两种方法
2014/08/21 Javascript
jQuery 判断图片是否加载完成方法汇总
2015/08/10 Javascript
浅谈JS之iframe中的窗口
2016/09/13 Javascript
NodeJS遍历文件生产文件列表功能示例
2017/01/22 NodeJs
jQuery滑动到底部加载下一页数据的实例代码
2017/05/22 jQuery
Bootstrap输入框组件使用详解
2017/06/09 Javascript
Vue.js添加组件操作示例
2018/06/13 Javascript
微信小程序实现即时通信聊天功能的实例代码
2018/08/17 Javascript
Vue组件间通信方法总结(父子组件、兄弟组件及祖先后代组件间)
2019/04/17 Javascript
python基础知识小结之集合
2015/11/25 Python
解决Tensorflow使用pip安装后没有model目录的问题
2018/06/13 Python
python中pygame安装过程(超级详细)
2019/08/04 Python
Python搭建代理IP池实现存储IP的方法
2019/10/27 Python
Python类和实例的属性机制原理详解
2020/03/21 Python
Redbubble法国:由独立艺术家设计的独特产品
2019/01/08 全球购物
华为的Java面试题
2014/03/07 面试题
公务员培训自我鉴定
2013/09/19 职场文书
军人违纪检讨书
2014/02/04 职场文书
幼儿园家长寄语
2014/04/02 职场文书
初中新生军训方案
2014/05/13 职场文书
成都人事代理协议书
2014/10/25 职场文书
2014年组织部工作总结
2014/11/14 职场文书
2015年计划生育责任书
2015/05/08 职场文书
暖春观后感
2015/06/08 职场文书
赡养老人协议书范本
2015/08/06 职场文书
职业生涯规划书之大学四年
2019/08/07 职场文书
Go 语言结构实例分析
2021/07/04 Golang
深入理解CSS 中 transform matrix矩阵变换问题
2021/08/30 HTML / CSS