Python如何处理大数据?3个技巧效率提升攻略(推荐)


Posted in Python onApril 15, 2019

如果你有个5、6 G 大小的文件,想把文件内容读出来做一些处理然后存到另外的文件去,你会使用什么进行处理呢?不用在线等,给几个错误示范:有人用multiprocessing 处理,但是效率非常低。于是,有人用python处理大文件还是会存在效率上的问题。因为效率只是和预期的时间有关,不会报错,报错代表程序本身出现问题了~

所以,为什么用python处理大文件总有效率问题?

如果工作需要,立刻处理一个大文件,你需要注意两点:

01、大型文件的读取效率

面对100w行的大型数据,经过测试各种文件读取方式,得出结论:

with open(filename,"rb") as f:
 for fLine in f:
 pass

方式最快,100w行全遍历2.7秒。

基本满足中大型文件处理效率需求。如果rb改为r,慢6倍。但是此方式处理文件,fLine为bytes类型。但是python自行断行,仍旧能很好的以行为单位处理读取内容。

02、文本处理效率问题

这里举例ascii定长文件,因为这个也并不是分隔符文件,所以打算采用列表操作实现数据分割。但是问题是处理20w条数据,时间急剧上升到12s。本以为是byte.decode增加了时间。遂去除decode全程bytes处理。但是发现效率还是很差。

最后用最简单方式测试,首次运行,最简单方式也要7.5秒100w次。

想知道这个方式处理的完整代码是什么吗?扫描文末二维码,联系小编可以获取哦~

那么关于python处理大文件的技巧,从网络整理三点:列表、文件属性、字典三个点来看看。

1.列表处理

def fun(x):尽量选择集合、字典数据类型,千万不要选择列表,列表的查询速度会超级慢,同样的,在已经使用集合或字典的情况下,不要再转化成列表进行操作,比如:

values_count = 0
# 不要用这种的
if values in dict.values():
 values_count += 1
# 尽量用这种的
if keys,values in dict:
 values_count += 1

后者的速度会比前者快好多好多。

2. 对于文件属性

如果遇到某个文件,其中有属性相同的,但又不能进行去重操作,没有办法使用集合或字典时,可以增加属性,比如将原数据重新映射出一列计数属性,让每一条属性具有唯一性,从而可以用字典或集合处理:

return '(' + str(x) + ', 1)'
list(map(fun,[1,2,3]))

使用map函数将多个相同属性增加不同项。

3. 对于字典

多使用iteritems()少使用items(),iteritems()返回迭代器:

>>> d = {'a':1,'b':2}
>>> for i in d.items() :
.... print i
('a',1)
('b',2)
>>> for k,v in d.iteritems() :
... print k,v
('a',1)
('b',2)

字典的items函数返回的是键值对的元组的列表,而iteritems使用的是键值对的generator,items当使用时会调用整个列表 iteritems当使用时只会调用值。

除了以下5个python使用模块,你还有什么技巧解决大文件运行效率的问题吗?深入了解更多Python实用模块,快速提升工作效率~

读写文件技术,今后会用到测试数据的参数化和测试报告写作功能中~

数据处理技术,今后测试脚本的测试数据处理过程可以用到~

数据统计分析技术,今后会在测试结果分析中用到

图表展示技术,在今后的测试框架中相关测试报告会用到

程序自动触发技术,可用于测试脚本程序的自动执行。

以上所述是小编给大家介绍的Python如何处理大数据?3个技巧效率提升攻略详解整合,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对三水点靠木网站的支持!

Python 相关文章推荐
python中的实例方法、静态方法、类方法、类变量和实例变量浅析
Apr 26 Python
Python FTP操作类代码分享
May 13 Python
在Python中操作字典之fromkeys()方法的使用
May 21 Python
简单实现python爬虫功能
Dec 31 Python
python生成验证码图片代码分享
Jan 28 Python
Python基础语法(Python基础知识点)
Feb 28 Python
Python新手入门最容易犯的错误总结
Apr 24 Python
详解TensorFlow在windows上安装与简单示例
Mar 05 Python
解决python文件双击运行秒退的问题
Jun 24 Python
如何使用Python脚本实现文件拷贝
Nov 20 Python
Django获取model中的字段名和字段的verbose_name方式
May 19 Python
python元组打包和解包过程详解
Aug 02 Python
Python利用lxml模块爬取豆瓣读书排行榜的方法与分析
Apr 15 #Python
Python常见读写文件操作实例总结【文本、json、csv、pdf等】
Apr 15 #Python
10招!看骨灰级Pythoner玩转Python的方法
Apr 15 #Python
Python后台开发Django会话控制的实现
Apr 15 #Python
浅析Python 实现一个自动化翻译和替换的工具
Apr 14 #Python
提升Python程序性能的7个习惯
Apr 14 #Python
Python根据当前日期取去年同星期日期
Apr 14 #Python
You might like
php.ini 配置文件的深入解析
2013/06/17 PHP
PHP队列用法实例
2014/11/05 PHP
ci检测是ajax还是页面post提交数据的方法
2014/11/10 PHP
经典PHP加密解密函数Authcode()修复版代码
2015/04/05 PHP
PHP 类与构造函数解析
2017/02/06 PHP
thinkPHP5.0框架环境变量配置方法
2017/03/17 PHP
PHP简单实现防止SQL注入的方法
2018/03/13 PHP
文本框input聚焦失焦样式实现代码
2012/10/12 Javascript
js判断输入是否为数字的具体实例
2013/08/03 Javascript
JavaScript中变量声明有var和没var的区别示例介绍
2014/09/15 Javascript
使用jQuery mobile库检测url绝对地址和相对地址的方法
2015/12/04 Javascript
BootStrap智能表单实战系列(三)分块表单配置详解
2016/06/13 Javascript
javascript实现随机生成DIV背景色
2016/06/20 Javascript
利用vue写todolist单页应用
2016/12/15 Javascript
Vue.js学习笔记之修饰符详解
2017/07/25 Javascript
使用SVG基本操作API的实例讲解
2017/09/14 Javascript
[01:09]DOTA2次级职业联赛 - 99战队宣传片
2014/12/01 DOTA
使用Python3制作TCP端口扫描器
2017/04/17 Python
python实现给微信公众号发送消息的方法
2017/06/30 Python
python 随机数使用方法,推导以及字符串,双色球小程序实例
2017/09/12 Python
Python之pandas读写文件乱码的解决方法
2018/04/20 Python
对Tensorflow中的矩阵运算函数详解
2018/07/27 Python
django_orm查询性能优化方法
2018/08/20 Python
24式加速你的Python(小结)
2019/06/13 Python
opencv python Canny边缘提取实现过程解析
2020/02/03 Python
Python Socketserver实现FTP文件上传下载代码实例
2020/03/27 Python
keras中模型训练class_weight,sample_weight区别说明
2020/05/23 Python
Docker如何部署Python项目的实现详解
2020/10/26 Python
缅甸网上购物:Shop.com.mm
2017/12/05 全球购物
英国玛莎百货新西兰:Marks & Spencer New Zealand
2019/07/21 全球购物
工商管理系学生的自我评价分享
2013/11/29 职场文书
公司市场部岗位职责
2013/12/02 职场文书
求职信写作要突出重点
2014/01/01 职场文书
公司新年寄语
2014/04/04 职场文书
Nginx+SpringBoot实现负载均衡的示例
2021/03/31 Servers
Windows11插耳机没反应怎么办? win11耳机没声音的多种解决办法
2021/11/21 数码科技