Python如何处理大数据?3个技巧效率提升攻略(推荐)


Posted in Python onApril 15, 2019

如果你有个5、6 G 大小的文件,想把文件内容读出来做一些处理然后存到另外的文件去,你会使用什么进行处理呢?不用在线等,给几个错误示范:有人用multiprocessing 处理,但是效率非常低。于是,有人用python处理大文件还是会存在效率上的问题。因为效率只是和预期的时间有关,不会报错,报错代表程序本身出现问题了~

所以,为什么用python处理大文件总有效率问题?

如果工作需要,立刻处理一个大文件,你需要注意两点:

01、大型文件的读取效率

面对100w行的大型数据,经过测试各种文件读取方式,得出结论:

with open(filename,"rb") as f:
 for fLine in f:
 pass

方式最快,100w行全遍历2.7秒。

基本满足中大型文件处理效率需求。如果rb改为r,慢6倍。但是此方式处理文件,fLine为bytes类型。但是python自行断行,仍旧能很好的以行为单位处理读取内容。

02、文本处理效率问题

这里举例ascii定长文件,因为这个也并不是分隔符文件,所以打算采用列表操作实现数据分割。但是问题是处理20w条数据,时间急剧上升到12s。本以为是byte.decode增加了时间。遂去除decode全程bytes处理。但是发现效率还是很差。

最后用最简单方式测试,首次运行,最简单方式也要7.5秒100w次。

想知道这个方式处理的完整代码是什么吗?扫描文末二维码,联系小编可以获取哦~

那么关于python处理大文件的技巧,从网络整理三点:列表、文件属性、字典三个点来看看。

1.列表处理

def fun(x):尽量选择集合、字典数据类型,千万不要选择列表,列表的查询速度会超级慢,同样的,在已经使用集合或字典的情况下,不要再转化成列表进行操作,比如:

values_count = 0
# 不要用这种的
if values in dict.values():
 values_count += 1
# 尽量用这种的
if keys,values in dict:
 values_count += 1

后者的速度会比前者快好多好多。

2. 对于文件属性

如果遇到某个文件,其中有属性相同的,但又不能进行去重操作,没有办法使用集合或字典时,可以增加属性,比如将原数据重新映射出一列计数属性,让每一条属性具有唯一性,从而可以用字典或集合处理:

return '(' + str(x) + ', 1)'
list(map(fun,[1,2,3]))

使用map函数将多个相同属性增加不同项。

3. 对于字典

多使用iteritems()少使用items(),iteritems()返回迭代器:

>>> d = {'a':1,'b':2}
>>> for i in d.items() :
.... print i
('a',1)
('b',2)
>>> for k,v in d.iteritems() :
... print k,v
('a',1)
('b',2)

字典的items函数返回的是键值对的元组的列表,而iteritems使用的是键值对的generator,items当使用时会调用整个列表 iteritems当使用时只会调用值。

除了以下5个python使用模块,你还有什么技巧解决大文件运行效率的问题吗?深入了解更多Python实用模块,快速提升工作效率~

读写文件技术,今后会用到测试数据的参数化和测试报告写作功能中~

数据处理技术,今后测试脚本的测试数据处理过程可以用到~

数据统计分析技术,今后会在测试结果分析中用到

图表展示技术,在今后的测试框架中相关测试报告会用到

程序自动触发技术,可用于测试脚本程序的自动执行。

以上所述是小编给大家介绍的Python如何处理大数据?3个技巧效率提升攻略详解整合,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对三水点靠木网站的支持!

Python 相关文章推荐
web.py在模板中输出美元符号的方法
Aug 26 Python
Django与JS交互的示例代码
Aug 23 Python
python绘制立方体的方法
Jul 02 Python
Python绘制的二项分布概率图示例
Aug 22 Python
PyQt5创建一个新窗口的实例
Jun 20 Python
解决pyecharts在jupyter notebook中使用报错问题
Apr 23 Python
详解Python 4.0 预计推出的新功能
Jul 26 Python
详解一种用django_cache实现分布式锁的方式
Sep 01 Python
TensorFlow tf.nn.conv2d实现卷积的方式
Jan 03 Python
Python3中FuzzyWuzzy库实例用法
Nov 18 Python
用python开发一款操作MySQL的小工具
May 12 Python
Python列表的索引与切片
Apr 07 Python
Python利用lxml模块爬取豆瓣读书排行榜的方法与分析
Apr 15 #Python
Python常见读写文件操作实例总结【文本、json、csv、pdf等】
Apr 15 #Python
10招!看骨灰级Pythoner玩转Python的方法
Apr 15 #Python
Python后台开发Django会话控制的实现
Apr 15 #Python
浅析Python 实现一个自动化翻译和替换的工具
Apr 14 #Python
提升Python程序性能的7个习惯
Apr 14 #Python
Python根据当前日期取去年同星期日期
Apr 14 #Python
You might like
php操作sqlserver关于时间日期读取的小小见解
2009/11/29 PHP
php编程每天必学之表单验证
2016/03/01 PHP
PHP检查网站是否宕机的方法示例
2017/07/24 PHP
EditPlus注册码生成器(js代码实现)
2013/03/25 Javascript
javascript实现相同事件名称,不同命名空间的调用方法
2015/06/26 Javascript
JavaScript实现可拖拽的拖动层Div实例
2015/08/05 Javascript
Vue.js实现拖放效果的实例
2016/09/30 Javascript
jquery延迟对象解析
2016/10/26 Javascript
JS实现的点击表头排序功能示例
2017/03/27 Javascript
JS路由跳转的简单实现代码
2017/09/21 Javascript
element-ui 中的table的列隐藏问题解决
2018/08/24 Javascript
利用Bootstrap Multiselect实现下拉框多选功能
2019/04/08 Javascript
jQuery位置选择器用法实例分析
2019/06/28 jQuery
Node.JS发送http请求批量检查文件中的网页地址、服务是否有效可用
2019/11/20 Javascript
Vue封装全局过滤器Filters的步骤
2020/09/16 Javascript
python教程之用py2exe将PY文件转成EXE文件
2014/06/12 Python
Python实现的石头剪子布代码分享
2014/08/22 Python
python3 图片referer防盗链的实现方法
2018/03/12 Python
django 修改server端口号的方法
2018/05/14 Python
Anaconda下配置python+opencv+contribx的实例讲解
2018/08/06 Python
用Python编写一个简单的CS架构后门的方法
2018/11/20 Python
Python openpyxl 遍历所有sheet 查找特定字符串的方法
2018/12/10 Python
基于python实现雪花算法过程详解
2019/11/16 Python
tensorflow之获取tensor的shape作为max_pool的ksize实例
2020/01/04 Python
python实现启动一个外部程序,并且不阻塞当前进程
2020/12/05 Python
通用的Django注册功能模块实现方法
2021/02/05 Python
Farfetch巴西官网:奢侈品牌时尚购物平台
2020/10/19 全球购物
施华洛世奇中国官网:SWAROVSKI中国
2020/06/16 全球购物
公共事业管理本科生求职信
2013/10/07 职场文书
最新茶叶店创业计划书
2014/01/14 职场文书
幼儿教师研修感言
2014/02/12 职场文书
三严三实民主生活会发言稿
2014/10/13 职场文书
岗位职责范本大全
2015/02/26 职场文书
运动会宣传稿100字
2015/07/23 职场文书
六一儿童节园长致辞
2015/07/31 职场文书
排查并解决MySQL生产库内存使用率高的报警
2022/04/11 MySQL