python读取大文件越来越慢的原因与解决


Posted in Python onAugust 08, 2019

背景:

今天同事写代码,用python读取一个四五百兆的文件,然后做一串逻辑上很直观的处理。结果处理了一天还没有出来结果。问题出在哪里呢?

解决:

1. 同事打印了在不同时间点的时间,在需要的地方插入如下代码:

print time.strftime('%Y-%m-%d %H:%M:%S',time.localtime(time.time()))

发现一个规律,执行速度到后面时间越来越长,也就是处理速度越来越慢。

2. 为什么会越来越慢呢?

1)可能原因1,GC 的问题,有篇文章里面写,python list append 的时候会越来越慢,解决方案是禁止GC:

使用 gc.disable()和gc.enable()

 2)改完上面,仍然不行,然后看到一篇文章里面写,可能是因为 git 导致的,因为append 的时候 git 会不断同步,会出问题,于是删除 .git 文件夹,结果还是不行。

3)继续查询,发下一个及其有可能出问题的地方。dict 的 in dict.key(),判断 key 是否在 dict 里面,这个的效率是非常低的。看到一篇文章比较了效率:

          ① 使用  in dict.keys() 效率:

python读取大文件越来越慢的原因与解决

          ② 使用 has_key()  效率:

python读取大文件越来越慢的原因与解决

发现 has_key() 效率比较稳定。于是修改,问题解决。

后话:

最初的时候,的确是使用 has_key(), 结果后面上传代码的时候,公司代码检查过不了,提示不能使用这个函数,只能改成 in dict.key() 这种方式,为什么公司不让这么传呢?经过一番百度,发现原因所在:在 python3 中,直接将 has_key() 函数给删除了,所以禁止使用。那禁止了该怎么办呢?原来 python 中 in 很智能,能自动判断 key 是否在字典中存在。所以最正规的做法不是 has_key(),   更不是 in dict.keys(), 而是 in dict.  判断 key 在 map 中,千万别用 in dict.keys() !!!

附录:

in、 in dict.keys()、 has_key() 方法实战对比:

>>> a = {'name':"tom", 'age':10, 'Tel':110}
>>> a
{'age': 10, 'Tel': 110, 'name': 'tom'}
>>> print 'age' in a
True
>>> print 'age' in a.keys()
True
>>>
>>> print a.has_key("age")
True

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,谢谢大家对三水点靠木的支持。

参考资料:

Python 相关文章推荐
python网络编程之UDP通信实例(含服务器端、客户端、UDP广播例子)
Apr 25 Python
Python入门篇之字典
Oct 17 Python
在Python中使用列表生成式的教程
Apr 27 Python
python中迭代器(iterator)用法实例分析
Apr 29 Python
Python基础教程之正则表达式基本语法以及re模块
Mar 25 Python
fastcgi文件读取漏洞之python扫描脚本
Apr 23 Python
python简单实例训练(21~30)
Nov 15 Python
mac下如何将python2.7改为python3
Jul 13 Python
python3.5绘制随机漫步图
Aug 27 Python
Python编程flask使用页面模版的方法
Dec 28 Python
Python 实现文件读写、坐标寻址、查找替换功能
Sep 11 Python
Python调用C语言程序方法解析
Jul 07 Python
Python实现Singleton模式的方式详解
Aug 08 #Python
Python判断字符串是否xx开始或结尾的示例
Aug 08 #Python
详解解决Python memory error的问题(四种解决方案)
Aug 08 #Python
Python学习笔记之迭代器和生成器用法实例详解
Aug 08 #Python
pandas 选取行和列数据的方法详解
Aug 08 #Python
pandas 对日期类型数据的处理方法详解
Aug 08 #Python
解决Python设置函数调用超时,进程卡住的问题
Aug 08 #Python
You might like
PHP生成带有雪花背景的验证码
2006/10/09 PHP
PHP中将数组转成XML格式的实现代码
2011/08/08 PHP
检查用户名是否已在mysql中存在的php写法
2014/01/20 PHP
php文件压缩之PHPZip类用法实例
2015/06/18 PHP
PHP根据图片色界在不同位置加水印的方法
2015/07/01 PHP
php redis实现文章发布系统(用户投票系统)
2017/03/04 PHP
Javascript基础教程之数据类型 (数值 Number)
2015/01/18 Javascript
JS实现具备延时功能的滑动门菜单效果
2015/09/17 Javascript
JavaScript必知必会(五) eval 的使用
2016/06/08 Javascript
jquery插件autocomplete用法示例
2016/07/01 Javascript
利用jsonp跨域调用百度js实现搜索框智能提示
2016/08/24 Javascript
关于iframe跨域POST提交的方法示例
2017/01/15 Javascript
在node.js中怎么屏蔽掉favicon.ico的请求
2017/03/01 Javascript
vue的Virtual Dom实现snabbdom解密
2017/05/03 Javascript
详解使用angularjs的ng-options时如何设置默认值(初始值)
2017/07/18 Javascript
小程序根据手机机型设置自定义底部导航距离
2019/06/04 Javascript
解决layer.open后laydate失效的问题
2019/09/06 Javascript
Vue export import 导入导出的多种方式与区别介绍
2020/02/12 Javascript
[01:10:48]完美世界DOTA2联赛PWL S2 GXR vs PXG 第一场 11.18
2020/11/18 DOTA
Python使用 Beanstalkd 做异步任务处理的方法
2018/04/24 Python
python实现梯度下降算法
2020/03/24 Python
Python操作Sonqube API获取检测结果并打印过程解析
2019/11/27 Python
Pytorch 实现权重初始化
2019/12/31 Python
Python unittest单元测试框架实现参数化
2020/04/29 Python
Html5 canvas实现粒子时钟的示例代码
2018/09/06 HTML / CSS
中国领先的专业家电网购平台:国美在线
2016/12/25 全球购物
Nº21官方在线商店:numeroventuno.com
2019/09/26 全球购物
网络技术支持面试题
2013/04/22 面试题
高三历史教学反思
2014/01/09 职场文书
身边的榜样活动方案
2014/08/20 职场文书
2015年父亲节寄语
2015/03/23 职场文书
辣妈辣妹观后感
2015/06/10 职场文书
介绍信应该怎么开?
2019/04/03 职场文书
超详细教你怎么升级Mysql的版本
2021/05/19 MySQL
详解Python类和对象内容
2021/06/22 Python
什么是css原子化,有什么用?
2022/04/24 HTML / CSS