用Python读取几十万行文本数据


Posted in Python onDecember 24, 2018

我在使用python读取几十万行的文件中的数据,并构造字典,列表等数据结构时,再访问字典,列表时,一般都会出现内存不够的问题,然后只能循环读取几百行或者一定数量的行数来循环操作。

keyword_list=[line.strip() for line in open("keywords.txt",'r')]
#f1=open("part_wiki_vec.txt",'r')
f1=open("wiki_vectors.txt")
f2=open("result.txt",'w')
i=0
content=f1.readlines()
while i<1150:
 for line in content[300*i:300*(i+1)]:
  line=line.strip().split(' ')
  if line[0] in keyword_list:
   wordvec=' '.join(line)
   print wordvec
   f2.write(wordvec)
  #print line
 i+=1

我是这样读取的

应该还有很多好的方法,比如多线程等等。

做此记录只为了学习

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,谢谢大家对三水点靠木的支持。如果你想了解更多相关内容请查看下面相关链接

Python 相关文章推荐
python3.3实现乘法表示例
Feb 07 Python
Python numpy 点数组去重的实例
Apr 18 Python
Python列表生成式与生成器操作示例
Aug 01 Python
Python爬取个人微信朋友信息操作示例
Aug 03 Python
python使用PIL给图片添加文字生成海报示例
Aug 17 Python
Python后台开发Django的教程详解(启动)
Apr 08 Python
python2 中 unicode 和 str 之间的转换及与python3 str 的区别
Jul 25 Python
给我一面国旗 python帮你实现
Sep 30 Python
使用Python的networkx绘制精美网络图教程
Nov 21 Python
python爬虫开发之selenium模块详细使用方法与实例全解
Mar 09 Python
Python实现自动签到脚本的示例代码
Aug 19 Python
浅谈Python从全局与局部变量到装饰器的相关知识
Jun 21 Python
python实现flappy bird小游戏
Dec 24 #Python
python实现Flappy Bird源码
Dec 24 #Python
python3安装speech语音模块的方法
Dec 24 #Python
对Python 语音识别框架详解
Dec 24 #Python
python抓取网页内容并进行语音播报的方法
Dec 24 #Python
解决pyttsx3无法封装的问题
Dec 24 #Python
pyttsx3实现中文文字转语音的方法
Dec 24 #Python
You might like
一个简单的PHP投票程序源码
2007/03/11 PHP
输入值/表单提交参数过滤有效防止sql注入的方法
2013/12/25 PHP
PHP中4个加速、缓存扩展的区别和选用建议
2014/03/12 PHP
php检测useragent版本示例
2014/03/24 PHP
cakephp打印sql语句的方法
2015/02/13 PHP
php根据用户名和手机号查询是否存在手机号码
2017/02/16 PHP
PHP简单留言本功能实现代码
2017/06/09 PHP
js 点击按钮弹出另一页,选择值后,返回到当前页
2010/05/26 Javascript
JavaScript函数参数使用带参数名的方式赋值传入的方法
2015/03/19 Javascript
javascript中的Function.prototye.bind
2015/06/25 Javascript
JavaScript的removeChild()函数用法详解
2015/12/27 Javascript
详解JavaScript中localStorage使用要点
2016/01/13 Javascript
JS原型链怎么理解
2016/06/27 Javascript
整理关于Bootstrap过渡动画的慕课笔记
2017/03/29 Javascript
vue2 自定义动态组件所遇到的问题
2017/06/08 Javascript
详解Angular5 服务端渲染实战
2018/01/04 Javascript
基于Vue+element-ui 的Table二次封装的实现
2018/07/20 Javascript
在vue项目中引入高德地图及其UI组件的方法
2018/09/04 Javascript
js设置鼠标悬停改变背景色实现详解
2019/06/26 Javascript
javascript json对象小技巧之键名作为变量用法分析
2019/11/11 Javascript
在vue中使用cookie记住用户上次选择的实例(本次例子中为下拉框)
2020/09/11 Javascript
python实现根据主机名字获得所有ip地址的方法
2015/06/28 Python
python从入门到精通(DAY 1)
2015/12/20 Python
Python实现PS图像调整颜色梯度效果示例
2018/01/25 Python
浅析python继承与多重继承
2018/09/13 Python
python求质数列表的例子
2019/11/24 Python
在python tkinter界面中添加按钮的实例
2020/03/04 Python
15个Pythonic的代码示例(值得收藏)
2020/10/29 Python
法国隐形眼镜网站:VisionDirect.fr
2020/03/03 全球购物
自我评价是什么
2014/01/04 职场文书
小学国庆节活动方案
2014/02/11 职场文书
施工材料员岗位职责
2014/02/12 职场文书
党员干部对十八届四中全会的期盼
2014/10/17 职场文书
教师个人事迹材料
2014/12/17 职场文书
祝酒词范文
2015/08/12 职场文书
小学班主任研修日志
2015/11/13 职场文书