用Python读取几十万行文本数据


Posted in Python onDecember 24, 2018

我在使用python读取几十万行的文件中的数据,并构造字典,列表等数据结构时,再访问字典,列表时,一般都会出现内存不够的问题,然后只能循环读取几百行或者一定数量的行数来循环操作。

keyword_list=[line.strip() for line in open("keywords.txt",'r')]
#f1=open("part_wiki_vec.txt",'r')
f1=open("wiki_vectors.txt")
f2=open("result.txt",'w')
i=0
content=f1.readlines()
while i<1150:
 for line in content[300*i:300*(i+1)]:
  line=line.strip().split(' ')
  if line[0] in keyword_list:
   wordvec=' '.join(line)
   print wordvec
   f2.write(wordvec)
  #print line
 i+=1

我是这样读取的

应该还有很多好的方法,比如多线程等等。

做此记录只为了学习

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,谢谢大家对三水点靠木的支持。如果你想了解更多相关内容请查看下面相关链接

Python 相关文章推荐
使用python调用浏览器并打开一个网址的例子
Jun 05 Python
python模块导入的细节详解
Dec 10 Python
python解析含有重复key的json方法
Jan 22 Python
python简单贪吃蛇开发
Jan 28 Python
pandas DataFrame创建方法的方式
Aug 02 Python
pytorch中nn.Conv1d的用法详解
Dec 31 Python
pytorch的batch normalize使用详解
Jan 15 Python
python多进程使用函数封装实例
May 02 Python
python调用私有属性的方法总结
Jul 24 Python
Python自动发送和收取邮件的方法
Aug 12 Python
降低python版本的操作方法
Sep 11 Python
Python数组变形的几种实现方法
May 30 Python
python实现flappy bird小游戏
Dec 24 #Python
python实现Flappy Bird源码
Dec 24 #Python
python3安装speech语音模块的方法
Dec 24 #Python
对Python 语音识别框架详解
Dec 24 #Python
python抓取网页内容并进行语音播报的方法
Dec 24 #Python
解决pyttsx3无法封装的问题
Dec 24 #Python
pyttsx3实现中文文字转语音的方法
Dec 24 #Python
You might like
php自定义加密与解密程序实例
2014/12/31 PHP
php多线程实现方法及用法实例详解
2015/10/26 PHP
php使用FFmpeg接口获取视频的播放时长、码率、缩略图以及创建时间
2016/11/07 PHP
php获取今日开始时间和结束时间的方法
2017/02/27 PHP
Laravel中如何轻松容易的输出完整的SQL语句
2020/07/26 PHP
利用谷歌地图API获取点与点的距离的js代码
2012/10/11 Javascript
Javascript 鼠标移动上去 滑块跟随效果代码分享
2013/11/23 Javascript
Jquery使用Firefox FireBug插件调试Ajax步骤讲解
2013/12/02 Javascript
JavaScript定义类的几种方式总结
2014/01/06 Javascript
js实现的GridView即表头固定表体有滚动条且可滚动
2014/02/19 Javascript
js动态切换图片的方法
2015/01/20 Javascript
JavaScript中的方法重载实例
2015/03/16 Javascript
Javascript 计算字符串在localStorage中所占字节数
2015/10/21 Javascript
基于JavaScript实现单选框下拉菜单添加文件效果
2016/06/26 Javascript
在百度搜索结果中去除掉一些网站的资料(通过js控制不让显示)
2017/05/02 Javascript
JavaScript的Object.defineProperty详解
2018/07/09 Javascript
详解JS判断页面是在手机端还是在PC端打开的方法
2019/04/26 Javascript
python实现的一只从百度开始不断搜索的小爬虫
2013/08/13 Python
利用Python的Flask框架来构建一个简单的数字商品支付解决方案
2015/03/31 Python
使用SAE部署Python运行环境的教程
2015/05/05 Python
python实现生命游戏的示例代码(Game of Life)
2018/01/24 Python
python实现串口自动触发工作的示例
2019/07/02 Python
如何安装并在pycharm使用selenium的方法
2020/04/30 Python
Python 将 QQ 好友头像生成祝福语的实现代码
2020/05/03 Python
keras model.fit 解决validation_spilt=num 的问题
2020/06/19 Python
CSS3实现可爱的小黄人动画
2016/07/11 HTML / CSS
Monica Vinader官网:英国轻奢珠宝品牌
2020/02/05 全球购物
南京迈特望C/C++面试题
2012/07/09 面试题
中学实习教师自我鉴定
2013/12/12 职场文书
市场营销专业毕业生求职信
2014/03/26 职场文书
2014年五四青年节演讲比赛方案
2014/04/22 职场文书
公司投资建议书
2014/05/16 职场文书
三孔导游词
2015/02/05 职场文书
清洁工个人总结
2015/03/04 职场文书
应届毕业生求职信范文
2015/03/19 职场文书
zabbix 代理服务器的部署与 zabbix-snmp 监控问题
2022/07/15 Servers