用Python读取几十万行文本数据


Posted in Python onDecember 24, 2018

我在使用python读取几十万行的文件中的数据,并构造字典,列表等数据结构时,再访问字典,列表时,一般都会出现内存不够的问题,然后只能循环读取几百行或者一定数量的行数来循环操作。

keyword_list=[line.strip() for line in open("keywords.txt",'r')]
#f1=open("part_wiki_vec.txt",'r')
f1=open("wiki_vectors.txt")
f2=open("result.txt",'w')
i=0
content=f1.readlines()
while i<1150:
 for line in content[300*i:300*(i+1)]:
  line=line.strip().split(' ')
  if line[0] in keyword_list:
   wordvec=' '.join(line)
   print wordvec
   f2.write(wordvec)
  #print line
 i+=1

我是这样读取的

应该还有很多好的方法,比如多线程等等。

做此记录只为了学习

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,谢谢大家对三水点靠木的支持。如果你想了解更多相关内容请查看下面相关链接

Python 相关文章推荐
理解Python中的With语句
Feb 02 Python
Python中的time模块与datetime模块用法总结
Jun 30 Python
Python多线程实现同步的四种方式
May 02 Python
Python实现迭代时使用索引的方法示例
Jun 05 Python
符合语言习惯的 Python 优雅编程技巧【推荐】
Sep 25 Python
Python 实现某个功能每隔一段时间被执行一次的功能方法
Oct 14 Python
python的schedule定时任务模块二次封装方法
Feb 19 Python
Python TestCase中的断言方法介绍
May 02 Python
ipython和python区别详解
Jun 26 Python
python面向对象之类属性和类方法案例分析
Dec 30 Python
Python类中self参数用法详解
Feb 13 Python
详解selenium + chromedriver 被反爬的解决方法
Oct 28 Python
python实现flappy bird小游戏
Dec 24 #Python
python实现Flappy Bird源码
Dec 24 #Python
python3安装speech语音模块的方法
Dec 24 #Python
对Python 语音识别框架详解
Dec 24 #Python
python抓取网页内容并进行语音播报的方法
Dec 24 #Python
解决pyttsx3无法封装的问题
Dec 24 #Python
pyttsx3实现中文文字转语音的方法
Dec 24 #Python
You might like
小偷PHP+Html+缓存
2006/11/25 PHP
php结合正则批量抓取网页中邮箱地址
2015/05/19 PHP
PHP获取星期几的常用方法小结
2018/12/18 PHP
20个非常棒的Jquery实用工具 国外文章
2010/01/01 Javascript
jQuery Flash/MP3/Video多媒体插件
2010/01/18 Javascript
js focus不起作用的解决方法(主要是因为dom元素是否加载完成)
2010/11/05 Javascript
Chosen 基于jquery的选择框插件使用方法
2012/05/30 Javascript
jQuery新的事件绑定机制on()示例应用
2014/07/18 Javascript
使用node.js半年来总结的 10 条经验
2014/08/18 Javascript
JavaScript中发布/订阅模式的简单实例
2014/11/05 Javascript
js日期范围初始化得到前一个月日期的方法
2015/05/05 Javascript
JS数组array元素的添加和删除方法代码实例
2015/06/01 Javascript
前端js文件合并的三种方式推荐
2016/05/19 Javascript
javascript学习笔记_浅谈基础语法,类型,变量
2016/09/19 Javascript
node.js 用socket实现聊天的示例代码
2017/10/17 Javascript
Angularjs Promise实例详解
2018/03/15 Javascript
JS模拟实现哈希表及应用详解
2018/05/04 Javascript
VUE.CLI4.0配置多页面入口的实现
2019/11/25 Javascript
浅析我对JS延迟异步脚本的思考
2020/10/12 Javascript
[00:31]DOTA2荣耀之路7:Miracle-空血无敌斩
2018/05/31 DOTA
python使用in操作符时元组和数组的区别分析
2015/05/19 Python
Python聚类算法之基本K均值实例详解
2015/11/20 Python
Python 文件处理注意事项总结
2017/04/10 Python
python opencv旋转图像(保持图像不被裁减)
2018/07/26 Python
解决pycharm 工具栏Tool中找不到Run manager.py Task的问题
2019/07/01 Python
python面试题之列表声明实例分析
2019/07/08 Python
法国滑雪假期的专家:Ski Planet
2019/11/02 全球购物
怎样自定义一个异常类
2016/09/27 面试题
竞选大队委员演讲稿
2014/04/28 职场文书
学校志愿者活动总结
2014/06/27 职场文书
教师批评与自我批评总结
2014/10/16 职场文书
先进典型事迹材料
2014/12/29 职场文书
2015共产党员公开承诺书
2015/01/22 职场文书
单位考核聘任报告
2015/03/02 职场文书
研究生导师推荐信
2015/03/25 职场文书
2016党员干部政治学习心得体会
2016/01/23 职场文书