用Python读取几十万行文本数据


Posted in Python onDecember 24, 2018

我在使用python读取几十万行的文件中的数据,并构造字典,列表等数据结构时,再访问字典,列表时,一般都会出现内存不够的问题,然后只能循环读取几百行或者一定数量的行数来循环操作。

keyword_list=[line.strip() for line in open("keywords.txt",'r')]
#f1=open("part_wiki_vec.txt",'r')
f1=open("wiki_vectors.txt")
f2=open("result.txt",'w')
i=0
content=f1.readlines()
while i<1150:
 for line in content[300*i:300*(i+1)]:
  line=line.strip().split(' ')
  if line[0] in keyword_list:
   wordvec=' '.join(line)
   print wordvec
   f2.write(wordvec)
  #print line
 i+=1

我是这样读取的

应该还有很多好的方法,比如多线程等等。

做此记录只为了学习

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,谢谢大家对三水点靠木的支持。如果你想了解更多相关内容请查看下面相关链接

Python 相关文章推荐
python实现爬取千万淘宝商品的方法
Jun 30 Python
python爬虫实战之最简单的网页爬虫教程
Aug 13 Python
Python 机器学习库 NumPy入门教程
Apr 19 Python
Python2与Python3的区别实例分析
Apr 11 Python
通过python实现弹窗广告拦截过程详解
Jul 10 Python
python中的&amp;&amp;及||的实现示例
Aug 07 Python
Flask框架 CSRF 保护实现方法详解
Oct 30 Python
Jupyter notebook 启动闪退问题的解决
Apr 13 Python
将keras的h5模型转换为tensorflow的pb模型操作
May 25 Python
python实现录音功能(可随时停止录音)
Oct 26 Python
Python中openpyxl实现vlookup函数的实例
Oct 28 Python
你需要掌握的20个Python常用技巧
Feb 28 Python
python实现flappy bird小游戏
Dec 24 #Python
python实现Flappy Bird源码
Dec 24 #Python
python3安装speech语音模块的方法
Dec 24 #Python
对Python 语音识别框架详解
Dec 24 #Python
python抓取网页内容并进行语音播报的方法
Dec 24 #Python
解决pyttsx3无法封装的问题
Dec 24 #Python
pyttsx3实现中文文字转语音的方法
Dec 24 #Python
You might like
php中文件上传的安全问题
2006/10/09 PHP
PHP循环获取GET和POST值的代码
2008/04/09 PHP
php error_log 函数的使用
2009/04/13 PHP
PHP 超链接 抓取实现代码
2009/06/29 PHP
PHP合并discuz用户脚本的方法
2015/08/04 PHP
PHP生成推广海报的方法分享
2018/04/22 PHP
深入理解JavaScript系列(9) 根本没有“JSON对象”这回事!
2012/01/15 Javascript
js页面跳转的常用方法整理
2013/10/18 Javascript
JS将制定内容复制到剪切板示例代码
2014/02/11 Javascript
PHP PDO操作总结
2014/11/17 Javascript
JavaScript+html5 canvas实现本地截图教程
2020/04/16 Javascript
JavaScript触发onScroll事件的函数节流详解
2016/12/14 Javascript
js实现图片旋转 js滚动鼠标中间对图片放大缩小
2017/07/05 Javascript
Js自定义多选框效果的实例代码
2017/07/05 Javascript
JavaScript实现图片本地预览功能【不用上传至服务器】
2017/09/20 Javascript
浅谈gulp创建完整的项目流程
2017/12/20 Javascript
实时监控input框,实现输入框与下拉框联动的实例
2018/01/23 Javascript
vue实现点击展开点击收起效果
2018/04/27 Javascript
angular6根据environments配置文件更改开发所需要的环境的方法
2019/03/06 Javascript
VUE 自定义组件模板的方法详解
2019/08/30 Javascript
layer.prompt使文本框为空的情况下也能点击确定的方法
2019/09/24 Javascript
python实现的防DDoS脚本
2011/02/08 Python
python实现提取百度搜索结果的方法
2015/05/19 Python
解决Python requests 报错方法集锦
2017/03/19 Python
Python管理Windows服务小脚本
2018/03/12 Python
pandas中的series数据类型详解
2019/07/06 Python
python中web框架的自定义创建
2019/09/08 Python
python 正则表达式贪婪模式与非贪婪模式原理、用法实例分析
2019/10/14 Python
详解Scrapy Redis入门实战
2020/11/18 Python
利用Python实现学生信息管理系统的完整实例
2020/12/30 Python
利用python实现汉诺塔游戏
2021/03/01 Python
在阿尔卑斯山或希腊度过快乐假期:Alpine Elements
2019/12/28 全球购物
消防安全宣传口号
2014/06/10 职场文书
公司员工活动策划方案
2014/08/20 职场文书
Django展示可视化图表的多种方式
2021/04/08 Python
go select编译期的优化处理逻辑使用场景分析
2021/06/28 Golang