浅谈python写入大量文件的问题


Posted in Python onNovember 09, 2018

今天准备把几个txt文件合并成一个文件时,用f.write方法写入时,发现程序执行完了,本应该十万行左右的txt记录,实际上只被写入了4k多行。

网上查了是因为程序执行速度太快,以至于读到内容还没有完全写入文件,文件就已经关闭了

方法一:加入缓冲区

f.flush()
//operation
os.fsync(output)
f.close()

打开文件后执行flush(),关闭文件前执行os.fsync()确保缓冲区的内容都写出去了。

方法二:用sleep

用了上述方法不行,因为我在打开文件后用了迭代输出,可能会让缓冲区爆炸,在循环中加入sleep函数可以确保每次循环都能将内容写入

with open(outputfile,'a') as output:
  for i in all_txt_name:
   f =open(dir+'/'+i)
   for a in f:
    output.write(a)
    time.sleep(0.00000001)
   f.close()

后来发现:

txt文件如果太大,在pycharm中只会显示一小部分,可能是指显示了部分文件导致未以为文件没写进去,fuck

以上这篇浅谈python写入大量文件的问题就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
编写Python脚本批量下载DesktopNexus壁纸的教程
May 06 Python
Python机器学习之scikit-learn库中KNN算法的封装与使用方法
Dec 14 Python
PyQt5 窗口切换与自定义对话框的实例
Jun 20 Python
Python制作微信好友背景墙教程(附完整代码)
Jul 17 Python
Django 用户认证组件使用详解
Jul 23 Python
Python英文文章词频统计(14份剑桥真题词频统计)
Oct 13 Python
python实现将一维列表转换为多维列表(numpy+reshape)
Nov 29 Python
利用pytorch实现对CIFAR-10数据集的分类
Jan 14 Python
python 爬取疫情数据的源码
Feb 09 Python
python模式 工厂模式原理及实例详解
Feb 11 Python
Python post请求实现代码实例
Feb 28 Python
python开发入门——列表生成式
Sep 03 Python
启动Atom并运行python文件的步骤
Nov 09 #Python
Python产生Gnuplot绘图数据的方法
Nov 09 #Python
python pyheatmap包绘制热力图
Nov 09 #Python
Django 视图层(view)的使用
Nov 09 #Python
Python创建一个空的dataframe,并循环赋值的方法
Nov 08 #Python
CentOS 7下安装Python3.6 及遇到的问题小结
Nov 08 #Python
python 高效去重复 支持GB级别大文件的示例代码
Nov 08 #Python
You might like
php防注
2007/01/15 PHP
php中修改浏览器的User-Agent来伪装你的浏览器和操作系统
2011/07/29 PHP
php自动注册登录验证机制实现代码
2011/12/20 PHP
PHP中基于ts与nts版本- vc6和vc9编译版本的区别详解
2013/04/26 PHP
php文件操作相关类实例
2015/06/18 PHP
Javascript里使用Dom操作Xml
2007/01/22 Javascript
图片Slider 带左右按钮的js示例
2013/08/30 Javascript
jquery实现点击文字可编辑并修改保存至数据库
2014/04/15 Javascript
javascript随机显示背景图片的方法
2015/06/18 Javascript
jquery图片轮播特效代码分享
2020/04/20 Javascript
JavaScript设计模式之单体模式全面解析
2016/09/09 Javascript
jQuery 常见小例汇总
2016/12/14 Javascript
静态页面实现 include 引入公用代码的示例
2017/09/25 Javascript
vue 实现剪裁图片并上传服务器功能
2018/03/01 Javascript
使用Node.js写一个代码生成器的方法步骤
2019/05/10 Javascript
python anaconda 安装 环境变量 升级 以及特殊库安装的方法
2017/06/21 Python
Pyinstaller将py打包成exe的实例
2018/03/31 Python
python实现停车管理系统
2018/11/30 Python
对Python实现累加函数的方法详解
2019/01/23 Python
pytorch构建多模型实例
2020/01/15 Python
Python进程Multiprocessing模块原理解析
2020/02/28 Python
PyCharm 无法 import pandas 程序卡住的解决方式
2020/03/09 Python
Python实现获取当前目录下文件名代码详解
2020/03/10 Python
解决pyecharts运行后产生的html文件用浏览器打开空白
2020/03/11 Python
最简单的matplotlib安装教程(小白)
2020/07/28 Python
python如何调用php文件中的函数详解
2020/12/29 Python
Expedia爱尔兰:酒店、机票、租车及廉价假期
2017/01/02 全球购物
英国电动工具购买网站:Anglia Tool Centre
2017/04/25 全球购物
瑜伽服装品牌:露露柠檬(lululemon athletica)
2017/06/04 全球购物
保安员岗位职责
2013/11/17 职场文书
财务会计人员求职的自我评价
2014/01/13 职场文书
小学班级口号
2014/06/09 职场文书
交通志愿者活动总结
2014/06/27 职场文书
小学优秀班主任材料
2014/12/17 职场文书
优质护理心得体会
2016/01/22 职场文书
2016年优秀共产党员先进事迹材料
2016/02/29 职场文书