Python实现文本文件拆分写入到多个文本文件的方法


Posted in Python onApril 18, 2021

引言

将一个txt文本文件中的内容行拆分固定的行数,自动分批写入到多个文本文件。
比如:一个源txt文件有5100行数据,每1000行插入到一个txt文件,最后获得6个txt文件(5个文本文件有1000行数据,第6个文本文件有100行数据)。

步骤

1、先建立一个目录用于存放分割后的txt文件(这里的目录名为:dataText)
2、修改拆分的数目(这里是每5000行数据存入一个txt文件)
3、运行python文件,查看生成的txt文件

代码

open_diff = open('data.txt', 'r') # 源文本文件
diff_line = open_diff.readlines()

line_list = []
for line in diff_line:
    line_list.append(line)

count = len(line_list) # 文件行数
print('源文件数据行数:',count)
# 切分diff
diff_match_split = [line_list[i:i+5000] for i in range(0,len(line_list),5000)]# 每个文件的数据行数

# 将切分的写入多个txt中
for i,j in zip(range(0,int(count/5000+1)),range(0,int(count/5000+1))): # 写入txt,计算需要写入的文件数
    with open('./dataText/ImageData%d.txt'% j,'w+') as temp:
        for line in diff_match_split[i]:
            temp.write(line)
print('拆分后文件的个数:',i+1)

结果

Python实现文本文件拆分写入到多个文本文件的方法

Python实现文本文件拆分写入到多个文本文件的方法

应用:

将txt文件中的数据拆分成多个文本文件,可以解决由于文本文件数据过大而无法导入某些软件的问。

这里是将一个url文本文件(约15M)导入idm下载url中的内容,但由于文本文件过大,数据量过多,就拆分成多个文本文件分批次导入idm。

注意:
1、程序中的5000为写入每个文件的数据行数,最后一个文件的行数不足5000,也用一个文本文件存储。
2、根据需要,修改存储数据的行数(两个地方的5000都需要修改)。

到此这篇关于Python实现文本文件拆分写入到多个文本文件的方法的文章就介绍到这了,更多相关Python 文本文件拆分内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
实例讲解Python中函数的调用与定义
Mar 14 Python
浅谈python socket函数中,send与sendall的区别与使用方法
May 09 Python
Python导入模块时遇到的错误分析
Aug 30 Python
python OpenCV学习笔记实现二维直方图
Feb 08 Python
python+logging+yaml实现日志分割
Jul 22 Python
pygame编写音乐播放器的实现代码示例
Nov 19 Python
基于Tensorflow批量数据的输入实现方式
Feb 05 Python
python标准库sys和OS的函数使用方法与实例详解
Feb 12 Python
基于TensorBoard中graph模块图结构分析
Feb 15 Python
python中pyplot基础图标函数整理
Nov 10 Python
Django REST Framework 分页(Pagination)详解
Nov 30 Python
如何用python 操作zookeeper
Dec 28 Python
python批量更改目录名/文件名的方法
Apr 18 #Python
python解决12306登录验证码的实现
django注册用邮箱发送验证码的实现
Apr 18 #Python
Python控制台输出俄罗斯方块的方法实例
Apr 17 #Python
python3 实现mysql数据库连接池的示例代码
Python如何利用正则表达式爬取网页信息及图片
Apr 17 #Python
python中sys模块的介绍与实例
Apr 17 #Python
You might like
php中使用ExcelFileParser处理excel获得数据(可作批量导入到数据库使用)
2010/08/21 PHP
PHP setTime 设置当前时间的代码
2012/08/27 PHP
php全角字符转换为半角函数
2014/02/07 PHP
使用PHP开发留言板功能
2019/11/19 PHP
解决php用mysql方式连接数据库出现Deprecated报错问题
2019/12/25 PHP
使用TextRange获取输入框中光标的位
2006/10/14 Javascript
JavaScript高级程序设计 读书笔记之十 本地对象Date日期
2012/02/27 Javascript
学习JavaScript设计模式(策略模式)
2015/11/26 Javascript
JS三级可折叠菜单实现方法
2016/02/29 Javascript
BootStrap智能表单demo示例详解
2016/06/13 Javascript
JavaScript从0开始构思表情插件
2016/07/26 Javascript
手机端图片缩放旋转全屏查看PhotoSwipe.js插件实现
2016/08/25 Javascript
javascript this详细介绍
2016/09/19 Javascript
关于BootStrap modal 在IOS9中不能弹出的解决方法(IOS 9 bootstrap modal ios 9 noticework)
2016/12/14 Javascript
微信小程序 自动登陆PHP源码实例(源码下载)
2017/05/08 Javascript
Nodejs中的JWT和Session的使用
2018/08/21 NodeJs
node.js学习笔记之koa框架和简单爬虫练习
2018/12/13 Javascript
[03:01]完美盛典趣味短片 DOTA2年度最佳&拉胯英雄
2019/12/07 DOTA
通过数据库向Django模型添加字段的示例
2015/07/21 Python
Python使用面向对象方式创建线程实现12306售票系统
2015/12/24 Python
pycharm修改界面主题颜色的方法
2019/01/17 Python
python自制包并用pip免提交到pypi仅安装到本机【推荐】
2019/06/03 Python
Python 进程之间共享数据(全局变量)的方法
2019/07/16 Python
使用Python发现隐藏的wifi
2020/03/04 Python
CSS3制作气泡对话框的实例教程
2016/05/10 HTML / CSS
现代家居用品及礼品:LBC Modern
2018/06/24 全球购物
Bibloo荷兰:女士、男士和儿童的服装、鞋子和配饰
2019/02/25 全球购物
美国领先的个性化礼品商城:Personalization Mall
2019/07/27 全球购物
澳大利亚在线批发商:Simply Wholesale
2021/02/24 全球购物
用Java语言将一个键盘输入的数字转化成中文输出
2013/01/25 面试题
财务部岗位职责
2013/11/19 职场文书
信息服务专业毕业生求职信
2014/03/02 职场文书
党员演讲稿
2014/09/04 职场文书
2014年护士长工作总结
2014/11/11 职场文书
出国导师推荐信
2015/03/25 职场文书
yyds什么意思?90后已经听不懂00后讲话了……
2022/02/03 杂记