Python实现文本文件拆分写入到多个文本文件的方法


Posted in Python onApril 18, 2021

引言

将一个txt文本文件中的内容行拆分固定的行数,自动分批写入到多个文本文件。
比如:一个源txt文件有5100行数据,每1000行插入到一个txt文件,最后获得6个txt文件(5个文本文件有1000行数据,第6个文本文件有100行数据)。

步骤

1、先建立一个目录用于存放分割后的txt文件(这里的目录名为:dataText)
2、修改拆分的数目(这里是每5000行数据存入一个txt文件)
3、运行python文件,查看生成的txt文件

代码

open_diff = open('data.txt', 'r') # 源文本文件
diff_line = open_diff.readlines()

line_list = []
for line in diff_line:
    line_list.append(line)

count = len(line_list) # 文件行数
print('源文件数据行数:',count)
# 切分diff
diff_match_split = [line_list[i:i+5000] for i in range(0,len(line_list),5000)]# 每个文件的数据行数

# 将切分的写入多个txt中
for i,j in zip(range(0,int(count/5000+1)),range(0,int(count/5000+1))): # 写入txt,计算需要写入的文件数
    with open('./dataText/ImageData%d.txt'% j,'w+') as temp:
        for line in diff_match_split[i]:
            temp.write(line)
print('拆分后文件的个数:',i+1)

结果

Python实现文本文件拆分写入到多个文本文件的方法

Python实现文本文件拆分写入到多个文本文件的方法

应用:

将txt文件中的数据拆分成多个文本文件,可以解决由于文本文件数据过大而无法导入某些软件的问。

这里是将一个url文本文件(约15M)导入idm下载url中的内容,但由于文本文件过大,数据量过多,就拆分成多个文本文件分批次导入idm。

注意:
1、程序中的5000为写入每个文件的数据行数,最后一个文件的行数不足5000,也用一个文本文件存储。
2、根据需要,修改存储数据的行数(两个地方的5000都需要修改)。

到此这篇关于Python实现文本文件拆分写入到多个文本文件的方法的文章就介绍到这了,更多相关Python 文本文件拆分内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
Python实现的金山快盘的签到程序
Jan 17 Python
Python利用多进程将大量数据放入有限内存的教程
Apr 01 Python
详解Django中的权限和组以及消息
Jul 23 Python
Python中内置的日志模块logging用法详解
Jul 12 Python
python 第三方库的安装及pip的使用详解
May 11 Python
windows下python连接oracle数据库
Jun 07 Python
Python 编码规范(Google Python Style Guide)
May 05 Python
使用Python实现企业微信的自动打卡功能
Apr 30 Python
Django中ORM找出内容不为空的数据实例
May 20 Python
Django model重写save方法及update踩坑详解
Jul 27 Python
python 实现图片裁剪小工具
Feb 02 Python
如何将numpy二维数组中的np.nan值替换为指定的值
May 14 Python
python批量更改目录名/文件名的方法
Apr 18 #Python
python解决12306登录验证码的实现
django注册用邮箱发送验证码的实现
Apr 18 #Python
Python控制台输出俄罗斯方块的方法实例
Apr 17 #Python
python3 实现mysql数据库连接池的示例代码
Python如何利用正则表达式爬取网页信息及图片
Apr 17 #Python
python中sys模块的介绍与实例
Apr 17 #Python
You might like
PHP连接MYSQL数据库实例代码
2016/01/20 PHP
php session实现多级目录存放实现代码
2016/02/03 PHP
拖动布局之保存布局页面cookies篇
2010/10/29 Javascript
web基于浏览器的本地存储方法应用
2012/11/27 Javascript
教你用AngularJS框架一行JS代码实现控件验证效果
2014/06/23 Javascript
node中socket.io的事件使用详解
2014/12/15 Javascript
Jquery实现弹性滑块滑动选择数值插件
2015/08/08 Javascript
原生JS和jQuery版实现文件上传功能
2016/04/18 Javascript
js html5 css俄罗斯方块游戏再现
2016/10/17 Javascript
jquery利用json实现页面之间传值的实例解析
2016/12/12 Javascript
jQuery实现用户输入自动完成功能
2017/02/13 Javascript
jQuery插件HighCharts绘制2D柱状图、折线图和饼图的组合图效果示例【附demo源码下载】
2017/03/09 Javascript
使用clipboard.js实现复制功能的示例代码
2017/10/16 Javascript
vue按需加载组件webpack require.ensure的方法
2017/12/13 Javascript
javaScript实现鼠标在文字上悬浮时弹出悬浮层效果
2020/04/12 Javascript
webpack4 处理CSS的方法示例
2018/09/03 Javascript
JS原生带缩略图的图片切换效果
2018/10/10 Javascript
layui之table checkbox初始化时选中对应选项的方法
2019/09/02 Javascript
[57:41]Secret vs Serenity 2018国际邀请赛小组赛BO2 第一场 8.16
2018/08/17 DOTA
Python实现判断字符串中包含某个字符的判断函数示例
2018/01/08 Python
Python延时操作实现方法示例
2018/08/14 Python
Python实现的对本地host127.0.0.1主机进行扫描端口功能示例
2019/02/15 Python
树莓派采用socket方式文件传输(python)
2019/06/22 Python
selenium+Chrome滑动验证码破解二(某某网站)
2019/12/17 Python
python中实现词云图的示例
2020/12/19 Python
Wiggle中国:英国骑行、跑步、游泳 & 铁三运动装备专卖网店
2016/08/02 全球购物
mysql的最长数据库名,表名,字段名可以是多长
2014/04/21 面试题
租房协议书怎么写
2014/04/10 职场文书
滞留工资返还协议书
2014/10/19 职场文书
调任通知
2015/04/21 职场文书
检举信的写法
2019/04/10 职场文书
《合作意向书》怎么写?
2019/08/20 职场文书
解决Tkinter中button按钮未按却主动执行command函数的问题
2021/05/23 Python
分析ZooKeeper分布式锁的实现
2021/06/30 Java/Android
JS轻量级函数式编程实现XDM三
2022/06/16 Javascript
浅谈Redis变慢的原因及排查方法
2022/06/21 Redis