Python实现文本文件拆分写入到多个文本文件的方法


Posted in Python onApril 18, 2021

引言

将一个txt文本文件中的内容行拆分固定的行数,自动分批写入到多个文本文件。
比如:一个源txt文件有5100行数据,每1000行插入到一个txt文件,最后获得6个txt文件(5个文本文件有1000行数据,第6个文本文件有100行数据)。

步骤

1、先建立一个目录用于存放分割后的txt文件(这里的目录名为:dataText)
2、修改拆分的数目(这里是每5000行数据存入一个txt文件)
3、运行python文件,查看生成的txt文件

代码

open_diff = open('data.txt', 'r') # 源文本文件
diff_line = open_diff.readlines()

line_list = []
for line in diff_line:
    line_list.append(line)

count = len(line_list) # 文件行数
print('源文件数据行数:',count)
# 切分diff
diff_match_split = [line_list[i:i+5000] for i in range(0,len(line_list),5000)]# 每个文件的数据行数

# 将切分的写入多个txt中
for i,j in zip(range(0,int(count/5000+1)),range(0,int(count/5000+1))): # 写入txt,计算需要写入的文件数
    with open('./dataText/ImageData%d.txt'% j,'w+') as temp:
        for line in diff_match_split[i]:
            temp.write(line)
print('拆分后文件的个数:',i+1)

结果

Python实现文本文件拆分写入到多个文本文件的方法

Python实现文本文件拆分写入到多个文本文件的方法

应用:

将txt文件中的数据拆分成多个文本文件,可以解决由于文本文件数据过大而无法导入某些软件的问。

这里是将一个url文本文件(约15M)导入idm下载url中的内容,但由于文本文件过大,数据量过多,就拆分成多个文本文件分批次导入idm。

注意:
1、程序中的5000为写入每个文件的数据行数,最后一个文件的行数不足5000,也用一个文本文件存储。
2、根据需要,修改存储数据的行数(两个地方的5000都需要修改)。

到此这篇关于Python实现文本文件拆分写入到多个文本文件的方法的文章就介绍到这了,更多相关Python 文本文件拆分内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
python备份文件的脚本
Aug 11 Python
python2.7删除文件夹和删除文件代码实例
Dec 18 Python
Python生成验证码实例
Aug 21 Python
Python利用多进程将大量数据放入有限内存的教程
Apr 01 Python
Python实现分割文件及合并文件的方法
Jul 10 Python
浅谈Python中chr、unichr、ord字符函数之间的对比
Jun 16 Python
win7+Python3.5下scrapy的安装方法
Jul 31 Python
python 格式化输出百分号的方法
Jan 20 Python
最新2019Pycharm安装教程 亲测
Feb 28 Python
Django中F函数的使用示例代码详解
Jul 06 Python
Python 高效编程技巧分享
Sep 10 Python
Python语言中的数据类型-序列
Feb 24 Python
python批量更改目录名/文件名的方法
Apr 18 #Python
python解决12306登录验证码的实现
django注册用邮箱发送验证码的实现
Apr 18 #Python
Python控制台输出俄罗斯方块的方法实例
Apr 17 #Python
python3 实现mysql数据库连接池的示例代码
Python如何利用正则表达式爬取网页信息及图片
Apr 17 #Python
python中sys模块的介绍与实例
Apr 17 #Python
You might like
PHP 遍历文件实现代码
2011/05/04 PHP
php像数组一样存取和修改字符串字符
2014/03/21 PHP
php通过array_merge()函数合并关联和非关联数组的方法
2015/03/18 PHP
Laravel Intervention/image图片处理扩展包的安装、使用与可能遇到的坑详解
2017/11/14 PHP
javascript下有关dom以及xml节点访问兼容问题
2007/11/26 Javascript
轻松学习Javascript闭包函数
2015/12/15 Javascript
为什么JavaScript没有块级作用域
2016/05/22 Javascript
详细谈谈AngularJS的子级作用域问题
2016/09/05 Javascript
seajs模块之间依赖的加载以及模块的执行
2016/10/21 Javascript
Javascript实现购物车功能的详细代码
2018/05/08 Javascript
javascript的惯性运动实现代码实例
2019/09/07 Javascript
微信小程序实现手指拖动选项排序
2020/04/22 Javascript
[03:17]2014DOTA2 国际邀请赛中国区预选赛 四强专访
2014/05/23 DOTA
python处理文本文件并生成指定格式的文件
2014/07/31 Python
编写简单的Python程序来判断文本的语种
2015/04/07 Python
Python实现Sqlite将字段当做索引进行查询的方法
2016/07/21 Python
Python中的日期时间处理详解
2016/11/17 Python
python 数据提取及拆分的实现代码
2019/08/26 Python
python中open函数的基本用法示例
2019/09/07 Python
Python进程的通信Queue、Pipe实例分析
2020/03/30 Python
Django在Model保存前记录日志实例
2020/05/14 Python
Python pip安装第三方库实现过程解析
2020/07/09 Python
浅析与CSS3的loading动画加载相关的transition优化
2015/05/18 HTML / CSS
CSS中越界问题的经典解决方案【推荐】
2016/04/19 HTML / CSS
澳大利亚最大的护发和护肤品购物网站:RY
2019/12/26 全球购物
什么是Oracle的后台进程background processes?都有哪些后台进程?
2012/04/26 面试题
js正则匹配markdown里的图片标签的实现
2021/03/24 Javascript
高一军训的心得体会
2014/09/01 职场文书
单位实习工作证明怎么写
2014/11/02 职场文书
华山导游词
2015/02/03 职场文书
毕业纪念册寄语大全
2015/02/26 职场文书
调解协议书范本
2016/03/21 职场文书
MySQL令人咋舌的隐式转换
2021/04/05 MySQL
HTML速写之Emmet语法规则的实现
2021/04/07 HTML / CSS
铁头也玩根德 YachtBoy YB-230......
2022/04/05 无线电
MySQL数据库如何查看表占用空间大小
2022/06/10 MySQL