Python实现文本文件拆分写入到多个文本文件的方法


Posted in Python onApril 18, 2021

引言

将一个txt文本文件中的内容行拆分固定的行数,自动分批写入到多个文本文件。
比如:一个源txt文件有5100行数据,每1000行插入到一个txt文件,最后获得6个txt文件(5个文本文件有1000行数据,第6个文本文件有100行数据)。

步骤

1、先建立一个目录用于存放分割后的txt文件(这里的目录名为:dataText)
2、修改拆分的数目(这里是每5000行数据存入一个txt文件)
3、运行python文件,查看生成的txt文件

代码

open_diff = open('data.txt', 'r') # 源文本文件
diff_line = open_diff.readlines()

line_list = []
for line in diff_line:
    line_list.append(line)

count = len(line_list) # 文件行数
print('源文件数据行数:',count)
# 切分diff
diff_match_split = [line_list[i:i+5000] for i in range(0,len(line_list),5000)]# 每个文件的数据行数

# 将切分的写入多个txt中
for i,j in zip(range(0,int(count/5000+1)),range(0,int(count/5000+1))): # 写入txt,计算需要写入的文件数
    with open('./dataText/ImageData%d.txt'% j,'w+') as temp:
        for line in diff_match_split[i]:
            temp.write(line)
print('拆分后文件的个数:',i+1)

结果

Python实现文本文件拆分写入到多个文本文件的方法

Python实现文本文件拆分写入到多个文本文件的方法

应用:

将txt文件中的数据拆分成多个文本文件,可以解决由于文本文件数据过大而无法导入某些软件的问。

这里是将一个url文本文件(约15M)导入idm下载url中的内容,但由于文本文件过大,数据量过多,就拆分成多个文本文件分批次导入idm。

注意:
1、程序中的5000为写入每个文件的数据行数,最后一个文件的行数不足5000,也用一个文本文件存储。
2、根据需要,修改存储数据的行数(两个地方的5000都需要修改)。

到此这篇关于Python实现文本文件拆分写入到多个文本文件的方法的文章就介绍到这了,更多相关Python 文本文件拆分内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
Python UnicodeEncodeError: 'gbk' codec can't encode character 解决方法
Apr 24 Python
Python实现登录接口的示例代码
Jul 21 Python
Python日期的加减等操作的示例
Aug 15 Python
Python实现决策树C4.5算法的示例
May 30 Python
浅谈PySpark SQL 相关知识介绍
Jun 14 Python
Django ORM多对多查询方法(自定义第三张表&ManyToManyField)
Aug 09 Python
Python定时任务随机时间执行的实现方法
Aug 14 Python
Python通过Manager方式实现多个无关联进程共享数据的实现
Nov 07 Python
使用Python实现分别输出每个数组
Dec 06 Python
解决pycharm最左侧Tool Buttons显示不全的问题
Dec 17 Python
opencv 图像滤波(均值,方框,高斯,中值)
Jul 08 Python
Python实现邮件发送的详细设置方法(遇到问题)
Jan 18 Python
python批量更改目录名/文件名的方法
Apr 18 #Python
python解决12306登录验证码的实现
django注册用邮箱发送验证码的实现
Apr 18 #Python
Python控制台输出俄罗斯方块的方法实例
Apr 17 #Python
python3 实现mysql数据库连接池的示例代码
Python如何利用正则表达式爬取网页信息及图片
Apr 17 #Python
python中sys模块的介绍与实例
Apr 17 #Python
You might like
eWebEditor v3.8 商业完整版 (PHP)
2006/12/06 PHP
过滤掉PHP数组中的重复值的实现代码
2011/07/17 PHP
PHP封装XML和JSON格式数据接口操作示例
2019/03/06 PHP
ThinkPHP5与单元测试PHPUnit使用详解
2020/02/23 PHP
JavaScript 数组的 uniq 方法
2008/01/23 Javascript
editable.js 基于jquery的表格的编辑插件
2011/10/24 Javascript
window.print打印指定div实例代码
2013/12/13 Javascript
js中小数转换整数的方法
2014/01/26 Javascript
一个简单的jquery的多选下拉框(自写)
2014/05/05 Javascript
webapp框架AngularUI的demo改造之路
2014/12/21 Javascript
JavaScript中的变量作用域介绍
2014/12/31 Javascript
BootStrap中的表单大全
2016/09/07 Javascript
js中的eval()函数把含有转义字符的字符串转换成Object对象的方法
2016/12/02 Javascript
12个非常有用的JavaScript技巧
2017/05/17 Javascript
Vue中的ref作用详解(实现DOM的联动操作)
2017/08/21 Javascript
AngularJS 教程及实例代码
2017/10/23 Javascript
微信小程序radio组件使用详解
2018/01/31 Javascript
Vuex入门到上手教程
2018/06/20 Javascript
JavaScript中break、continue和return的用法区别实例分析
2020/03/02 Javascript
基于Web Audio API实现音频可视化效果
2020/06/12 Javascript
[57:37]EG vs Mineski 2018国际邀请赛小组赛BO2 第二场 8.16
2018/08/17 DOTA
新手该如何学python怎么学好python?
2008/10/07 Python
Python数据操作方法封装类实例
2017/06/23 Python
python3.4实现邮件发送功能
2018/05/28 Python
Python键盘输入转换为列表的实例
2018/06/23 Python
解决Python3下map函数的显示问题
2019/12/04 Python
HTML5实现分享到微信好友朋友圈QQ好友QQ空间微博二维码功能
2018/01/03 HTML / CSS
汉森批发:Hansen Wholesale
2018/05/24 全球购物
兼职学生的自我评价
2013/11/24 职场文书
三方协议书范本
2014/04/22 职场文书
村长反四风问题个人对照检查材料
2014/09/21 职场文书
公司处罚决定书
2015/06/24 职场文书
趣味运动会赞词
2015/07/22 职场文书
积极心理学课程心得体会
2016/01/22 职场文书
话题作文之诚信
2019/11/28 职场文书
改造DE1103三步曲
2022/04/07 无线电