Python实现文本文件拆分写入到多个文本文件的方法


Posted in Python onApril 18, 2021

引言

将一个txt文本文件中的内容行拆分固定的行数,自动分批写入到多个文本文件。
比如:一个源txt文件有5100行数据,每1000行插入到一个txt文件,最后获得6个txt文件(5个文本文件有1000行数据,第6个文本文件有100行数据)。

步骤

1、先建立一个目录用于存放分割后的txt文件(这里的目录名为:dataText)
2、修改拆分的数目(这里是每5000行数据存入一个txt文件)
3、运行python文件,查看生成的txt文件

代码

open_diff = open('data.txt', 'r') # 源文本文件
diff_line = open_diff.readlines()

line_list = []
for line in diff_line:
    line_list.append(line)

count = len(line_list) # 文件行数
print('源文件数据行数:',count)
# 切分diff
diff_match_split = [line_list[i:i+5000] for i in range(0,len(line_list),5000)]# 每个文件的数据行数

# 将切分的写入多个txt中
for i,j in zip(range(0,int(count/5000+1)),range(0,int(count/5000+1))): # 写入txt,计算需要写入的文件数
    with open('./dataText/ImageData%d.txt'% j,'w+') as temp:
        for line in diff_match_split[i]:
            temp.write(line)
print('拆分后文件的个数:',i+1)

结果

Python实现文本文件拆分写入到多个文本文件的方法

Python实现文本文件拆分写入到多个文本文件的方法

应用:

将txt文件中的数据拆分成多个文本文件,可以解决由于文本文件数据过大而无法导入某些软件的问。

这里是将一个url文本文件(约15M)导入idm下载url中的内容,但由于文本文件过大,数据量过多,就拆分成多个文本文件分批次导入idm。

注意:
1、程序中的5000为写入每个文件的数据行数,最后一个文件的行数不足5000,也用一个文本文件存储。
2、根据需要,修改存储数据的行数(两个地方的5000都需要修改)。

到此这篇关于Python实现文本文件拆分写入到多个文本文件的方法的文章就介绍到这了,更多相关Python 文本文件拆分内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
Python操作MongoDB详解及实例
May 18 Python
完美解决python中ndarray 默认用科学计数法显示的问题
Jul 14 Python
Python2和Python3中urllib库中urlencode的使用注意事项
Nov 26 Python
python Django框架实现web端分页呈现数据
Oct 31 Python
python实现在一个画布上画多个子图
Jan 19 Python
Python线程threading模块用法详解
Feb 26 Python
Python实现自动签到脚本的示例代码
Aug 19 Python
Python修改DBF文件指定列
Dec 19 Python
想学画画?python满足你!
Dec 24 Python
Python调用系统命令os.system()和os.popen()的实现
Dec 31 Python
python b站视频下载的五种版本
May 27 Python
Python OpenCV超详细讲解调整大小与图像操作的实现
Apr 02 Python
python批量更改目录名/文件名的方法
Apr 18 #Python
python解决12306登录验证码的实现
django注册用邮箱发送验证码的实现
Apr 18 #Python
Python控制台输出俄罗斯方块的方法实例
Apr 17 #Python
python3 实现mysql数据库连接池的示例代码
Python如何利用正则表达式爬取网页信息及图片
Apr 17 #Python
python中sys模块的介绍与实例
Apr 17 #Python
You might like
在项目中寻找代码的坏命名
2012/07/14 PHP
CI框架教程之优化验证码机制详解【验证码辅助函数】
2019/04/16 PHP
js去除重复字符串两种实现方法
2013/01/09 Javascript
仿百度联盟对联广告实现代码
2014/08/30 Javascript
javascript将数字转换整数金额大写的方法
2015/01/27 Javascript
nodejs中实现阻塞实例
2015/03/24 NodeJs
jQuery实现复选框批量选择与反选的方法
2015/06/17 Javascript
Highcharts入门之简介
2016/08/02 Javascript
基于js实现checkbox批量选中操作
2016/11/22 Javascript
bootstrap手风琴制作方法详解
2017/01/11 Javascript
bootstrap 下拉多选框进行多选传值问题代码分析
2017/02/14 Javascript
React 子组件向父组件传值的方法
2017/07/24 Javascript
Ant Design Pro 下实现文件下载的实现代码
2019/12/03 Javascript
easyUI 实现的后台分页与前台显示功能示例
2020/06/01 Javascript
解决vue 给window添加和移除resize事件遇到的坑
2020/07/21 Javascript
[43:58]DOTA2-DPC中国联赛定级赛 LBZS vs SAG BO3第一场 1月8日
2021/03/11 DOTA
PyQt5每天必学之弹出消息框
2018/04/19 Python
使用pandas的box_plot去除异常值
2019/12/10 Python
python时间与Unix时间戳相互转换方法详解
2020/02/13 Python
基于Python 的语音重采样函数解析
2020/07/06 Python
Django:使用filter的pk进行多值查询操作
2020/07/15 Python
手把手教你将Flask应用封装成Docker服务的实现
2020/08/19 Python
HTML5自定义属性前缀data-及dataset的使用方法(html5 新特性)
2017/08/24 HTML / CSS
凯普林包包西班牙官网:Kipling西班牙
2019/04/12 全球购物
探索欧洲最好的品牌:Bombinate
2019/06/14 全球购物
银行会计业务的个人自我评价
2013/11/02 职场文书
主管职责范文
2013/11/09 职场文书
前台接待员岗位职责
2014/01/02 职场文书
合作意向书范本
2014/03/31 职场文书
5s标语大全
2014/06/23 职场文书
2014年生活老师工作总结
2014/12/23 职场文书
公司介绍信范文
2015/01/31 职场文书
个人德育工作总结
2015/03/05 职场文书
告诉你一个秘密:富人致富的五大优点
2019/07/11 职场文书
Go timer如何调度
2021/06/09 Golang
Python使用plt.boxplot()函数绘制箱图、常用方法以及含义详解
2022/08/14 Python