python分批定量读取文件内容,输出到不同文件中的方法


Posted in Python onDecember 08, 2018

一、文件内容的分发

应用场景:分批读取共有358086行内容的txt文件,每取1000条输出到一个文件当中

# coding=utf-8
# 分批读取共有358086行内容的txt文件,每取1000条输出到一个文件当中

txt_path = "E:/torrenthandle.txt"
base_path="E:/torrent_distribution/"


def distribution( ):
 f = open(txt_path,"r") 
 lines = f.readlines()
 f2=open(base_path+"1.txt","w")
 content=""
 for i in range( 1,len(lines) ):
  if ( i%1000!=0 ):
   content+=lines[i-1]
  else:
   content+=lines[i-1]
   f2.write(content.strip('\n'))
   block_path=base_path+str(i)+".txt"
   f2=open(block_path,"w")
   content=""
 #最后的扫尾工作
 content+=lines[i] 
 f2.write(content.strip('\n')) 
 f2.close()
 f.close()

distribution( )

二、文件夹(目录)下的内容分发

应用场景:分批读取目录下的文件,每取1000条输出到一个新的目录当中

# coding: utf-8

import os
import shutil

sourcepath = "E:\\sample"
distribution_path = "E:\\sample\\distribution\\" 

if __name__ =='__main__':
 rs = unicode(sourcepath , "utf8")
 count = 1
 savepath = unicode(distribution_path+"1", "utf-8")
 if not os.path.exists(savepath):
  os.makedirs(savepath)
 for rt,dirs,files in os.walk(rs):
  for fname in files:
   if ( count%1000!=0 ):
    shutil.copy(rt + os.sep + fname,savepath) 
    #os.remove(rt + os.sep + fname)
   else:
    shutil.copy(rt + os.sep + fname,savepath) 
    #os.remove(rt + os.sep + fname)
    savepath = unicode(distribution_path+str(count), "utf-8")
    if not os.path.exists(savepath):
     os.makedirs(savepath)
   count+=1

以上这篇python分批定量读取文件内容,输出到不同文件中的方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python删除文件示例分享
Jan 28 Python
利用Python破解验证码实例详解
Dec 08 Python
Python中xrange与yield的用法实例分析
Dec 26 Python
查看python下OpenCV版本的方法
Aug 03 Python
python 3.6.4 安装配置方法图文教程
Sep 18 Python
Python实现的逻辑回归算法示例【附测试csv文件下载】
Dec 28 Python
python 列表输出重复值以及对应的角标方法
Jun 11 Python
python web框架Flask实现图形验证码及验证码的动态刷新实例
Oct 14 Python
Python自动采集微信联系人的实现示例
Feb 28 Python
Python openpyxl 插入折线图实例
Apr 17 Python
Python调用C语言程序方法解析
Jul 07 Python
如何用python开发Zeroc Ice应用
Jan 29 Python
对python遍历文件夹中的所有jpg文件的实例详解
Dec 08 #Python
pandas求两个表格不相交的集合方法
Dec 08 #Python
对pytorch网络层结构的数组化详解
Dec 08 #Python
pytorch对可变长度序列的处理方法详解
Dec 08 #Python
pytorch 转换矩阵的维数位置方法
Dec 08 #Python
pytorch 调整某一维度数据顺序的方法
Dec 08 #Python
Python操作mongodb数据库的方法详解
Dec 08 #Python
You might like
磨咖啡豆的密诀
2021/03/03 冲泡冲煮
图书管理程序(二)
2006/10/09 PHP
第六章 php目录与文件操作
2011/12/30 PHP
探讨Smarty中如何获取数组的长度以及smarty调用php函数的详解
2013/06/20 PHP
php中的异常和错误浅析
2017/05/03 PHP
PHP实现微信支付(jsapi支付)流程步骤详解
2018/03/15 PHP
jquery Firefox3.5中操作select的问题
2009/07/10 Javascript
Bootstrap每天必学之按钮
2015/11/26 Javascript
浅谈JavaScript中的this指针和引用知识
2016/08/05 Javascript
Javascript json object 与string 相互转换的简单实现
2016/09/27 Javascript
你不知道的 javascript【推荐】
2017/01/08 Javascript
xmlplus组件设计系列之选项卡(Tabbar)(5)
2017/05/03 Javascript
React为 Vue 引入容器组件和展示组件的教程详解
2018/05/03 Javascript
Python中使用copy模块实现列表(list)拷贝
2015/04/14 Python
python实现将元祖转换成数组的方法
2015/05/04 Python
Python中循环引用(import)失败的解决方法
2018/04/22 Python
Python爬虫包BeautifulSoup简介与安装(一)
2018/06/17 Python
python实现简单多人聊天室
2018/12/11 Python
python实现狄克斯特拉算法
2019/01/17 Python
ubuntu 18.04搭建python环境(pycharm+anaconda)
2019/06/14 Python
Python变量、数据类型、数据类型转换相关函数用法实例详解
2020/01/09 Python
python实现坦克大战
2020/04/24 Python
浅谈python3打包与拆包在函数的应用详解
2020/05/02 Python
详解px单位html5响应式方案
2018/03/08 HTML / CSS
餐饮业的创业计划书范文
2013/12/26 职场文书
软件售后服务承诺书
2014/05/21 职场文书
企业宣传标语
2014/06/09 职场文书
租房安全协议书
2014/08/20 职场文书
八一建军节慰问信
2015/02/14 职场文书
暂停营业通知
2015/04/25 职场文书
首都博物馆观后感
2015/06/05 职场文书
警示教育片观后感
2015/06/17 职场文书
公司员工宿舍管理制度
2015/08/07 职场文书
golang中的空slice案例
2021/04/27 Golang
海贼王十大逆天果实 魂魂果实上榜,岩浆果实攻击力最强
2022/03/18 日漫
Python使用plt.boxplot()函数绘制箱图、常用方法以及含义详解
2022/08/14 Python