python分批定量读取文件内容,输出到不同文件中的方法


Posted in Python onDecember 08, 2018

一、文件内容的分发

应用场景:分批读取共有358086行内容的txt文件,每取1000条输出到一个文件当中

# coding=utf-8
# 分批读取共有358086行内容的txt文件,每取1000条输出到一个文件当中

txt_path = "E:/torrenthandle.txt"
base_path="E:/torrent_distribution/"


def distribution( ):
 f = open(txt_path,"r") 
 lines = f.readlines()
 f2=open(base_path+"1.txt","w")
 content=""
 for i in range( 1,len(lines) ):
  if ( i%1000!=0 ):
   content+=lines[i-1]
  else:
   content+=lines[i-1]
   f2.write(content.strip('\n'))
   block_path=base_path+str(i)+".txt"
   f2=open(block_path,"w")
   content=""
 #最后的扫尾工作
 content+=lines[i] 
 f2.write(content.strip('\n')) 
 f2.close()
 f.close()

distribution( )

二、文件夹(目录)下的内容分发

应用场景:分批读取目录下的文件,每取1000条输出到一个新的目录当中

# coding: utf-8

import os
import shutil

sourcepath = "E:\\sample"
distribution_path = "E:\\sample\\distribution\\" 

if __name__ =='__main__':
 rs = unicode(sourcepath , "utf8")
 count = 1
 savepath = unicode(distribution_path+"1", "utf-8")
 if not os.path.exists(savepath):
  os.makedirs(savepath)
 for rt,dirs,files in os.walk(rs):
  for fname in files:
   if ( count%1000!=0 ):
    shutil.copy(rt + os.sep + fname,savepath) 
    #os.remove(rt + os.sep + fname)
   else:
    shutil.copy(rt + os.sep + fname,savepath) 
    #os.remove(rt + os.sep + fname)
    savepath = unicode(distribution_path+str(count), "utf-8")
    if not os.path.exists(savepath):
     os.makedirs(savepath)
   count+=1

以上这篇python分批定量读取文件内容,输出到不同文件中的方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python抓取Discuz!用户名脚本代码
Dec 30 Python
python实现上传下载文件功能
Nov 19 Python
Python+OpenCV让电脑帮你玩微信跳一跳
Jan 04 Python
python使用KNN算法手写体识别
Feb 01 Python
python+PyQT实现系统桌面时钟
Jun 16 Python
Django基础知识 URL路由系统详解
Jul 18 Python
PyCharm下载和安装详细步骤
Dec 17 Python
Tensorflow不支持AVX2指令集的解决方法
Feb 03 Python
简单的Python人脸识别系统
Jul 14 Python
详解python实现可视化的MD5、sha256哈希加密小工具
Sep 14 Python
pytorch中的numel函数用法说明
May 13 Python
基于PyQt5制作一个群发邮件工具
Apr 08 Python
对python遍历文件夹中的所有jpg文件的实例详解
Dec 08 #Python
pandas求两个表格不相交的集合方法
Dec 08 #Python
对pytorch网络层结构的数组化详解
Dec 08 #Python
pytorch对可变长度序列的处理方法详解
Dec 08 #Python
pytorch 转换矩阵的维数位置方法
Dec 08 #Python
pytorch 调整某一维度数据顺序的方法
Dec 08 #Python
Python操作mongodb数据库的方法详解
Dec 08 #Python
You might like
《星际争霸2》终章已出 RTS时代宣告终结
2017/02/07 星际争霸
PHP 文本文章分页代码 按标记或长度(不涉及数据库)
2012/06/07 PHP
php 类中的常量、静态属性、非静态属性的区别
2017/04/09 PHP
php数据序列化测试实例详解
2017/08/12 PHP
TP框架实现上传一张图片和批量上传图片的方法分析
2020/04/23 PHP
JS创建优美的页面滑动块效果 - Glider.js
2007/09/27 Javascript
jQuery选择没有colspan属性的td的代码
2010/07/06 Javascript
jquery图片不完全按比例自动缩小的简单代码
2013/07/29 Javascript
window.onload和$(function(){})的区别介绍
2013/10/30 Javascript
js检测输入内容全为空格的方法
2014/05/03 Javascript
JS实现页面超时后自动跳转到登陆页面
2015/01/19 Javascript
jQuery对象初始化的传参方式
2015/02/26 Javascript
分享9个最好用的JavaScript开发工具和代码编辑器
2015/03/24 Javascript
JS实现从表格中动态删除指定行的方法
2015/03/31 Javascript
jquery ajax双击div可直接修改div中的内容
2016/03/04 Javascript
js捕捉键盘事件和按键键值的方法
2016/10/10 Javascript
微信小程序scroll-view实现横向滚动和上拉加载示例
2017/03/06 Javascript
js canvas实现擦除效果示例代码
2017/04/26 Javascript
详解钉钉小程序组件之自定义模态框(弹窗封装实现)
2020/03/07 Javascript
[01:32:50]DOTA2-DPC中国联赛 正赛 DLG vs XG BO3 第一场 1月25日
2021/03/11 DOTA
python发送伪造的arp请求
2014/01/09 Python
python微信公众号开发简单流程
2018/03/23 Python
Python使用matplotlib绘制随机漫步图
2018/08/27 Python
python简单鼠标自动点击某区域的实例
2019/06/25 Python
DJI大疆无人机官方商城:全球领先的无人飞行器研发和生产商
2016/12/21 全球购物
物流专业毕业生推荐信范文
2013/11/18 职场文书
个人应聘自我评价分享
2013/11/18 职场文书
如何掌握自荐信格式呢
2013/11/19 职场文书
联谊活动策划书
2014/01/26 职场文书
计算机维护专业推荐信
2014/02/27 职场文书
2014年感恩母亲演讲稿
2014/05/27 职场文书
群众路线剖析材料范文
2014/10/09 职场文书
领导干部作风建设总结
2014/10/23 职场文书
运动会致辞稿
2015/07/29 职场文书
Win11软件图标固定到任务栏
2022/04/19 数码科技
mysql 子查询的使用
2022/04/28 MySQL