Python 逐行分割大txt文件的方法


Posted in Python onOctober 10, 2017

代码如下所示:

# -*- coding: <encoding name> -*-
import io
LIMIT = 150000
file_count = 0
url_list = []
with io.open('D:\DB_NEW_bak\DB_NEW_20171009_bak.sql','r',encoding='utf-16') as f:
  for line in f:
    url_list.append(line)
    if len(url_list) < LIMIT:
      continue
    file_name = str(file_count)+".sql"
    with io.open(file_name,'w',encoding='utf-16') as file:
      for url in url_list[:-1]:
        file.write(url)
      file.write(url_list[-1].strip())
      url_list=[]
      file_count+=1
if url_list:
  file_name = str(file_count) + ".sql"
  with io.open(file_name,'w',encoding='utf-16') as file:
    for url in url_list:
      file.write(url)
print('done')

Python从txt文件中逐行读取数据

非常的简单,提供三种方法:

方法一:

f = open("foo.txt")       # 返回一个文件对象 
line = f.readline()       # 调用文件的 readline()方法 
while line: 
  print line,         # 后面跟 ',' 将忽略换行符 
  # print(line, end = '') # 在 Python 3中使用 
  line = f.readline() 
 
f.close()

方法二:

for line in open("foo.txt"): 
  print line,

方法三:

f = open("c:\\1.txt","r") 
lines = f.readlines()#读取全部内容 
for line in lines 
  print line

总结

以上所述是小编给大家介绍的Python 逐行分割大txt文件,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对三水点靠木网站的支持!

Python 相关文章推荐
在Django的模型和公用函数中使用惰性翻译对象
Jul 27 Python
利用Python命令行传递实例化对象的方法
Nov 02 Python
Python 专题五 列表基础知识(二维list排序、获取下标和处理txt文本实例)
Mar 20 Python
python+matplotlib绘制3D条形图实例代码
Jan 17 Python
transform python环境快速配置方法
Sep 27 Python
Pycharm配置远程调试的方法步骤
Dec 17 Python
python实现连续图文识别
Dec 18 Python
Python中logging实例讲解
Jan 17 Python
python实现诗歌游戏(类继承)
Feb 26 Python
如何安装2019Pycharm最新版本(详细教程)
Sep 26 Python
详解python statistics模块及函数用法
Oct 27 Python
python解压zip包中文乱码解决方法
Nov 27 Python
Python输出带颜色的字符串实例
Oct 10 #Python
python中使用正则表达式的连接符示例代码
Oct 10 #Python
python利用正则表达式排除集合中字符的功能示例
Oct 10 #Python
python 上下文管理器使用方法小结
Oct 10 #Python
python中如何使用正则表达式的集合字符示例
Oct 09 #Python
python中如何使用正则表达式的非贪婪模式示例
Oct 09 #Python
Python 多进程和数据传递的理解
Oct 09 #Python
You might like
php设计模式小结
2013/02/15 PHP
php url路由入门实例
2014/04/23 PHP
WampServer搭建php环境时遇到的问题汇总
2015/07/23 PHP
详解Window7 下开发php扩展
2015/12/31 PHP
PHP QRCODE生成彩色二维码的方法
2016/05/19 PHP
php实现在新浪云中使用imagick生成缩略图并上传的方法
2016/09/26 PHP
PHP开发实现微信退款功能示例
2017/11/25 PHP
PHP分享图片的生成方法
2018/04/25 PHP
js检测客户端不是firefox则提示下载
2007/04/07 Javascript
JScript的条件编译
2007/05/29 Javascript
关于viewport,Ext.panel和Ext.form.panel的关系
2009/05/07 Javascript
javascript整除实现代码
2010/11/23 Javascript
基于JQuery实现异步刷新的代码(转载)
2011/03/29 Javascript
JQuery中serialize()、serializeArray()和param()方法示例介绍
2014/07/31 Javascript
jQuery弹层插件jquery.fancybox.js用法实例
2016/01/22 Javascript
玩转NODE.JS(四)-搭建简单的聊天室的代码
2016/11/11 Javascript
基于jQuery中ajax的相关方法汇总(必看篇)
2017/11/08 jQuery
Angular整合zTree的示例代码
2018/01/24 Javascript
JavaScript 中的12种循环遍历方法【总结】
2018/05/31 Javascript
[01:20]DOTA2 2017国际邀请赛冠军之路无止竞
2017/06/19 DOTA
Python实现基于HTTP文件传输实例
2014/11/08 Python
安装dbus-python的简要教程
2015/05/05 Python
Django Highcharts制作图表
2016/08/27 Python
Python多维/嵌套字典数据无限遍历的实现
2016/11/04 Python
python基础教程之五种数据类型详解
2017/01/12 Python
Python实现k-means算法
2018/02/23 Python
python读取大文件越来越慢的原因与解决
2019/08/08 Python
pytorch实现mnist数据集的图像可视化及保存
2020/01/14 Python
Anaconda+VSCode配置tensorflow开发环境的教程详解
2020/03/30 Python
关于python tushare Tkinter构建的简单股票可视化查询系统(Beta v0.13)
2020/10/19 Python
yy生日主持词
2014/03/20 职场文书
创建学习型党组织实施方案
2014/03/29 职场文书
请假条范文大全
2014/04/10 职场文书
大学生入党积极分子自我评价
2014/09/20 职场文书
2014年车间主任工作总结
2014/12/10 职场文书
幼儿园新学期开学寄语
2015/05/27 职场文书