Python 逐行分割大txt文件的方法


Posted in Python onOctober 10, 2017

代码如下所示:

# -*- coding: <encoding name> -*-
import io
LIMIT = 150000
file_count = 0
url_list = []
with io.open('D:\DB_NEW_bak\DB_NEW_20171009_bak.sql','r',encoding='utf-16') as f:
  for line in f:
    url_list.append(line)
    if len(url_list) < LIMIT:
      continue
    file_name = str(file_count)+".sql"
    with io.open(file_name,'w',encoding='utf-16') as file:
      for url in url_list[:-1]:
        file.write(url)
      file.write(url_list[-1].strip())
      url_list=[]
      file_count+=1
if url_list:
  file_name = str(file_count) + ".sql"
  with io.open(file_name,'w',encoding='utf-16') as file:
    for url in url_list:
      file.write(url)
print('done')

Python从txt文件中逐行读取数据

非常的简单,提供三种方法:

方法一:

f = open("foo.txt")       # 返回一个文件对象 
line = f.readline()       # 调用文件的 readline()方法 
while line: 
  print line,         # 后面跟 ',' 将忽略换行符 
  # print(line, end = '') # 在 Python 3中使用 
  line = f.readline() 
 
f.close()

方法二:

for line in open("foo.txt"): 
  print line,

方法三:

f = open("c:\\1.txt","r") 
lines = f.readlines()#读取全部内容 
for line in lines 
  print line

总结

以上所述是小编给大家介绍的Python 逐行分割大txt文件,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对三水点靠木网站的支持!

Python 相关文章推荐
深入分析在Python模块顶层运行的代码引起的一个Bug
Jul 04 Python
编写同时兼容Python2.x与Python3.x版本的代码的几个示例
Mar 30 Python
windows下ipython的安装与使用详解
Oct 20 Python
python基础教程之匿名函数lambda
Jan 17 Python
Python中functools模块函数解析
Mar 12 Python
python实现K近邻回归,采用等权重和不等权重的方法
Jan 23 Python
使用Python自动化破解自定义字体混淆信息的方法实例
Feb 13 Python
python基于gevent实现并发下载器代码实例
Nov 01 Python
python小项目之五子棋游戏
Dec 26 Python
win7上tensorflow2.2.0安装成功 引用DLL load failed时找不到指定模块 tensorflow has no attribute xxx 解决方法
May 20 Python
python图片验证码识别最新模块muggle_ocr的示例代码
Jul 03 Python
python 下载m3u8视频的示例代码
Nov 11 Python
Python输出带颜色的字符串实例
Oct 10 #Python
python中使用正则表达式的连接符示例代码
Oct 10 #Python
python利用正则表达式排除集合中字符的功能示例
Oct 10 #Python
python 上下文管理器使用方法小结
Oct 10 #Python
python中如何使用正则表达式的集合字符示例
Oct 09 #Python
python中如何使用正则表达式的非贪婪模式示例
Oct 09 #Python
Python 多进程和数据传递的理解
Oct 09 #Python
You might like
php统计文件大小,以GB、MB、KB、B输出
2011/05/29 PHP
使用PHP实现二分查找算法代码分享
2011/06/24 PHP
[原创]PHP正则匹配中英文、数字及下划线的方法【用户名验证】
2017/08/01 PHP
PHP 进度条函数的简单实例
2017/09/19 PHP
JQuery判断子iframe何时加载完成解决方案
2013/08/20 Javascript
js截取固定长度的中英文字符的简单实例
2013/11/22 Javascript
javascript贪吃蛇完整版(源码)
2013/12/09 Javascript
httpclient模拟登陆具体实现(使用js设置cookie)
2013/12/11 Javascript
javascript操作excel生成报表全攻略
2014/05/04 Javascript
node.js中的fs.appendFile方法使用说明
2014/12/17 Javascript
jQuery选择器源码解读(四):tokenize方法的Expr.preFilter
2015/03/31 Javascript
jQuery树形下拉菜单特效代码分享
2015/08/15 Javascript
移动端H5开发 Turn.js实现很棒的翻书效果
2016/06/20 Javascript
Bootstrap响应式侧边栏改进版
2016/09/17 Javascript
js 文字超出长度用省略号代替,鼠标悬停并以悬浮框显示实例
2016/12/06 Javascript
jQuery使用EasyUi实现三级联动下拉框效果
2017/03/08 Javascript
angular框架实现全选与单选chekbox的自定义
2017/07/06 Javascript
详解Vue组件实现tips的总结
2017/11/01 Javascript
Express进阶之log4js实用入门指南
2018/02/10 Javascript
Vue 自定义标签的src属性不能使用相对路径的解决
2019/09/17 Javascript
Vue中keep-alive组件的深入理解
2020/08/23 Javascript
[52:00]2018DOTA2亚洲邀请赛 4.1 小组赛 A组加赛 LGD vs Optic
2018/04/02 DOTA
开源Web应用框架Django图文教程
2017/03/09 Python
python科学计算之scipy——optimize用法
2019/11/25 Python
Python编程快速上手——PDF文件操作案例分析
2020/02/28 Python
python opencv图像处理(素描、怀旧、光照、流年、滤镜 原理及实现)
2020/12/10 Python
Smilodox官方运动服装店:从运动服到健身配件
2020/08/27 全球购物
Java程序员面试90题
2013/10/19 面试题
车间班组长岗位职责
2013/11/13 职场文书
三年级语文教学反思
2014/02/01 职场文书
上班看电影检讨书
2014/02/12 职场文书
企业员工薪酬方案
2014/06/04 职场文书
欢迎领导检查标语
2014/06/27 职场文书
2014年社区综治工作总结
2014/11/17 职场文书
2015年幼儿园教研活动总结
2015/03/25 职场文书
少先队工作总结2015
2015/05/13 职场文书