python 高效去重复 支持GB级别大文件的示例代码


Posted in Python onNovember 08, 2018

如下所示:

#coding=utf-8
 
import sys, re, os
 
def getDictList(dict):
  regx = '''[\w\~`\!\@\#\$\%\^\&\*\(\)\_\-\+\=\[\]\{\}\:\;\,\.\/\<\>\?]+'''
  with open(dict) as f:
    data = f.read()
    return re.findall(regx, data)
 
def rmdp(dictList):
  return list(set(dictList))
 
def fileSave(dictRmdp, out):
  with open(out, 'a') as f:
    for line in dictRmdp:
      f.write(line + '\n')
 
def main():
  try:
    dict = sys.argv[1].strip()
    out = sys.argv[2].strip()
  except Exception, e:
    print 'error:', e
    me = os.path.basename(__file__)
    print 'usage: %s <input> <output>' %me
    print 'example: %s dict.txt dict_rmdp.txt' %me
    exit()
 
  dictList = getDictList(dict)
  dictRmdp = rmdp(dictList)
  fileSave(dictRmdp, out)
   
if __name__ == '__main__':
  main()

以上这篇python 高效去重复 支持GB级别大文件的示例代码就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python刷投票的脚本实现代码
Nov 08 Python
python使用电子邮件模块smtplib的方法
Aug 28 Python
Python使用Matplotlib实现Logos设计代码
Dec 25 Python
python实现csv格式文件转为asc格式文件的方法
Mar 23 Python
Python + selenium自动化环境搭建的完整步骤
May 19 Python
python实现文件的备份流程详解
Jun 18 Python
python调用动态链接库的基本过程详解
Jun 19 Python
Python 进程之间共享数据(全局变量)的方法
Jul 16 Python
Django封装交互接口代码
Jul 12 Python
python的launcher用法知识点总结
Aug 07 Python
python中requests模拟登录的三种方式(携带cookie/session进行请求网站)
Nov 17 Python
详解Django自定义图片和文件上传路径(upload_to)的2种方式
Dec 01 Python
python消除序列的重复值并保持顺序不变的实例
Nov 08 #Python
Django中的forms组件实例详解
Nov 08 #Python
python微元法计算函数曲线长度的方法
Nov 08 #Python
python实现简单的单变量线性回归方法
Nov 08 #Python
python/sympy求解矩阵方程的方法
Nov 08 #Python
python生成lmdb格式的文件实例
Nov 08 #Python
python实现嵌套列表平铺的两种方法
Nov 08 #Python
You might like
PHP迭代器实现斐波纳契数列的函数
2013/11/12 PHP
基于PHP的简单采集数据入库程序
2014/07/30 PHP
分享50个提高PHP执行效率的技巧
2015/12/26 PHP
PHP Callable强制指定回调类型的方法
2016/08/30 PHP
PHP实现创建微信自定义菜单的方法示例
2017/07/14 PHP
js玩一玩WSH吧
2007/02/23 Javascript
js变量以及其作用域详解
2020/07/18 Javascript
js弹出层永远居中实现思路及代码
2013/11/29 Javascript
Event altKey,ctrlKey,shiftKey属性解析
2013/12/18 Javascript
jquery基础教程之数组使用详解
2014/03/10 Javascript
js中回调函数的学习笔记
2014/07/31 Javascript
如何高效率去掉js数组中的重复项
2016/04/12 Javascript
JS获取IMG图片高宽的简单实例
2016/05/17 Javascript
JS实现图片上传预览功能
2016/11/21 Javascript
解决vue中虚拟dom,无法实时更新的问题
2018/09/15 Javascript
使用layui前端框架弹出form表单以及提交的示例
2019/10/25 Javascript
[02:06]DOTA2英雄基础教程 暗影萨满
2013/12/16 DOTA
[01:09]DOTA2次级职业联赛 - 99战队宣传片
2014/12/01 DOTA
[01:38]【DOTA2亚洲邀请赛】Sumail——梦开始的地方
2017/03/03 DOTA
Python logging模块学习笔记
2014/05/24 Python
python list删除元素时要注意的坑点分享
2018/04/18 Python
Python使用pickle模块储存对象操作示例
2018/08/15 Python
python pandas库的安装和创建
2019/01/10 Python
python异步实现定时任务和周期任务的方法
2019/06/29 Python
python傅里叶变换FFT绘制频谱图
2019/07/19 Python
Pycharm创建项目时如何自动添加头部信息
2019/11/14 Python
牵手50香港:专为黄金岁月的单身人士而设的交友网站
2020/08/14 全球购物
生产管理的三大手法
2013/11/11 职场文书
门诊挂号室室长岗位职责
2013/11/27 职场文书
预备党员入党自我评价范文
2014/03/10 职场文书
消防宣传口号
2014/06/16 职场文书
技术入股合作协议书
2014/10/07 职场文书
小人国观后感
2015/06/11 职场文书
步步惊心观后感
2015/06/12 职场文书
CSS3鼠标悬浮过渡缩放效果
2021/04/17 HTML / CSS
ECharts transform数据转换和dataZoom在项目中使用
2022/12/24 Javascript