python 高效去重复 支持GB级别大文件的示例代码


Posted in Python onNovember 08, 2018

如下所示:

#coding=utf-8
 
import sys, re, os
 
def getDictList(dict):
  regx = '''[\w\~`\!\@\#\$\%\^\&\*\(\)\_\-\+\=\[\]\{\}\:\;\,\.\/\<\>\?]+'''
  with open(dict) as f:
    data = f.read()
    return re.findall(regx, data)
 
def rmdp(dictList):
  return list(set(dictList))
 
def fileSave(dictRmdp, out):
  with open(out, 'a') as f:
    for line in dictRmdp:
      f.write(line + '\n')
 
def main():
  try:
    dict = sys.argv[1].strip()
    out = sys.argv[2].strip()
  except Exception, e:
    print 'error:', e
    me = os.path.basename(__file__)
    print 'usage: %s <input> <output>' %me
    print 'example: %s dict.txt dict_rmdp.txt' %me
    exit()
 
  dictList = getDictList(dict)
  dictRmdp = rmdp(dictList)
  fileSave(dictRmdp, out)
   
if __name__ == '__main__':
  main()

以上这篇python 高效去重复 支持GB级别大文件的示例代码就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Linux下Python获取IP地址的代码
Nov 30 Python
Python和C/C++交互的几种方法总结
May 11 Python
Python探索之pLSA实现代码
Oct 25 Python
python中join()方法介绍
Oct 11 Python
python调用百度地图WEB服务API获取地点对应坐标值
Jan 16 Python
PyCharm-错误-找不到指定文件python.exe的解决方法
Jul 01 Python
使用APScheduler3.0.1 实现定时任务的方法
Jul 22 Python
python Kmeans算法原理深入解析
Aug 23 Python
Python树莓派学习笔记之UDP传输视频帧操作详解
Nov 15 Python
python输入中文的实例方法
Sep 14 Python
python switch 实现多分支选择功能
Dec 21 Python
DjangoRestFramework 使用 simpleJWT 登陆认证完整记录
Jun 22 Python
python消除序列的重复值并保持顺序不变的实例
Nov 08 #Python
Django中的forms组件实例详解
Nov 08 #Python
python微元法计算函数曲线长度的方法
Nov 08 #Python
python实现简单的单变量线性回归方法
Nov 08 #Python
python/sympy求解矩阵方程的方法
Nov 08 #Python
python生成lmdb格式的文件实例
Nov 08 #Python
python实现嵌套列表平铺的两种方法
Nov 08 #Python
You might like
SONY ICF-SW7600的电路分析
2021/03/02 无线电
php不用内置函数对数组排序的两个算法代码
2010/02/08 PHP
apache php mysql开发环境安装教程
2016/07/28 PHP
PHP实现的贪婪算法实例
2017/10/17 PHP
HTML 自动伸缩的表格Table js实现
2009/04/01 Javascript
表格单元格交错着色实现思路及代码
2013/04/01 Javascript
JQuery调用WebServices的方法和4个实例
2014/05/06 Javascript
使用jsonp完美解决跨域问题
2014/11/27 Javascript
Javascript中拼接大量字符串的方法
2015/02/05 Javascript
JavaScript检测浏览器cookie是否已经启动的方法
2015/02/27 Javascript
JS实现文字放大效果的方法
2015/03/03 Javascript
javascript带回调函数的异步脚本载入方法实例分析
2015/07/02 Javascript
JS+CSS实现大气的黑色首页导航菜单效果代码
2015/09/10 Javascript
Node.js开启Https的实践详解
2016/10/25 Javascript
详解vue 组件之间使用eventbus传值
2017/10/25 Javascript
详解vue-cli项目中用json-sever搭建mock服务器
2017/11/02 Javascript
ligerUI---ListBox(列表框可移动的实例)
2017/11/28 Javascript
jQuery实现带右侧索引功能的通讯录示例【附源码下载】
2018/04/17 jQuery
node中的cookie的具体使用
2018/09/13 Javascript
Vue中插入HTML代码的方法
2018/09/21 Javascript
浅谈Vue CLI 3结合Lerna进行UI框架设计
2019/04/14 Javascript
解决ant design vue中树形控件defaultExpandAll设置无效的问题
2020/10/26 Javascript
python随机生成指定长度密码的方法
2015/04/04 Python
python高级特性和高阶函数及使用详解
2018/10/17 Python
基于django传递数据到后端的例子
2019/08/16 Python
Big Green Smile德国网上商店:提供各种天然产品
2018/05/23 全球购物
精彩的推荐信范文
2013/11/26 职场文书
安全技术说明书
2014/05/09 职场文书
超市开业庆典策划方案
2014/05/14 职场文书
优秀实习生主要事迹
2014/05/29 职场文书
党员查摆四风问题思想汇报
2014/10/25 职场文书
2014年林业工作总结
2014/12/05 职场文书
2015年医院护理部工作总结
2015/04/23 职场文书
开学第一周值周总结
2015/07/16 职场文书
导游词之西安大清真寺
2019/12/17 职场文书
HTML5页面音频自动播放的实现方式
2021/06/21 HTML / CSS