python实现文本去重且不打乱原本顺序


Posted in Python onJanuary 26, 2016

代码也是在网上找的,效率挺不错的,特别适合字典文件的去重

#coding=utf-8
import sys
def open_txt(): #打开TXT文本写入数组
try:
xxx = file(sys.argv[1], 'r')
for xxx_line in xxx.readlines():
passlist.append(xxx_line)
xxx.close()
except:
return 0

def write_txt(): #打开TXT文本写入数组
try:
yyy = file(sys.argv[2], 'w')
for i in list_passwed:
yyy.write(i)
yyy.close()
except:
return 0

global passlist #声明全局变量
passlist = [] #用户名:anonymous 密码为空
open_txt() #TXT导入数组
#passlist = list(set(passlist)) #python 列表去重
global list_passwed #列表去重,不打乱原来的顺序
list_passwed=[]
for i in passlist:
if i not in list_passwed:
list_passwed.append(i)
write_txt()

python 读取TXT到数组 列表去重,不打乱原来的顺序

####################################################################
#qq:316118740
#BLOG:http://hi.baidu.com/alalmn
# python 读取TXT到数组 列表去重,不打乱原来的顺序
# 刚学写的不好请大家见谅
####################################################################
 
 
 
def open_txt(): #打开TXT文本写入数组
 try:
  infile = file('admin.txt', 'r')
  xxx = file('admin.txt', 'r')
  for xxx_line in xxx.readlines():
   passlist.append(xxx_line)
  xxx.close()
 except:
  return 0
 
def list_del(): #清空list列表
 try:
  i = 0 #得到list的第一个元素
  while i < len(passlist):
   del passlist[i]
   del list_passwed[i]
 except:
  return 0
 
 
 
###################################### 
 
 global passlist #声明全局变量
 passlist = [] #用户名:anonymous 密码为空
 www_cj(www) #域名拆解
 open_txt() #TXT导入数组
 #passlist = list(set(passlist)) #python 列表去重
 global list_passwed #列表去重,不打乱原来的顺序
 list_passwed=[]
 for i in passlist:
  if i not in list_passwed:
   list_passwed.append(i)
###################################### 遍历数组组合出 密码
 I1 = 0 #得到list的第一个元素
 while I1 < len(list_passwed):
  print "WWWWWWWWWWW",I1
  if I1==len(list_passwed):
   break #退出循环
  I2 = 0 #得到list的第一个元素
  while I2 < len(list_passwed):
   print "1111:",list_passwed[I1],"2222:",list_passwed[I2]
   I2 = I2 + 1 #二层
  I1 = I1 + 1 #一层
######################################

补充

# -*- coding: utf-8 -*-
'''
只使用与较小的文件,比较大的文件运行时间长
'''
def quchong(infile,outfile):

  infopen = open(infile,'r',encoding='utf-8')
  outopen = open(outfile,'w',encoding='utf-8')
  lines = infopen.readlines()
  list_1 = []
  for line in lines:
    if line not in list_1:
      list_1.append(line)
      outopen.write(line)
  infopen.close()
  outopen.close()
quchong("源文件路径","目标文件路径")

本文实例讲述了python读取TXT到数组及列表去重后按原来顺序排序的方法。分享给大家供大家参考。

Python 相关文章推荐
Python实现删除当前目录下除当前脚本以外的文件和文件夹实例
Jul 27 Python
使用pandas将numpy中的数组数据保存到csv文件的方法
Jun 14 Python
记一次python 内存泄漏问题及解决过程
Nov 29 Python
详解django2中关于时间处理策略
Mar 06 Python
python3 线性回归验证方法
Jul 09 Python
Pytorch实现GoogLeNet的方法
Aug 18 Python
Django--权限Permissions的例子
Aug 28 Python
python类的实例化问题解决
Aug 31 Python
解决python 读取excel时 日期变成数字并加.0的问题
Oct 08 Python
翻转数列python实现,求前n项和,并能输出整个数列的案例
May 03 Python
你喜欢篮球吗?Python实现篮球游戏
Jun 11 Python
python中的random模块和相关函数详解
Apr 22 Python
举例讲解Python设计模式编程中的访问者与观察者模式
Jan 26 #Python
Python函数中*args和**kwargs来传递变长参数的用法
Jan 26 #Python
python中的编码知识整理汇总
Jan 26 #Python
在MAC上搭建python数据分析开发环境
Jan 26 #Python
python黑魔法之编码转换
Jan 25 #Python
Python编程中对文件和存储器的读写示例
Jan 25 #Python
Python开发如何在ubuntu 15.10 上配置vim
Jan 25 #Python
You might like
约瑟夫环问题的PHP实现 使用PHP数组内部指针操作函数
2010/10/12 PHP
fleaphp常用方法分页之Pager使用方法
2011/04/23 PHP
利用js实现前台动态添加文本框,后台获取文本框内容(示例代码)
2013/11/25 Javascript
jQuery插件windowScroll实现单屏滚动特效
2015/07/14 Javascript
详解maxlength属性在textarea里奇怪的表现
2015/12/27 Javascript
jQuery添加和删除输入文本框标签代码
2016/05/20 Javascript
async/await与promise(nodejs中的异步操作问题)
2017/03/03 NodeJs
浅谈webpack打包之后的文件过大的解决方法
2018/03/07 Javascript
vue使用混入定义全局变量、函数、筛选器的实例代码
2019/07/29 Javascript
javascript数组的定义及操作实例
2019/11/10 Javascript
vant中的toast层级改变操作
2020/11/04 Javascript
Python3实现抓取javascript动态生成的html网页功能示例
2017/08/22 Python
numpy中索引和切片详解
2017/12/15 Python
pandas值替换方法
2018/07/10 Python
python实现宿舍管理系统
2019/11/22 Python
Python实现微信好友的数据分析
2019/12/16 Python
Pytorch提取模型特征向量保存至csv的例子
2020/01/03 Python
基于Python3.6中的OpenCV实现图片色彩空间的转换
2020/02/03 Python
win10下python3.8的PIL库安装过程
2020/06/08 Python
Python xpath表达式如何实现数据处理
2020/06/13 Python
基于python实现删除指定文件类型
2020/07/21 Python
pandas实现导出数据的四种方式
2020/12/13 Python
浅谈css3新单位vw、vh、vmin、vmax的使用详解
2017/12/01 HTML / CSS
HTML5上传文件显示进度的实现代码
2012/08/30 HTML / CSS
举例详解HTML5中使用JSON格式提交表单
2015/06/16 HTML / CSS
英国在线房屋中介网站:Yopa
2018/01/09 全球购物
迪士尼英国官方商店:shopDisney UK
2019/09/21 全球购物
params有什么用
2016/03/01 面试题
大学生党课思想汇报
2013/12/29 职场文书
小学优秀班主任事迹材料
2014/05/17 职场文书
企业管理标语
2014/06/10 职场文书
模具设计与制造专业自荐书
2014/07/01 职场文书
大学生毕业评语
2014/12/31 职场文书
2016高一新生军训心得体会
2016/01/11 职场文书
承诺书应该怎么写?
2019/09/10 职场文书
CKAD认证中部署k8s并配置Calico插件
2022/03/31 Servers