python实现文本去重且不打乱原本顺序


Posted in Python onJanuary 26, 2016

代码也是在网上找的,效率挺不错的,特别适合字典文件的去重

#coding=utf-8
import sys
def open_txt(): #打开TXT文本写入数组
try:
xxx = file(sys.argv[1], 'r')
for xxx_line in xxx.readlines():
passlist.append(xxx_line)
xxx.close()
except:
return 0

def write_txt(): #打开TXT文本写入数组
try:
yyy = file(sys.argv[2], 'w')
for i in list_passwed:
yyy.write(i)
yyy.close()
except:
return 0

global passlist #声明全局变量
passlist = [] #用户名:anonymous 密码为空
open_txt() #TXT导入数组
#passlist = list(set(passlist)) #python 列表去重
global list_passwed #列表去重,不打乱原来的顺序
list_passwed=[]
for i in passlist:
if i not in list_passwed:
list_passwed.append(i)
write_txt()

python 读取TXT到数组 列表去重,不打乱原来的顺序

####################################################################
#qq:316118740
#BLOG:http://hi.baidu.com/alalmn
# python 读取TXT到数组 列表去重,不打乱原来的顺序
# 刚学写的不好请大家见谅
####################################################################
 
 
 
def open_txt(): #打开TXT文本写入数组
 try:
  infile = file('admin.txt', 'r')
  xxx = file('admin.txt', 'r')
  for xxx_line in xxx.readlines():
   passlist.append(xxx_line)
  xxx.close()
 except:
  return 0
 
def list_del(): #清空list列表
 try:
  i = 0 #得到list的第一个元素
  while i < len(passlist):
   del passlist[i]
   del list_passwed[i]
 except:
  return 0
 
 
 
###################################### 
 
 global passlist #声明全局变量
 passlist = [] #用户名:anonymous 密码为空
 www_cj(www) #域名拆解
 open_txt() #TXT导入数组
 #passlist = list(set(passlist)) #python 列表去重
 global list_passwed #列表去重,不打乱原来的顺序
 list_passwed=[]
 for i in passlist:
  if i not in list_passwed:
   list_passwed.append(i)
###################################### 遍历数组组合出 密码
 I1 = 0 #得到list的第一个元素
 while I1 < len(list_passwed):
  print "WWWWWWWWWWW",I1
  if I1==len(list_passwed):
   break #退出循环
  I2 = 0 #得到list的第一个元素
  while I2 < len(list_passwed):
   print "1111:",list_passwed[I1],"2222:",list_passwed[I2]
   I2 = I2 + 1 #二层
  I1 = I1 + 1 #一层
######################################

补充

# -*- coding: utf-8 -*-
'''
只使用与较小的文件,比较大的文件运行时间长
'''
def quchong(infile,outfile):

  infopen = open(infile,'r',encoding='utf-8')
  outopen = open(outfile,'w',encoding='utf-8')
  lines = infopen.readlines()
  list_1 = []
  for line in lines:
    if line not in list_1:
      list_1.append(line)
      outopen.write(line)
  infopen.close()
  outopen.close()
quchong("源文件路径","目标文件路径")

本文实例讲述了python读取TXT到数组及列表去重后按原来顺序排序的方法。分享给大家供大家参考。

Python 相关文章推荐
python回溯法实现数组全排列输出实例分析
Mar 17 Python
pandas把dataframe转成Series,改变列中值的类型方法
Apr 10 Python
TensorFlow数据输入的方法示例
Jun 19 Python
详解Python 装饰器执行顺序迷思
Aug 08 Python
在python中使用xlrd获取合并单元格的方法
Dec 26 Python
python 发送和接收ActiveMQ消息的实例
Jan 30 Python
python多线程下信号处理程序示例
May 31 Python
python中threading开启关闭线程操作
May 02 Python
Python实现列表中非负数保留,负数转化为指定的数值方式
Jun 04 Python
keras实现调用自己训练的模型,并去掉全连接层
Jun 09 Python
python pandas dataframe 去重函数的具体使用
Jul 20 Python
Python自动化之UnitTest框架实战记录
Sep 08 Python
举例讲解Python设计模式编程中的访问者与观察者模式
Jan 26 #Python
Python函数中*args和**kwargs来传递变长参数的用法
Jan 26 #Python
python中的编码知识整理汇总
Jan 26 #Python
在MAC上搭建python数据分析开发环境
Jan 26 #Python
python黑魔法之编码转换
Jan 25 #Python
Python编程中对文件和存储器的读写示例
Jan 25 #Python
Python开发如何在ubuntu 15.10 上配置vim
Jan 25 #Python
You might like
第十四节 命名空间 [14]
2006/10/09 PHP
PHP+DBM的同学录程序(4)
2006/10/09 PHP
php ci框架中加载css和js文件失败的解决方法
2014/03/03 PHP
PHP文件锁函数flock()详细介绍
2014/11/18 PHP
Yii净化器CHtmlPurifier用法示例(过滤不良代码)
2016/07/15 PHP
PHP编写简单的App接口
2016/08/28 PHP
如何运行/调试你的PHP代码
2020/10/23 PHP
PHP如何解决微信文章图片防盗链
2020/12/09 PHP
Nigma vs Liquid BO3 第一场2.13
2021/03/10 DOTA
文字不间断滚动(上下左右)实例代码
2013/04/21 Javascript
JavaScript实现瀑布流布局
2020/06/28 Javascript
关于Bootstrap弹出框无法调用问题的解决办法
2016/03/10 Javascript
浅析JS原型继承与类的继承
2016/04/07 Javascript
9个让JavaScript调试更简单的Console命令
2016/11/14 Javascript
利用jquery禁止外层滚动条的滚动
2017/01/05 Javascript
详解Vue.js之视图和数据的双向绑定(v-model)
2017/06/23 Javascript
详细介绍RxJS在Angular中的应用
2017/09/23 Javascript
Layui数据表格之单元格编辑方式
2019/10/26 Javascript
vue 动态表单开发方法案例详解
2019/12/02 Javascript
vue+echarts+datav大屏数据展示及实现中国地图省市县下钻功能
2020/11/16 Javascript
Python按行读取文件的实现方法【小文件和大文件读取】
2016/09/19 Python
PyQt实现界面翻转切换效果
2018/04/20 Python
Python SVM(支持向量机)实现方法完整示例
2018/06/19 Python
python 为什么说eval要慎用
2019/03/26 Python
Python实现的矩阵转置与矩阵相乘运算示例
2019/03/26 Python
python安装pil库方法及代码
2019/06/25 Python
Python3的高阶函数map,reduce,filter的示例详解
2019/07/23 Python
Python3.7+tkinter实现查询界面功能
2019/12/24 Python
keras实现图像预处理并生成一个generator的案例
2020/06/17 Python
Pycharm新手使用教程(图文详解)
2020/09/17 Python
台湾旅游网站:雄狮旅游网
2017/08/16 全球购物
英国豪华针织品牌John Smedley的在线销售商:The Outlet by John Smedley
2018/04/08 全球购物
行政文员岗位职责
2013/11/08 职场文书
森林防火标语
2014/06/23 职场文书
学校清洁工岗位职责
2015/04/15 职场文书
利用Python实现模拟登录知乎
2022/05/25 Python