python实现文本去重且不打乱原本顺序


Posted in Python onJanuary 26, 2016

代码也是在网上找的,效率挺不错的,特别适合字典文件的去重

#coding=utf-8
import sys
def open_txt(): #打开TXT文本写入数组
try:
xxx = file(sys.argv[1], 'r')
for xxx_line in xxx.readlines():
passlist.append(xxx_line)
xxx.close()
except:
return 0

def write_txt(): #打开TXT文本写入数组
try:
yyy = file(sys.argv[2], 'w')
for i in list_passwed:
yyy.write(i)
yyy.close()
except:
return 0

global passlist #声明全局变量
passlist = [] #用户名:anonymous 密码为空
open_txt() #TXT导入数组
#passlist = list(set(passlist)) #python 列表去重
global list_passwed #列表去重,不打乱原来的顺序
list_passwed=[]
for i in passlist:
if i not in list_passwed:
list_passwed.append(i)
write_txt()

python 读取TXT到数组 列表去重,不打乱原来的顺序

####################################################################
#qq:316118740
#BLOG:http://hi.baidu.com/alalmn
# python 读取TXT到数组 列表去重,不打乱原来的顺序
# 刚学写的不好请大家见谅
####################################################################
 
 
 
def open_txt(): #打开TXT文本写入数组
 try:
  infile = file('admin.txt', 'r')
  xxx = file('admin.txt', 'r')
  for xxx_line in xxx.readlines():
   passlist.append(xxx_line)
  xxx.close()
 except:
  return 0
 
def list_del(): #清空list列表
 try:
  i = 0 #得到list的第一个元素
  while i < len(passlist):
   del passlist[i]
   del list_passwed[i]
 except:
  return 0
 
 
 
###################################### 
 
 global passlist #声明全局变量
 passlist = [] #用户名:anonymous 密码为空
 www_cj(www) #域名拆解
 open_txt() #TXT导入数组
 #passlist = list(set(passlist)) #python 列表去重
 global list_passwed #列表去重,不打乱原来的顺序
 list_passwed=[]
 for i in passlist:
  if i not in list_passwed:
   list_passwed.append(i)
###################################### 遍历数组组合出 密码
 I1 = 0 #得到list的第一个元素
 while I1 < len(list_passwed):
  print "WWWWWWWWWWW",I1
  if I1==len(list_passwed):
   break #退出循环
  I2 = 0 #得到list的第一个元素
  while I2 < len(list_passwed):
   print "1111:",list_passwed[I1],"2222:",list_passwed[I2]
   I2 = I2 + 1 #二层
  I1 = I1 + 1 #一层
######################################

补充

# -*- coding: utf-8 -*-
'''
只使用与较小的文件,比较大的文件运行时间长
'''
def quchong(infile,outfile):

  infopen = open(infile,'r',encoding='utf-8')
  outopen = open(outfile,'w',encoding='utf-8')
  lines = infopen.readlines()
  list_1 = []
  for line in lines:
    if line not in list_1:
      list_1.append(line)
      outopen.write(line)
  infopen.close()
  outopen.close()
quchong("源文件路径","目标文件路径")

本文实例讲述了python读取TXT到数组及列表去重后按原来顺序排序的方法。分享给大家供大家参考。

Python 相关文章推荐
Python中logging模块的用法实例
Sep 29 Python
Python中用于返回绝对值的abs()方法
May 14 Python
python删除指定类型(或非指定)的文件实例详解
Jul 06 Python
python轻松查到删除自己的微信好友
Jan 10 Python
Python中的数据对象持久化存储模块pickle的使用示例
Mar 03 Python
详解Python pygame安装过程笔记
Jun 05 Python
Python读取mat文件,并保存为pickle格式的方法
Oct 23 Python
彻底理解Python中的yield关键字
Apr 01 Python
Python将主机名转换为IP地址的方法
Aug 14 Python
Python项目跨域问题解决方案
Jun 22 Python
Python descriptor(描述符)的实现
Nov 15 Python
10个python爬虫入门基础代码实例 + 1个简单的python爬虫完整实例
Dec 16 Python
举例讲解Python设计模式编程中的访问者与观察者模式
Jan 26 #Python
Python函数中*args和**kwargs来传递变长参数的用法
Jan 26 #Python
python中的编码知识整理汇总
Jan 26 #Python
在MAC上搭建python数据分析开发环境
Jan 26 #Python
python黑魔法之编码转换
Jan 25 #Python
Python编程中对文件和存储器的读写示例
Jan 25 #Python
Python开发如何在ubuntu 15.10 上配置vim
Jan 25 #Python
You might like
Zend Studio for Eclipse的java.lang.NullPointerException错误的解决方法
2008/12/06 PHP
如何解决phpmyadmin导入数据库文件最大限制2048KB
2015/10/09 PHP
PHP的Yii框架中View视图的使用进阶
2016/03/29 PHP
php htmlentities()函数的定义和用法
2016/05/13 PHP
PHP程序员学习使用Swoole的理由
2018/06/24 PHP
PHP远程连接oracle数据库操作实现方法图文详解
2019/04/11 PHP
Laravel框架下载,安装及路由操作图文详解
2019/12/04 PHP
Laravel中如何轻松容易的输出完整的SQL语句
2020/07/26 PHP
Alliance vs AM BO3 第一场2.13
2021/03/10 DOTA
超级酷和最实用的jQuery实例收集(20个)
2010/04/21 Javascript
JQuery扩展插件Validate 3通过参数设置错误信息
2011/09/05 Javascript
JavaScript改变HTML元素的样式改变CSS及元素属性
2013/11/12 Javascript
我的Node.js学习之路(三)--node.js作用、回调、同步和异步代码 以及事件循环
2014/07/06 Javascript
JS 打印功能代码可实现打印预览、打印设置等
2014/10/31 Javascript
AngularJS入门教程(一):静态模板
2014/12/06 Javascript
jQuery实用技巧必备(中)
2015/11/03 Javascript
jQuery中通过ajax的get()函数读取页面的方法
2016/02/29 Javascript
微信小程序 PHP后端form表单提交实例详解
2017/01/12 Javascript
微信小程序下拉刷新界面的实现
2017/09/28 Javascript
一个简单的node.js界面实现方法
2018/06/01 Javascript
微信小程序wxs实现吸顶效果
2020/01/08 Javascript
jquery插件实现轮播图效果
2020/10/19 jQuery
[49:58]完美世界DOTA2联赛PWL S3 Magma vs DLG 第一场 12.18
2020/12/19 DOTA
用Python编写一个国际象棋AI程序
2014/11/28 Python
python执行等待程序直到第二天零点的方法
2015/04/23 Python
Python操作csv文件实例详解
2017/07/31 Python
Python下使用Scrapy爬取网页内容的实例
2018/05/21 Python
python框架中flask知识点总结
2018/08/17 Python
使用python对文件中的数值进行累加的实例
2018/11/28 Python
Pandas实现dataframe和np.array的相互转换
2019/11/30 Python
波兰品牌内衣及泳装网上商店:Astratex.pl
2017/02/03 全球购物
化学实验员岗位职责
2013/12/28 职场文书
《圆的面积》教学反思
2016/02/19 职场文书
导游词之北京明十三陵
2019/10/28 职场文书
Python测试框架pytest核心库pluggy详解
2022/08/05 Golang
css之clearfix的用法深入理解(必看篇)
2023/05/21 HTML / CSS