python实现文本去重且不打乱原本顺序


Posted in Python onJanuary 26, 2016

代码也是在网上找的,效率挺不错的,特别适合字典文件的去重

#coding=utf-8
import sys
def open_txt(): #打开TXT文本写入数组
try:
xxx = file(sys.argv[1], 'r')
for xxx_line in xxx.readlines():
passlist.append(xxx_line)
xxx.close()
except:
return 0

def write_txt(): #打开TXT文本写入数组
try:
yyy = file(sys.argv[2], 'w')
for i in list_passwed:
yyy.write(i)
yyy.close()
except:
return 0

global passlist #声明全局变量
passlist = [] #用户名:anonymous 密码为空
open_txt() #TXT导入数组
#passlist = list(set(passlist)) #python 列表去重
global list_passwed #列表去重,不打乱原来的顺序
list_passwed=[]
for i in passlist:
if i not in list_passwed:
list_passwed.append(i)
write_txt()

python 读取TXT到数组 列表去重,不打乱原来的顺序

####################################################################
#qq:316118740
#BLOG:http://hi.baidu.com/alalmn
# python 读取TXT到数组 列表去重,不打乱原来的顺序
# 刚学写的不好请大家见谅
####################################################################
 
 
 
def open_txt(): #打开TXT文本写入数组
 try:
  infile = file('admin.txt', 'r')
  xxx = file('admin.txt', 'r')
  for xxx_line in xxx.readlines():
   passlist.append(xxx_line)
  xxx.close()
 except:
  return 0
 
def list_del(): #清空list列表
 try:
  i = 0 #得到list的第一个元素
  while i < len(passlist):
   del passlist[i]
   del list_passwed[i]
 except:
  return 0
 
 
 
###################################### 
 
 global passlist #声明全局变量
 passlist = [] #用户名:anonymous 密码为空
 www_cj(www) #域名拆解
 open_txt() #TXT导入数组
 #passlist = list(set(passlist)) #python 列表去重
 global list_passwed #列表去重,不打乱原来的顺序
 list_passwed=[]
 for i in passlist:
  if i not in list_passwed:
   list_passwed.append(i)
###################################### 遍历数组组合出 密码
 I1 = 0 #得到list的第一个元素
 while I1 < len(list_passwed):
  print "WWWWWWWWWWW",I1
  if I1==len(list_passwed):
   break #退出循环
  I2 = 0 #得到list的第一个元素
  while I2 < len(list_passwed):
   print "1111:",list_passwed[I1],"2222:",list_passwed[I2]
   I2 = I2 + 1 #二层
  I1 = I1 + 1 #一层
######################################

补充

# -*- coding: utf-8 -*-
'''
只使用与较小的文件,比较大的文件运行时间长
'''
def quchong(infile,outfile):

  infopen = open(infile,'r',encoding='utf-8')
  outopen = open(outfile,'w',encoding='utf-8')
  lines = infopen.readlines()
  list_1 = []
  for line in lines:
    if line not in list_1:
      list_1.append(line)
      outopen.write(line)
  infopen.close()
  outopen.close()
quchong("源文件路径","目标文件路径")

本文实例讲述了python读取TXT到数组及列表去重后按原来顺序排序的方法。分享给大家供大家参考。

Python 相关文章推荐
Python使用Socket(Https)Post登录百度的实现代码
May 18 Python
Python中使用摄像头实现简单的延时摄影技术
Mar 27 Python
详解Python的Django框架中的中间件
Jul 24 Python
Python字符串切片操作知识详解
Mar 28 Python
Python判断列表是否已排序的各种方法及其性能分析
Jun 20 Python
Python使用SQLite和Excel操作进行数据分析
Jan 20 Python
用Pelican搭建一个极简静态博客系统过程解析
Aug 22 Python
PyTorch中 tensor.detach() 和 tensor.data 的区别详解
Jan 06 Python
python GUI库图形界面开发之PyQt5表单布局控件QFormLayout详细使用方法与实例
Mar 06 Python
为什么说python更适合树莓派编程
Jul 20 Python
python 模拟登陆163邮箱
Dec 15 Python
python 写一个水果忍者游戏
Jan 13 Python
举例讲解Python设计模式编程中的访问者与观察者模式
Jan 26 #Python
Python函数中*args和**kwargs来传递变长参数的用法
Jan 26 #Python
python中的编码知识整理汇总
Jan 26 #Python
在MAC上搭建python数据分析开发环境
Jan 26 #Python
python黑魔法之编码转换
Jan 25 #Python
Python编程中对文件和存储器的读写示例
Jan 25 #Python
Python开发如何在ubuntu 15.10 上配置vim
Jan 25 #Python
You might like
php的sprintf函数的用法 控制浮点数格式
2014/02/14 PHP
PHP中对于浮点型的数据需要用不同的方法解决
2014/03/11 PHP
PHP中子类重载父类的方法【parent::方法名】
2016/05/06 PHP
无需数据库在线投票调查php代码
2016/07/20 PHP
php字符串过滤strip_tags()函数用法实例分析
2019/06/24 PHP
Yii框架日志操作图文与实例详解
2019/09/09 PHP
php生成短网址/短链接原理和用法实例分析
2020/05/29 PHP
用window.location.href实现刷新另个框架页面
2007/03/07 Javascript
js 鼠标点击事件及其它捕获
2009/06/04 Javascript
5个JavaScript经典面试题
2014/10/13 Javascript
jQuery实现企业网站横幅焦点图切换功能实例
2015/04/30 Javascript
如何解决jQuery EasyUI 已打开Tab重新加载问题
2016/12/19 Javascript
微信小程序中子页面向父页面传值实例详解
2017/03/20 Javascript
Vue.js样式动态绑定实现小结
2019/01/24 Javascript
JavaScript 实现继承的几种方式
2021/02/19 Javascript
跟老齐学Python之用while来循环
2014/10/02 Python
python常规方法实现数组的全排列
2015/03/17 Python
Python在不同目录下导入模块的实现方法
2017/10/27 Python
Tensorflow使用tfrecord输入数据格式
2018/06/19 Python
Python中一般处理中文的几种方法
2019/03/06 Python
python多线程与多进程及其区别详解
2019/08/08 Python
python编写扎金花小程序的实例代码
2021/02/23 Python
移动端Web页面的CSS3 flex布局快速上手指南
2016/05/31 HTML / CSS
Fox Racing官方网站:越野摩托车和山地自行车装备和服装
2019/12/23 全球购物
迪士尼西班牙官方网上商店:ShopDisney西班牙
2020/02/02 全球购物
医药营销专业个人自荐信
2013/09/29 职场文书
服务承诺书格式
2014/05/21 职场文书
服务宗旨标语
2014/07/01 职场文书
法制教育演讲稿
2014/09/10 职场文书
党的群众路线调研报告
2014/11/03 职场文书
2014年幼儿园老师工作总结
2014/12/05 职场文书
世界气象日活动总结
2015/02/27 职场文书
中学校园广播稿
2015/08/18 职场文书
用Python写一个简易版弹球游戏
2021/04/13 Python
python游戏开发之pygame实现接球小游戏
2022/04/22 Python
kubernetes集群搭建Zabbix监控平台的详细过程
2022/07/07 Servers