python中对list去重的多种方法


Posted in Python onSeptember 18, 2014

今天遇到一个问题,在同事随意的提示下,用了 itertools.groupby 这个函数。不过这个东西最终还是没用上。

问题就是对一个list中的新闻id进行去重,去重之后要保证顺序不变。

直观方法

最简单的思路就是:

ids = [1,2,3,3,4,2,3,4,5,6,1]

news_ids = []

for id in ids:

    if id not in news_ids:

        news_ids.append(id)
print news_ids

这样也可行,但是看起来不够爽。

用set

另外一个解决方案就是用set:

ids = [1,4,3,3,4,2,3,4,5,6,1]

ids = list(set(ids))

这样的结果是没有保持原来的顺序。

按照索引再次排序

最后通过这种方式解决:

ids = [1,4,3,3,4,2,3,4,5,6,1]

news_ids = list(set(ids))

news_ids.sort(ids.index)

使用itertools.grouby

文章一开始就提到itertools.grouby, 如果不考虑列表顺序的话可用这个:

ids = [1,4,3,3,4,2,3,4,5,6,1]

ids.sort()

it = itertools.groupby(ids)
for k, g in it:

    print k

关于itertools.groupby的原理可以看这里:http://docs.python.org/2/library/itertools.html#itertools.groupby

网友补充:用reduce

网友reatlk留言给了另外的解决方案。我补充并解释到这里:

In [5]: ids = [1,4,3,3,4,2,3,4,5,6,1]
In [6]: func = lambda x,y:x if y in x else x + [y]
In [7]: reduce(func, [[], ] + ids)

Out[7]: [1, 4, 3, 2, 5, 6]

上面是我在ipython中运行的代码,其中的 lambda x,y:x if y in x else x + [y] 等价于 lambda x,y: y in x and x or x+[y] 。

思路其实就是先把ids变为[[], 1,4,3,......] ,然后在利用reduce的特性。reduce解释参看这里:http://docs.python.org/2/library/functions.html#reduce

Python 相关文章推荐
Python 关于反射和类的特殊成员方法
Sep 14 Python
使用pycharm生成代码模板的实例
May 23 Python
Python Opencv实现图像轮廓识别功能
Mar 23 Python
Python动态参数/命名空间/函数嵌套/global和nonlocal
May 29 Python
详解PANDAS 数据合并与重塑(join/merge篇)
Jul 09 Python
Django Rest framework权限的详细用法
Jul 25 Python
python 字典 setdefault()和get()方法比较详解
Aug 07 Python
python使用opencv实现马赛克效果示例
Sep 28 Python
将python字符串转化成长表达式的函数eval实例
May 11 Python
python中常见错误及解决方法
Jun 21 Python
keras 两种训练模型方式详解fit和fit_generator(节省内存)
Jul 03 Python
python 实现图片批量压缩的示例
Dec 18 Python
Python中用Descriptor实现类级属性(Property)详解
Sep 18 #Python
Python中的闭包总结
Sep 18 #Python
python的即时标记项目练习笔记
Sep 18 #Python
python脚本实现分析dns日志并对受访域名排行
Sep 18 #Python
python中的字典详细介绍
Sep 18 #Python
python中执行shell命令的几个方法小结
Sep 18 #Python
python处理PHP数组文本文件实例
Sep 18 #Python
You might like
php zend 相对路径问题
2009/01/12 PHP
万能的php分页类
2017/07/06 PHP
PHP批量删除jQuery操作
2017/07/23 PHP
laravel 5异常错误:FatalErrorException in Handler.php line 38的解决
2017/10/12 PHP
jQuery拖动图片删除示例
2013/05/10 Javascript
jquery导航制件jquery鼠标经过变色效果示例
2013/12/05 Javascript
javascript根据像素点取位置示例
2014/01/27 Javascript
使用jQuery异步加载 JavaScript脚本解决方案
2014/04/20 Javascript
js 获取时间间隔实现代码
2014/05/12 Javascript
jQuery中add()方法用法实例
2015/01/08 Javascript
jQuery使用hide方法隐藏页面上指定元素的方法
2015/03/30 Javascript
ashx文件获取$.ajax()方法发送的数据
2016/05/26 Javascript
JavaScript将base64图片转换成formData并通过AJAX提交的实现方法
2016/10/24 Javascript
Bootstrap基本插件学习笔记之轮播幻灯片(23)
2016/12/08 Javascript
基于BootStrap栅格栏系统完成网站底部版权信息区
2016/12/23 Javascript
jQuery中绑定事件bind() on() live() one()的异同
2017/02/23 Javascript
Node.JS中事件轮询(Event Loop)的解析
2017/02/25 Javascript
vuejs父子组件之间数据交互详解
2017/08/09 Javascript
layui中layer前端组件实现图片显示功能的方法分析
2017/10/13 Javascript
jQuery 禁止表单用户名、密码自动填充功能
2017/10/30 jQuery
Jquery+javascript实现支付网页数字键盘
2020/12/21 jQuery
原生JavaScript实现轮播图
2021/01/10 Javascript
python支持断点续传的多线程下载示例
2014/01/16 Python
简单的连接MySQL与Python的Bottle框架的方法
2015/04/30 Python
批量获取及验证HTTP代理的Python脚本
2017/04/23 Python
python保存字典和读取字典的实例代码
2019/07/07 Python
python的debug实用工具 pdb详解
2019/07/12 Python
python实现感知机模型的示例
2020/09/30 Python
Bailey帽子官方商店:Bailey Hats
2018/09/25 全球购物
单位门卫岗位职责
2013/12/20 职场文书
校园自助餐厅的创业计划书
2013/12/26 职场文书
2014年三八妇女节活动总结
2014/03/01 职场文书
杭州黄龙洞导游词
2015/02/10 职场文书
赵氏孤儿观后感
2015/06/09 职场文书
OpenCV-Python模板匹配人眼的实例
2021/06/08 Python
电脑开机弹出documents文件夹怎么回事?弹出documents文件夹解决方法
2022/04/08 数码科技