python按照list中字典的某key去重的示例代码


Posted in Python onOctober 13, 2020

一、需求说明

当我们写爬虫的时候,经常会遇到json格式的数据,它通常是如下结构:

data = [{'name':'小K','score':100},
    {'name':'小J','score':98},
    {'name':'小Q','score':95},
    {'name':'小K','score':100}]

很显然名字为小K的数据重复了,我们需要进行去重。通常对于list的去重,我们可以用set()函数,即:

data = list(set(data))

然而,运行之后你会发现它报错了:

python按照list中字典的某key去重的示例代码

list里的数据不能是dict类型,那么该怎么办呢?

二、我的解决方案

定义一个去重的函数即可,根据里面的某个key,对数据进行筛选去重:

def DelRepeat(data,key):
  new_data = [] # 用于存储去重后的list
  values = []  # 用于存储当前已有的值
  for d in data:
    if d[key] not in values:
      new_data.append(d)
      values.append(d[key])
  return new_data

参数data为需要去重的list,key为去重的健(即按照哪个key来去重),去重后结果为:

[{'name': '小K', 'score': 100},
 {'name': '小J', 'score': 98},
 {'name': '小Q', 'score': 95}]

成功去重!

到此这篇关于python按照list中字典的某key去重的示例代码的文章就介绍到这了,更多相关python list字典的某key去重内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木! 

Python 相关文章推荐
Python编码时应该注意的几个情况
Mar 04 Python
Python内置的字符串处理函数详细整理(覆盖日常所用)
Aug 19 Python
Python实现二叉搜索树
Feb 03 Python
python实现简单购物商城
May 21 Python
根据DataFrame某一列的值来选择具体的某一行方法
Jul 03 Python
Python中return self的用法详解
Jul 27 Python
详解Python requests 超时和重试的方法
Dec 18 Python
Python循环结构的应用场景详解
Jul 11 Python
使用python求斐波那契数列中第n个数的值示例代码
Jul 26 Python
Python 操作SQLite数据库的示例
Oct 16 Python
利用Python实现自动扫雷小脚本
Dec 17 Python
python数字图像处理:图像的绘制
Jun 28 Python
Python importlib模块重载使用方法详解
Oct 13 #Python
Pycharm添加虚拟解释器报错问题解决方案
Oct 13 #Python
Python本地及虚拟解释器配置过程解析
Oct 13 #Python
Pycharm快捷键配置详细整理
Oct 13 #Python
Django项目创建及管理实现流程详解
Oct 13 #Python
OpenCV读取与写入图片的实现
Oct 13 #Python
Django Form常用功能及代码示例
Oct 13 #Python
You might like
优化PHP代码技巧的小结
2013/06/02 PHP
解析PHP SPL标准库的用法(遍历目录,查找固定条件的文件)
2013/06/18 PHP
ThinkPHP中处理表单中的注意事项
2014/11/22 PHP
PHP原生函数一定好吗?
2014/12/08 PHP
浅谈thinkphp的实例化模型
2015/01/04 PHP
php 解析xml 的四种方法详细介绍
2016/10/26 PHP
thinkPHP交易详情查询功能详解
2016/12/02 PHP
JavaScript 学习笔记(十二) dom
2010/01/21 Javascript
getElementsByTagName vs selectNodes效率 及兼容的selectNodes实现
2010/02/26 Javascript
javascript设计模式之中介者模式Mediator
2014/12/30 Javascript
IE中鼠标经过option触发mouseout的解决方法
2015/01/29 Javascript
JavaScript中的this到底是什么(一)
2015/12/09 Javascript
Angular实现类似博客评论的递归显示及获取回复评论的数据
2017/11/06 Javascript
JS异步函数队列功能实例分析
2017/11/28 Javascript
jQuery模拟12306城市选择框功能简单实现方法示例
2018/08/13 jQuery
Iview Table组件中各种组件扩展的使用
2018/10/20 Javascript
微信小程序拼接图片链接无底洞深入探究
2019/09/03 Javascript
Vue-cli3项目引入Typescript的实现方法
2019/10/18 Javascript
Python模拟随机游走图形效果示例
2018/02/06 Python
Opencv-Python图像透视变换cv2.warpPerspective的示例
2019/04/11 Python
Python使用pyserial进行串口通信的实例
2019/07/02 Python
Python实现简单猜数字游戏
2021/02/03 Python
Canvas制作旋转的太极的示例
2018/03/09 HTML / CSS
navabi英国:设计师大码女装
2019/06/25 全球购物
科颜氏印度官网:Kiehl’s印度
2021/02/20 全球购物
安全员岗位职责
2013/11/11 职场文书
群众路线批评与自我批评
2014/02/06 职场文书
大学生自荐信范文
2015/03/05 职场文书
2015教师节师德演讲稿
2015/03/19 职场文书
总经理助理岗位职责范本
2015/03/31 职场文书
商务司机岗位职责
2015/04/10 职场文书
2015年保洁员工作总结
2015/05/04 职场文书
2015年语文教学工作总结
2015/05/25 职场文书
linux中nohup和后台运行进程查看及终止
2021/06/24 Python
python和Appium的移动端多设备自动化测试框架
2022/04/26 Python
mysql幻读详解实例以及解决办法
2022/06/16 MySQL