用python删除文件夹中的重复图片(图片去重)


Posted in Python onMay 12, 2021

第一部分:判断两张图片是否相同

要查找重复的图片,必然绕不开判断两张图片是否相同。判断两张图片简单呀!图片可以看成数组,比较两个数组是否相等不就行了。但是这样做太过简单粗暴,因为两个数组的每个元素都要一一比较,效率很低。为了尽量避免两个庞大的数组比较:

  • 先进行两张图片的大小(byte)比较,若大小不相同,则两张图片不相同;
  • 在两张图片的大小相同的前提下,进行两张图片的尺寸(长和宽)比较,若尺寸不相同,则两张不相同;
  • 在两张图片的尺寸相同的前提下,进行两张图片的内容(即数组元素)比较,若内容不相同,则图片不相同;

这样,当图片大小或图片尺寸不相同的时候,便认为两张图片不同,可以省去比较数组元素的部分,效率up~

import shutil
import numpy as np
from PIL import Image
import os


def 比较图片大小(dir_image1, dir_image2):
    with open(dir_image1, "rb") as f1:
        size1 = len(f1.read())
    with open(dir_image2, "rb") as f2:
        size2 = len(f2.read())
    if(size1 == size2):
        result = "大小相同"
    else:
        result = "大小不同"
    return result


def 比较图片尺寸(dir_image1, dir_image2):
    image1 = Image.open(dir_image1)
    image2 = Image.open(dir_image2)
    if(image1.size == image2.size):
        result = "尺寸相同"
    else:
        result = "尺寸不同"
    return result


def 比较图片内容(dir_image1, dir_image2):
    image1 = np.array(Image.open(dir_image1))
    image2 = np.array(Image.open(dir_image2))
    if(np.array_equal(image1, image2)):
        result = "内容相同"
    else:
        result = "内容不同"
    return result


def 比较两张图片是否相同(dir_image1, dir_image2):
    # 比较两张图片是否相同
    # 第一步:比较大小是否相同
    # 第二步:比较长和宽是否相同
    # 第三步:比较每个像素是否相同
    # 如果前一步不相同,则两张图片必不相同
    result = "两张图不同"
    大小 = 比较图片大小(dir_image1, dir_image2)
    if(大小 == "大小相同"):
        尺寸 = 比较图片尺寸(dir_image1, dir_image2)
        if(尺寸 == "尺寸相同"):
            内容 = 比较图片内容(dir_image1, dir_image2)
            if(内容 == "内容相同"):
                result = "两张图相同"
    return result

第二部分:判断文件夹内是否有重复图片

若要判断文件夹内是否有和图片A相同的图片,则需要遍历文件夹内所有图片,挨个判断两个图片是否相同。若文件夹有1000张图片,那么第1张图片需要与剩下的999张图片作比较,第2张图片需要与剩下的998张图片作比较,第3张需要与剩下的997张图片作比较,以此类推。在此程序中的做法是,先对所有图片按图片大小(byte)排序,然后再执行遍历比较。这样做的结果是:重复图片很大概率会连着出现(因为重复图片大小相同)

if __name__ == '__main__':

    load_path = 'E:\\测试图片集(未去重)'  # 要去重的文件夹
    save_path = 'E:\\测试图片集(重复照片)'  # 空文件夹,用于存储检测到的重复的照片
    os.makedirs(save_path, exist_ok=True)

    # 获取图片列表 file_map,字典{文件路径filename : 文件大小image_size}
    file_map = {}
    image_size = 0
    # 遍历filePath下的文件、文件夹(包括子目录)
    for parent, dirnames, filenames in os.walk(load_path):
        # for dirname in dirnames:
        # print('parent is %s, dirname is %s' % (parent, dirname))
        for filename in filenames:
            # print('parent is %s, filename is %s' % (parent, filename))
            # print('the full name of the file is %s' % os.path.join(parent, filename))
            image_size = os.path.getsize(os.path.join(parent, filename))
            file_map.setdefault(os.path.join(parent, filename), image_size)

    # 获取的图片列表按 文件大小image_size 排序
    file_map = sorted(file_map.items(), key=lambda d: d[1], reverse=False)
    file_list = []
    for filename, image_size in file_map:
        file_list.append(filename)

    # 取出重复的图片
    file_repeat = []
    for currIndex, filename in enumerate(file_list):
        dir_image1 = file_list[currIndex]
        dir_image2 = file_list[currIndex + 1]
        result = 比较两张图片是否相同(dir_image1, dir_image2)
        if(result == "两张图相同"):
            file_repeat.append(file_list[currIndex + 1])
            print("\n相同的图片:", file_list[currIndex], file_list[currIndex + 1])
        else:
            print('\n不同的图片:', file_list[currIndex], file_list[currIndex + 1])
        currIndex += 1
        if currIndex >= len(file_list)-1:
            break

    # 将重复的图片移动到新的文件夹,实现对原文件夹降重
    for image in file_repeat:
        shutil.move(image, save_path)
        print("正在移除重复照片:", image)

第三部分:程序运行结果

若文件夹下有10张图片A、5张图片B、1张图片C,程序运行结束后,该文件夹下剩余1张图片A、1张图片B、1张图片C;其他的图片移动到 save_path 指定的文件夹下。

第四部分:注意

程序代码可以直接复制使用,需要修改 load_path 和 save_path 参数;

保证 load_path 文件夹都为图片格式(.jpg .png .jpeg)的文件类型,不可以有其他格式的文件(例如.mp4);请先用资源管理器处理文件夹,大佬直接修改代码读取文件夹下指定类型的文件;

以上就是用python删除文件夹中的重复图片的详细内容,更多关于python 删除重复图片的资料请关注三水点靠木其它相关文章!

Python 相关文章推荐
Python运行报错UnicodeDecodeError的解决方法
Jun 07 Python
Python连接DB2数据库
Aug 27 Python
Python中easy_install 和 pip 的安装及使用
Jun 05 Python
Python实现针对给定字符串寻找最长非重复子串的方法
Apr 21 Python
基于python的多进程共享变量正确打开方式
Apr 28 Python
Python Series从0开始索引的方法
Nov 06 Python
Python简易版停车管理系统
Aug 12 Python
python制作英语翻译小工具代码实例
Sep 09 Python
Python使用APScheduler实现定时任务过程解析
Sep 11 Python
Django中自定义模型管理器(Manager)及方法
Sep 23 Python
python实现复制文件到指定目录
Oct 16 Python
Python之京东商品秒杀的实现示例
Jan 06 Python
Pyhton模块和包相关知识总结
python 下划线的多种应用场景总结
May 12 #Python
超级详细实用的pycharm常用快捷键
pycharm 如何查看某一函数源码的快捷键
教你使用Pandas直接核算Excel中快递费用
用python开发一款操作MySQL的小工具
May 12 #Python
浅谈Python类的单继承相关知识
May 12 #Python
You might like
php中用加号与用array_merge合并数组的区别深入分析
2013/06/03 PHP
解决File size limit exceeded 错误的方法
2013/06/14 PHP
destoon首页调用求购供应信息的地区名称的方法
2014/08/21 PHP
php通过curl模拟登陆DZ论坛
2015/05/11 PHP
PHP获取数组最大值下标的方法
2015/05/12 PHP
PHP使用递归方式列出当前目录下所有文件的方法
2015/06/02 PHP
php版交通银行网银支付接口开发入门教程
2016/09/26 PHP
PHP中十六进制颜色与RGB颜色值互转的方法
2019/03/18 PHP
php+jQuery ajax实现的实时刷新显示数据功能示例
2019/09/12 PHP
关于Laravel-admin的基础用法总结和自定义model详解
2019/10/08 PHP
js导航菜单(自写)简单大方
2013/03/28 Javascript
使用js正则控制input标签只允许输入的值
2013/07/29 Javascript
jquery常用的12个小功能
2016/07/22 Javascript
jQuery窗口拖动功能的实现代码
2017/02/04 Javascript
老生常谈js中0到底是 true 还是 false
2017/03/08 Javascript
Angular2下使用pdf插件的方法详解
2017/04/29 Javascript
vue实现element-ui对话框可拖拽功能
2018/08/17 Javascript
vue实现按需加载组件及异步组件功能
2019/05/27 Javascript
使用JS来动态操作css的几种方法
2019/12/18 Javascript
JS实现旋转木马轮播图
2020/01/01 Javascript
微信小程序实现二维码签到考勤系统
2020/01/16 Javascript
在Python中使用成员运算符的示例
2015/05/13 Python
Python中title()方法的使用简介
2015/05/20 Python
Python读取Excel的方法实例分析
2015/07/11 Python
python使用logging模块发送邮件代码示例
2018/01/18 Python
使用python opencv对目录下图片进行去重的方法
2019/01/12 Python
python实现TCP文件传输
2020/03/20 Python
英国标志性奢侈品牌:Burberry
2016/07/28 全球购物
软件测试工程师结构化面试题库
2016/11/23 面试题
一名毕业生的自我鉴定
2013/12/04 职场文书
师德个人剖析材料
2014/02/02 职场文书
集中采购方案
2014/06/10 职场文书
新闻发布会策划方案
2014/06/12 职场文书
2016年五一劳动节专题校园广播稿
2015/12/17 职场文书
2019个人年度目标制定攻略!
2019/07/12 职场文书
Python 实现绘制子图及子图刻度的变换等问题
2021/05/31 Python