图片去除重复问题

你送的花开了

在研究图片标注训练  采集了一批图片进行标注  但是重复的图片太多 手动筛选删除根本删不完看论坛好像也找到相关的帖子
本来是想通过字节集判断是否一致 但是好像操作的有点不太对
来个老哥给个靠谱的去重思路或例子 或者相关的帖子

重复图片只保留1张

fire9

东西先备份下，再用这个。
给你用python实践了下  >  安装这个库就行 opencv-python

import cv2
import os
from collections import defaultdict

def dhash(image, hash_size=8):
    """
    计算图片的差异哈希值
    """
    # 调整图片大小，并多加一列以便计算水平梯度
    resized = cv2.resize(image, (hash_size + 1, hash_size))
    # 计算相邻列像素之间的相对水平梯度
    diff = resized[:, 1:] > resized[:, :-1]
    # 将差异图片转换为哈希值
    return sum([2 ** i for (i, v) in enumerate(diff.flatten()) if v])

def find_duplicates(folder_path):
    """
    找到文件夹中的重复图片
    """
    hashes = defaultdict(list)
    duplicates = []

    # 遍历文件夹中的图片文件
    for filename in os.listdir(folder_path):
        if filename.endswith(('.png', '.jpg', '.jpeg', '.bmp', '.gif')):
            filepath = os.path.join(folder_path, filename)
            image = cv2.imread(filepath, cv2.IMREAD_GRAYSCALE)
            if image is None:
                continue
            h = dhash(image)
            hashes[h].append(filepath)

    # 找到哈希值相同的图片
    for h, files in hashes.items():
        if len(files) > 1:
            duplicates.append(files[1:])  # 保留每组重复图片中的第一张，记录其余的图片

    return duplicates

def delete_duplicates(folder_path):
    """
    删除文件夹中的重复图片，只保留每组中的一张
    """
    duplicates = find_duplicates(folder_path)
    for group in duplicates:
        for file in group:
            os.remove(file)
            print(f"已删除重复文件: {file}")

if __name__ == "__main__":
    folder_path = "path/to/your/image/folder"  # 替换为你的图片文件夹路径
    delete_duplicates(folder_path)

补充内容 (2024-5-31 08:31):
仅供参考。  

xiaoSeven

对效率有没有要求，直接图片对比，相似度设定范围，然后删掉重复的

走一回

如果重复的图片字节集完全一样，操作还是比较容易的。可以考虑用节点来完成去重，因为节点在加入属性时自动去重的。