使用Python查找目录中的重复文件

是这样的，电脑上的堆积的照片有点多，并且重复的照片被放在了不一样的目录，占用的空间愈来愈大，数量也多得已经不太适合人工分辨整理，写个Python脚原本处理吧。

文件的惟一标识 - MD5

假如你要处理的重复文件有不一样的文件名，最简单的办法就是经过MD5来肯定两个文件是否是同样的。

def md5sum(filename, blocksize=65536):
    hash = hashlib.md5()
    with open(filename, "rb") as f:
        for block in iter(lambda: f.read(blocksize), b""):
            hash.update(block)
    return hash.hexdigest()

这个方法能够快速得到一个文件的MD5值，blocksize 能够根据文件大小和CPU性能调整，通常选择的值约等于文件的平均大小。

保存全部文件标识和路径

接下来遍历全部文件，使用MD5做为key，路径做为value，保存起来。

dup = {}

def build_hash_dict(dir_path, pattern='*.jpg'):
    
    def save(file):
        hash = md5sum(file)
        if hash not in dup.keys():
            dup[hash] = [file]
        else:
            dup[hash].append(file)

    p = Path(dir_path)
    for item in p.glob('**/' + pattern):
        save(str(item))

处理重复文件

最后一步很是简单，把上一步创建的字典作一个简单的过滤就能找到重复文件。

def get_duplicate():
    return {k: v for k, v in dup.items() if len(v) > 1}

for hash, files in get_duplicate().items():
    print("{}: {}".format(hash, files))

接下来你能够根据本身的须要删除或者保留某个路径下的文件，本文到此为止。

完整的脚本代码： https://gist.github.com/tobyq...

关于做者：

Toby Qin, Python 技术爱好者，目前从事测试开发相关工做，转载请注明原文出处。

欢迎关注个人博客 https://betacat.online，你能够到个人公众号中去当吃瓜群众。