文件夹深部不大但文件有50万个，我怎么才能性能最快的找...

HccCmHj · 发表于 2025-3-20 07:50:17

请教下文件夹深部不大但文件有50万个，我怎么才能性能最快的找出重复文件名的文件路径？我现在做法是递归，开10个线程跑，把文件路径加文件名字同时写入一个集变量数组（当然会判断新写入数据是否再数组里存在过），但我的方法测试了下，7万数据是16分钟，1个小时是16万数据（且因为写入集变量数组前要判断是否有重复值，写入的数据量越大越慢），性能远远达不到要求。求大神指点下。谢谢

时创智联 · 发表于 4 天前

文件夹下的文件个数好像有个上限吧？50W都还没达到么？

笨来无一悟 · 发表于 2025-3-20 13:43:15

本帖最后由笨来无一悟于 2025-3-20 13:44 编辑

HccCmHj 发表于 2025-3-20 11:13
大神，易语言哈希表怎么用？我现在的需求就是有文件名一致就判定是同一个文件。 ...

哈希表类_汇编版(HashMap_ASM) 支持自定义数据值
https://bbs.125.la/forum.php?mod=viewthread&tid=14516715
(出处: 精易论坛)

HccCmHj · 发表于 2025-3-20 11:26:00

a019872140 发表于 2025-3-20 11:18
把所有的文件名..文件名头加个顺序数字..写到一个txt里面...在用字节集或者文本寻找.....别说50万个了 5忆 ...

不是查找，是找出文件里重名的不同路径下的文件

a019872140 · 发表于 2025-3-20 11:18:57

把所有的文件名..文件名头加个顺序数字..写到一个txt里面...在用字节集或者文本寻找.....别说50万个了 5忆个都是0.1找到

HccCmHj · 发表于 2025-3-20 11:13:54

笨来无一悟发表于 2025-3-20 08:49
哈希表判断是否重复 md5判断是不是同一个文件而不是看文件名除非你确定名字相同的就一定是内容也相同的 ...

大神，易语言哈希表怎么用？我现在的需求就是有文件名一致就判定是同一个文件。

HccCmHj · 发表于 2025-3-20 11:12:34

辽阳小哲发表于 2025-3-20 08:56
sqlite数据库，记录文件路径和md5，文件扫描入库，cha询语句查重。

没有数据库，我用everything完成了第一步，生成了目录下路径+文件名的TXT文件。

Daen · 发表于 2025-3-20 09:43:03

直接调用Everything的dll

HccCmHj · 发表于 2025-3-20 09:01:04

fireandice 发表于 2025-3-20 08:36
有一个专门搜索的软件叫做Everything，可以使用它测试下是否满足你的需求，它有sdk ...

太感谢了，所有的文件名和路径都生成了，比我自己递归的快很多很多倍，谢谢大神

辽阳小哲 · 发表于 2025-3-20 08:56:29

sqlite数据库，记录文件路径和md5，文件扫描入库，cha询语句查重。

		自动登录	找回密码
密码			注册

[讨论] 文件夹深部不大但文件有50万个，我怎么才能性能最快的找...

点评

浏览过的版块