手机号码去重一千万2秒内，bitmap支持百亿号码，仅耗内存1.2G

超级の赛亚人 · 发表于 2021-8-18 13:42:04

本帖最后由超级の赛亚人于 2021-8-18 14:10 编辑

465228962 发表于 2021-8-18 12:50
挂了，运行不了

手机号高效去重复2.rar (309.34 KB, 下载次数: 7)

465228962 · 发表于 2021-8-18 12:50:06

超级の赛亚人发表于 2021-8-18 10:43
继续单线程

挂了，运行不了

超级の赛亚人 · 发表于 2021-8-18 10:43:22

手机号高效去重复2.rar (309.34 KB, 下载次数: 9)

老毛桃 · 发表于 2021-8-17 22:28:00

支持开源~！感谢分享

465228962 · 发表于 2021-8-17 14:27:22

超级の赛亚人发表于 2021-8-17 14:14
在优化估计得优化哈希表内部,添加数据比较耗时！

源码开源借鉴一下啊，学习下，我那个哈希测试也是ASM的，为什么要4秒多

465228962 · 发表于 2021-8-17 14:19:12

465228962 发表于 2021-8-17 14:17
测试过了，主要还是重复率的问题，这个是影响速度的关键

还有就是asm的哈希表还是不支持过大数据量处理，毕竟易语言32位内存到1.7G就崩溃了，你的处理不能超过一亿，我这个去重100亿也是没问题的

465228962 · 发表于 2021-8-17 14:17:16

超级の赛亚人发表于 2021-8-17 14:14
在优化估计得优化哈希表内部

测试过了，主要还是重复率的问题，这个是影响速度的关键

超级の赛亚人 · 发表于 2021-8-17 14:14:44

本帖最后由超级の赛亚人于 2021-8-17 14:17 编辑

QQ截图20210817135633.png

在优化估计得优化哈希表内部,添加数据比较耗时！

465228962 · 发表于 2021-8-17 12:46:47

超级の赛亚人发表于 2021-8-17 11:02
看看这个，不保证没有bug

重复率不要设置那么高，你这样等于32W的耗时，把重复率设置到10%以下，你在试试，强行大量重复测试就没意思了哈

超级の赛亚人 · 发表于 2021-8-17 11:02:51

本帖最后由超级の赛亚人于 2021-8-17 11:04 编辑

QQ截图20210817105917.png

手机号高效去重复.rar (322.54 KB, 下载次数: 7)

		自动登录	找回密码
密码			注册

[易源码分享] 手机号码去重一千万2秒内，bitmap支持百亿号码，仅耗内存1.2G