【原创】纯易写—哈希算法—大文本多线程【去重复文本】。支持G级别文本-稳定

langrenjianke · 发表于 2020-4-18 15:21:10

1101672929 发表于 2020-4-18 09:50
楼主这个没下载.不过可以估计,过滤不准确..不信的话..可以试试一个:1~100000的文本数值过滤..还有,易语言逻 ...

首先还是感谢易友提出的宝贵意见：我已经把逻辑型改为了，字节型。

然后回答你第一个猜测。答案是肯定的。因为哈希算法肯定会存在误差。 MD5也一样会出现重复的情况

第一次测试：
我用上面的源码测试后以素数为：40000003 为模运算时在1~100000 的文本里的误差是2.7.....%；（有点高）

第二次测试：
但是只要素数选择的合适可以无限降低误差。我用素数：40043893 为模运算时 1~100000 的文本里误差是0 （合格）；但再大一个或几个量级肯定还会出现误差。但是这已经足够G级别的去重了。

假如果还要再大量级，同样可以用合适的素数来进行修正。

所以只要素数选择的合适可以持续降低误差。

下面附上修改素数后的源码：

ck66 · 发表于 2020-4-18 10:24:14

支持开源~！感谢分享

蜗牛人生 · 发表于 2020-4-18 09:50:08

楼主这个没下载.不过可以估计,过滤不准确..不信的话..可以试试一个:1~100000的文本数值过滤..还有,易语言逻辑型占用4字节,既然说到GB级别的,那应该使用字节型数组,而不是逻辑型

瓶中仙子 · 发表于 2020-4-17 18:25:20

这吐血的效率啊

mooo · 发表于 2020-4-17 17:44:56

感谢分享。。。

applepear · 发表于 2020-4-17 11:29:02

感谢分享，学习一下

yxl2008 · 发表于 2020-4-17 10:39:29

感谢分享，下载学习！！！！

nvnv · 发表于 2020-4-17 10:30:24

感谢分享，很给力！~

oycs429 · 发表于 2020-4-17 10:25:20

感谢分享，学习一下

wjswzj0 · 发表于 2020-4-17 10:10:05

感谢分享，很给力！~

		自动登录	找回密码
密码			注册

[易语言纯源码] 【原创】纯易写—哈希算法—大文本多线程【去重复文本】。支持G级别文本-稳定