【原创】纯易写—哈希算法—大文本多线程【去重复文本】。支持G级别文本-稳定

langrenjianke

不需要遍历所有文件一一对比，而是使用哈希映射的方式直接对重复文本进行定位比较。从而实现快速去重的效果。
程序所有代码：多线程控制，哈希映射，文本读写，均使用易语言实现。测试1.2G文本稳定。

  

窗口程序集名	保 留	保 留	备 注
Hash判断
变量名	类 型	数组	备 注
集_HASH表	逻辑型	99999999

子程序名	返回值类型	公开	备 注
去重判断	逻辑型
参数名	类 型	参考	可空	数组	备 注
key	整数型

判断 (集_HASH表 [key] ≠ 真)
集_HASH表 [key] ＝ 真
返回 (真)
返回 (假)

子程序名	返回值类型	公开	备 注
hash_清空

数组清零 (集_HASH表)

.版本 2<br /> <br /> .程序集 Hash判断<br /> .程序集变量 集_HASH表, 逻辑型, , "99999999"<br /> <br /> .子程序 去重判断, 逻辑型, 公开<br /> .参数 key, 整数型<br /> <br /> .判断开始 (集_HASH表 [key] ≠ 真)<br />     集_HASH表 [key] ＝ 真<br />     返回 (真)<br /> .默认<br />     返回 (假)<br /> .判断结束<br /> <br /> <br /> .子程序 hash_清空, , 公开<br /> <br /> 数组清零 (集_HASH表)

  

子程序名	返回值类型	公开	备 注
线程池
参数名	类 型	参考	可空	数组	备 注
当前_线程数	整数型
最大_线程数	整数型

判断 (当前_线程数 ≥ 最大_线程数)
延迟 (3000)
线程池 (当前_线程数, 最大_线程数)

i支持库列表	支持库注释
spec	特殊功能支持库

.版本 2<br /> .支持库 spec<br /> <br /> .子程序 线程池<br /> .参数 当前_线程数, 整数型, 参考<br /> .参数 最大_线程数, 整数型<br /> <br /> .判断开始 (当前_线程数 ≥ 最大_线程数)<br />     延迟 (3000)<br />     线程池 (当前_线程数, 最大_线程数)<br /> .默认<br /> <br /> .判断结束

补充内容 (2020-4-19 12:11):
1.下载源码后，请删除提示的模块（因为没有调用）。
2.删除重复文本，针对的是去除重复的文本行。（以行为单位进行去重复）

补充内容 (2020-4-19 12:31):
请将素数 40000003 改为 40043893 去重复准确率更高。100000文本行错误率为0；
将：“key ＝ B ％ 40000003”
改为：“key ＝ B ％ 40043893”

杨明煜

谢谢分享...........

2257001

顶~~试下看看

lyjzyq

学习学习学习学习

39751549

111111111111111

603007856

66666666666666666666666666

大大张

感谢楼主 谢谢

designer

6666666666666666666

玄易

支持开源~！感谢分享

Anleton

原来在这里呀