去重复文本，1000万只需要3秒

花老板 · 发表于 2012-10-29 09:57:34

本帖最后由花｀老板于 2012-10-29 09:59 编辑

传统去重复文本理论为对比模式  1个组数对比N个组数  判断是否存在
这样的办法虽然理论可行  但是无法针对大文本组数

如几十万几百万几千万的数据  就会一筹莫展
无论CPU 内存等方面都是非常吃力的。（前段时间，我的CPU烧到85度，可以煎鸡蛋饼了）

前段时间  我需要这方面的软件  我经常性每天有3000万的数据需要处理
易语言实在找不到更好的办法  我只能用MYSQL处理

但是相对而言  MYSQL门槛较高需要安装PHP和MYSQL
就算搭建不成问题  那写代码又是一件纠结的事情

于是我请教各路高手  大神大虾  大蟹
终于在公元某年某月某天  写出了史上最伟大最简单的神器

测试结果  100万 = 平均1秒    1000万平均3-4秒
本软件使用C++核心编写，采用节点原理，各位可以下载了测试下！

花生_去重复 .rar (708.73 KB, 下载次数: 2911)

designer · 发表于 2023-4-20 15:23:17

6666666666666666

小林子哥哥 · 发表于 2023-2-24 03:09:22

{:3_52:}{:3_52:}{:3_53:}{:3_53:}{:3_54:}{:3_54:}{:3_54:}{:3_46:}{:3_46:}

cctvzyf1121 · 发表于 2022-12-7 14:53:28

感谢分享希望以后多多出写小工具

Aa798040941 · 发表于 2022-11-18 21:43:27

Aa798040941 · 发表于 2022-11-18 21:43:15

不错不错

fyqjfb · 发表于 2021-11-11 12:15:34

开源更好，可以学习学习

小牛咪咪 · 发表于 2021-10-24 14:38:55

1522377147 · 发表于 2021-10-24 09:48:46

学习一下{:3_41:}

陈先生的 · 发表于 2021-10-22 17:40:34

表格可以吗？

ColdWords · 发表于 2021-10-21 17:20:43

11111111111111111111111111

		自动登录	找回密码
密码			注册

[易相关软件分享] 去重复文本，1000万只需要3秒

评分

本帖被以下淘专辑推荐: