谷歌算法SIMHASH海量文章去重

明天自然醒 · 发表于 2023-3-16 17:03:45

本帖最后由明天自然醒于 2023-3-19 23:16 编辑

原理参考另外一个帖子

simhash主要流程是：

分词
加权
合并
降维

去重的主要思想是：

仿照hashmap的思想重构一个适合simhash的数据结构
将64bit位hash分割成多段，例如4段16位，每段作为一个map_key,并使用链表作为map_value, 存储文本hash值

软件使用
1.可在编辑框直接搜索扫描目录下的文章
QQ截图20230316155923.png

2.查重设置

默认为汉明距离，谷歌在大数据实验得出此结论，64位的局部敏感哈希允许3位不同

3.重复文章搜索
QQ截图20230316155936.png

可显示五种相似指标

4.详情对比
QQ截图20230316155655.png

采用我的帖子里面的diff差分。

源码中包含c++代码，已打包开源
以上示例可根据文章研究原理，非常简单巧妙，在大数据情况下实现轻量级快速查重

谷歌采用的便是此算法实现80亿规模网页去重，以上为示例
本项目是对整篇文章取simhash，下篇文章则是逐句分割。

下载链接已打包至云盘，回复可见，类似查重，还有另外一个帖子

希望各位老爷来点好评
https://share.weiyun.com/mRRHCr9n

DMS千 · 发表于 2023-9-19 21:48:07

6666666666666666666666666666666666666666666666666666666666

guojiaobin · 发表于 2023-8-10 11:00:00

点赞6666点赞688888888888

今时以至遂渐开 · 发表于 2023-7-23 19:53:42

感谢分享，很给力！~

今时以至遂渐开 · 发表于 2023-7-22 04:08:05

感谢分享，很给力！~

aaa520qqa · 发表于 2023-7-4 11:00:44

77777777777777777777777777777

精彩的鸟 · 发表于 2023-4-13 22:01:14

有没有导入数据去重

悟空科技 · 发表于 2023-4-12 10:51:08

感谢分享，很给力

yyy412539429 · 发表于 2023-4-9 03:04:03

支持支持在炒着吃

lzgking · 发表于 2023-4-9 00:25:28

感谢分享，很给力

		自动登录	找回密码
密码			注册

[易语言软件开源] 谷歌算法SIMHASH海量文章去重

点评

评分

本帖被以下淘专辑推荐: