开启辅助访问 切换到宽版

精易论坛

 找回密码
 注册

QQ登录

只需一步,快速开始

用微信号发送消息登录论坛

新人指南 邀请好友注册 - 我关注人的新帖 教你赚取精币 - 每日签到


求职/招聘- 论坛接单- 开发者大厅

论坛版规 总版规 - 建议/投诉 - 应聘版主 - 精华帖总集 积分说明 - 禁言标准 - 有奖举报

查看: 7839|回复: 116
收起左侧

[易语言软件开源] 谷歌算法SIMHASH海量文章去重

[复制链接]

结帖率:100% (47/47)
发表于 2023-3-16 17:03:45 | 显示全部楼层 |阅读模式   江西省南昌市
分享源码
界面截图: -
是否带模块: -
备注说明: -
本帖最后由 明天自然醒 于 2023-3-19 23:16 编辑

原理参考另外一个帖子




simhash主要流程是:

  • 分词
  • 加权
  • 合并
  • 降维





去重的主要思想是:

  • 仿照hashmap的思想重构一个适合simhash的数据结构
  • 将64bit位hash分割成多段,例如4段16位,每段作为一个map_key,并使用链表作为map_value, 存储文本hash值



软件使用
1.可在编辑框直接搜索扫描目录下的文章
QQ截图20230316155923.png
2.查重设置
QQ截图20230316155417.png
默认为汉明距离,谷歌在大数据实验得出此结论,64位的局部敏感哈希允许3位不同

3.重复文章搜索
QQ截图20230316155936.png
可显示五种相似指标

4.详情对比
QQ截图20230316155655.png

采用我的帖子里面的diff差分。

源码中包含c++代码,已打包开源
以上示例可根据文章研究原理,非常简单巧妙,在大数据情况下实现轻量级快速查重


谷歌采用的便是此算法实现80亿规模网页去重,以上为示例
本项目是对整篇文章取simhash,下篇文章则是逐句分割。

下载链接已打包至云盘,回复可见,类似查重,还有另外一个帖子

希望各位老爷来点好评
https://share.weiyun.com/mRRHCr9n

点评

各位大哥觉得有用可以给我投个票   江西省南昌市  发表于 2023-3-18 16:05
https://bbs.125.la/thread-14767988-1-1.html   江西省南昌市  发表于 2023-3-18 16:04
可根据关键词搜索文章   江西省南昌市  发表于 2023-3-16 18:08
右键单击扫描文章更改扫描目录   江西省南昌市  发表于 2023-3-16 17:54

评分

参与人数 15好评 +4 精币 +20 收起 理由
三克油 + 1 + 2 YYDS~!
XXGL2005 + 1 感谢分享,很给力!~
Bszk + 1 + 3 开源精神必须支持~
mypursue + 1 感谢分享,很给力!~
zzzyf + 1 + 2 感谢分享,很给力!~
pj小黑屋 + 1 感谢分享,很给力!~
无尘666 + 1 感谢分享,很给力!~
flyk + 1 感谢分享,很给力!~
mumulu + 1 感谢分享,很给力!~
微风已过 + 1 感谢分享,很给力!~
qiyuer + 1 感谢分享,很给力!~
※逍遥游※ + 1 感谢分享,很给力!~
Arui + 1 感谢分享,很给力!~
ican8 + 1 感谢分享,很给力!~
完玩 + 1 + 2 YYDS~!

查看全部评分


本帖被以下淘专辑推荐:

签到天数: 2 天

发表于 2023-9-19 21:48:07 | 显示全部楼层   湖北省武汉市
6666666666666666666666666666666666666666666666666666666666
回复 支持 反对

使用道具 举报

签到天数: 26 天

发表于 2023-8-10 11:00:00 | 显示全部楼层   海南省昌江黎族自治县
点赞6666点赞688888888888
回复 支持 反对

使用道具 举报

签到天数: 5 天

发表于 2023-7-23 19:53:42 | 显示全部楼层   广东省潮州市
感谢分享,很给力!~
回复 支持 反对

使用道具 举报

签到天数: 5 天

发表于 2023-7-22 04:08:05 | 显示全部楼层   广东省潮州市
感谢分享,很给力!~
回复 支持 反对

使用道具 举报

签到天数: 2 天

发表于 2023-7-4 11:00:44 | 显示全部楼层   湖南省永州市
77777777777777777777777777777
回复 支持 反对

使用道具 举报

结帖率:86% (119/138)

签到天数: 17 天

发表于 2023-4-13 22:01:14 | 显示全部楼层   广东省惠州市
有没有导入数据去重
回复 支持 反对

使用道具 举报

结帖率:97% (97/100)

签到天数: 26 天

发表于 2023-4-12 10:51:08 | 显示全部楼层   江西省吉安市
感谢分享,很给力
回复 支持 反对

使用道具 举报

结帖率:100% (2/2)

签到天数: 5 天

发表于 2023-4-9 03:04:03 | 显示全部楼层   湖北省武汉市
支持支持在炒着吃
回复 支持 反对

使用道具 举报

发表于 2023-4-9 00:25:28 | 显示全部楼层   河北省石家庄市
感谢分享,很给力
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 注册

本版积分规则 致发广告者

发布主题 收藏帖子 返回列表

sitemap| 易语言源码| 易语言教程| 易语言论坛| 易语言模块| 手机版| 广告投放| 精易论坛
拒绝任何人以任何形式在本论坛发表与中华人民共和国法律相抵触的言论,本站内容均为会员发表,并不代表精易立场!
论坛帖子内容仅用于技术交流学习和研究的目的,严禁用于非法目的,否则造成一切后果自负!如帖子内容侵害到你的权益,请联系我们!
防范网络诈骗,远离网络犯罪 违法和不良信息举报电话0663-3422125,QQ: 793400750,邮箱:wp@125.la
Powered by Discuz! X3.4 揭阳市揭东区精易科技有限公司 ( 粤ICP备12094385号-1) 粤公网安备 44522102000125 增值电信业务经营许可证 粤B2-20192173

快速回复 返回顶部 返回列表