【新年快乐】【更新】文章查重系统

明天自然醒

想要了解原理，请移至旧版本帖子：https://bbs.125.la/forum.php?mod=viewthread&tid=14767730&extra=

新版本1.04更新内容：
1.新增历史记录。
2.取消偏移相似度，取消查重单元，取消多线程，改用Redis数据库。
提速十倍+，查重一篇千字文章，200ms内出结果，如果想要更快，用redis连接池试试。

大家2024新年好！
花了一点时间，选了一篇精华帖进行更新，感谢大家曾经给我投的票！

老规矩，全部开源，全部必备文件打包放在云盘，文件126MB，在最后面。
下文附上使用教程、使用说明、注意事项。

【README!! 注意事项】
如果你运行不了已编译的exe文件，或者打不开源代码，
可能是支持库没装，可能包含EXUI支持库、njRedis支持库、正则表达式支持库
请尝试以下操作：

请注意，必备的文件都存储在【必备支持库及安装包】文件夹里面
1.在该目录下，找到所有的*.fne文件，复制到你的易语言支持库路径下：
举例：D:\Program Files (x86)\易语言5.92\lib

2.在该目录下，找到ExuiKrnln文件夹，复制到你的易语言支持库路径下：
举例：D:\Program Files (x86)\易语言5.92\lib

3.在该目录下，找到所有的*.lib文件，复制到你的易语言支持库路径下：
举例：D:\Program Files (x86)\易语言5.92\static_lib

4.在该目录下，找到Redis-x64-3.0.504.msi文件，双击安装Redis服务（一直下一步即可）。
仅支持64位机，或前往官方github下载：https://github.com/MicrosoftArchive/redis/releases


使用例程：
1.解压压缩包
解压完直接打开源代码【文章查重1.04Redis.e】，或已编译的二进制文件【文章查重1.04.exe】，如果你打不开，看看帖子上面的【使用说明】


2.（可选）安装字体
字体文件放在【字体】文件夹里面，名称：AlibabaPuHuiTi-2-55-Regular.ttf
推荐，因为软件默认字体就是这个


3.导入你的数据集
为了让大家体验该软件查重的功能，压缩包已经附带了数据集。
存于【文章内容】里面，也是默认的扫描路径。
如果你想导入自己的数据集，每个样本对应一个txt文件，请用GBK编码。或自己改一下代码。

如图所示，打开软件直接点扫描，扫描默认目录，点确认即可。


等待扫描结束，默认数据集大约是两万篇文章，扫描时间十几二十分钟，视个人电脑配置而异

4.在编辑框输入你想要查重的文章，或拖入txt文件
5.导出相似度报告（可选）


【其他说明】
一、编译后必备文件

• ExuiKrnln.dll（EXUI）
• EinstoAPI.dll（C++编写的HASH-API）
• sqlite3.dll（SQLITE3）
• .\分词数据库\data.db（分词数据库）
• .\分词数据库\Vocabulary.ini（分词数据库其他配置）
• .\分词数据库\idf.txt（词权重）
• .\分词数据库\stopwords.db（停用词）
  

二、C++ api 源代码
存于dll-source-code.cpp中

三、使用教程

简单的使用例程




重置数据库：单击执行后，保存设置即可重置所有数据。
最大汉明距离：不建议修改。关键词足够多时，根据谷歌大数据总结结果，推荐为3。
性能选择：默认高效模式。精细模式时，耗时更长，但相似度只会更准确。
细分阈值，当分割句子的长度大于该阈值时，会选择使用深度细分模式继续细分句子。











压缩包地址：https://share.weiyun.com/5pf24uyT

AcLe

源代码中的  局_数据摘要=???()  是什么意思？运行到这行，提示错误！

爱易编程

支持word文档查重吗

1184798949

        支持开源~！感谢分享

qq2518

感谢分享。收藏了

jysoft2022

感谢分享

4858p

试一下很高期待
                                             

七颗心

james2013

感谢分享，很给力！~

qqmqqg

666666666666666666

韦贝贝

        支持开源~！感谢分享