高效检测数据重复的方法

shijie1561 · 发表于 2022-6-21 19:52:49

现在程序使用的是mysql的方式存储数据，然后调用进行查找检测有没有重复数据，可是非常的慢，想要找一个支持多线程，检测重复的方法例子，数据是文本数据，不是数据去重复

是使用过的数据存起来，进行过滤，提交参数检测是否存在，不存在就写入，存在就返回状态

mysql我目前使用的是核心支持库的命令，非常慢

.版本 2
.支持库 mysql

逻辑＝执行SQL语句 (数据库句柄, sql)
记录集句柄＝取记录集 (数据库句柄)
读字段值 (记录集句柄, “Id”, ID)
.如果真 (ID ≠ “” 且逻辑＝真)
释放记录集 (记录集句柄)
返回 (假)
.如果真结束

释放记录集 (记录集句柄)
返回 (真)

落雪无尘 · 发表于 2022-6-21 19:52:50

给字段设置唯一约束客户Duan直接添加失败就是存在秒检测

鹏书 · 发表于 2022-6-21 20:27:25

数据库要键索引才会高效而且索引要需要建对建不对可能还更慢

shijie1561 · 发表于 2022-6-23 20:48:12

nikezhi 发表于 2022-6-21 20:27
数据库要键索引才会高效而且索引要需要建对建不对可能还更慢

有键索引的，主要就是数据对比，检测是否存在

		自动登录	找回密码
密码			注册

[已解决] 高效检测数据重复的方法

最佳答案

评分