关于去重复

weiyuqiang

程序是这样的
一边采ji，一边保存数据
在保存数据的同时要判断保存的文档里 这条数据是否重复了
我是先读入内容，然后在文本寻找 这样去判断是否重复的
但是这样有一个问题，随着保存数据越来越多，他判断的就特别慢
有什么好方法吗？

算法艺术家

  

之前写的 有个和你需求差不多的 ，你看看能不能用上，粘贴到类里边调用

窗口程序集名	保 留	保 留	备 注
文本拒重录入, , 公开
变量名	类 型	数组	备 注
文件号Z	整数型
哈希表Z	哈希表_ASM
是否拒绝空行Z	逻辑型

子程序名	返回值类型	公开	备 注
_初始化			当基于本类的对象被创建后，此方法会被自动调用

子程序名	返回值类型	公开	备 注
_销毁			当基于本类的对象被销毁前，此方法会被自动调用

哈希表Z.清空 ()
关闭文件 (文件号Z)

子程序名	返回值类型	公开	备 注
销毁

哈希表Z.清空 ()
关闭文件 (文件号Z)

子程序名	返回值类型	公开	备 注
初始化参数	逻辑型
参数名	类 型	参考	可空	数组	备 注
文件路径	文本型
是否拒绝空行	逻辑型				默认假 可以写入空行

变量名	类 型	静态	数组	备 注
文本	文本型
文本组	文本型		0
i	整数型

文件号Z ＝ 打开文件 (文件路径, , )
如果真 (文件号Z ＝ 0)
返回 (假)
是否拒绝空行Z ＝ 是否拒绝空行
哈希表Z.创建 ( #文本型, #整数型, 16)  ' 容量 2的16次方除以1024  64KB
文本 ＝ 读入文本 (文件号Z, )
文本组 ＝ 分割文本 (文本, #换行符, )
计次循环首 (取数组成员数 (文本组), i)
哈希表Z.添加 (文本组 [i], 0)
计次循环尾 ()
返回 (真)

子程序名	返回值类型	公开	备 注
添加数据
参数名	类 型	参考	可空	数组	备 注
文本数据	文本型

变量名	类 型	静态	数组	备 注
i	整数型
文本组	文本型		0
文本	文本型

文本组 ＝ 分割文本 (文本数据, #换行符, )
计次循环首 (取数组成员数 (文本组), i)
如果真 (是否拒绝空行Z ＝ 真)
如果真 (文本组 [i] ＝ “”)
到循环尾 ()


如果真 (哈希表Z.cha询 (文本组 [i]) ＝ 假)
哈希表Z.添加 (文本组 [i], i)
文本 ＝ 文本 ＋ #换行符 ＋ 文本组 [i]

计次循环尾 ()
写出文本 (文件号Z, 文本)

之前写的 有个和你需求差不多的 ，你看看能不能用上，粘贴到类里边调用<br /> .版本 2<br /> <br /> .程序集 文本拒重录入, , 公开<br /> .程序集变量 文件号Z, 整数型<br /> .程序集变量 哈希表Z, 哈希表_ASM<br /> .程序集变量 是否拒绝空行Z, 逻辑型<br /> <br /> .子程序 _初始化, , , 当基于本类的对象被创建后，此方法会被自动调用<br /> <br /> <br /> <br /> .子程序 _销毁, , , 当基于本类的对象被销毁前，此方法会被自动调用<br /> <br /> 哈希表Z.清空 ()<br /> 关闭文件 (文件号Z)<br /> <br /> <br /> .子程序 销毁, , 公开<br /> <br /> 哈希表Z.清空 ()<br /> 关闭文件 (文件号Z)<br /> <br /> <br /> .子程序 初始化参数, 逻辑型, 公开<br /> .参数 文件路径, 文本型<br /> .参数 是否拒绝空行, 逻辑型, 可空, 默认假 可以写入空行<br /> .局部变量 文本, 文本型<br /> .局部变量 文本组, 文本型, , "0"<br /> .局部变量 i, 整数型<br /> <br /> 文件号Z ＝ 打开文件 (文件路径, , )<br /> .如果真 (文件号Z ＝ 0)<br />     返回 (假)<br /> .如果真结束<br /> 是否拒绝空行Z ＝ 是否拒绝空行<br /> 哈希表Z.创建 (#文本型, #整数型, 16)  ' 容量 2的16次方除以1024  64KB<br /> 文本 ＝ 读入文本 (文件号Z, )<br /> 文本组 ＝ 分割文本 (文本, #换行符, )<br /> .计次循环首 (取数组成员数 (文本组), i)<br />     哈希表Z.添加 (文本组 <i>, 0)<br /> .计次循环尾 ()<br /> 返回 (真)<br /> <br /> .子程序 添加数据, , 公开<br /> .参数 文本数据, 文本型<br /> .局部变量 i, 整数型<br /> .局部变量 文本组, 文本型, , "0"<br /> .局部变量 文本, 文本型<br /> <br /> 文本组 ＝ 分割文本 (文本数据, #换行符, )<br /> .计次循环首 (取数组成员数 (文本组), i)<br />     .如果真 (是否拒绝空行Z ＝ 真)<br />         .如果真 (文本组 <i> ＝ “”)<br />             到循环尾 ()<br />         .如果真结束<br /> <br />     .如果真结束<br /> <br />     .如果真 (哈希表Z.cha询 (文本组 <i>) ＝ 假)<br />         哈希表Z.添加 (文本组 <i>, i)<br />         文本 ＝ 文本 ＋ #换行符 ＋ 文本组 <i><br />     .如果真结束<br /> <br /> .计次循环尾 ()<br /> 写出文本 (文件号Z, 文本)

补充内容 (2025-3-28 17:24):
数据是一行一条 按行分隔的，数据要是别的分隔符 你就把换行符换了

wtflxk

这个时候 你就需要 用到数据库了

b0y

数据库不就是这时候用的吗

weiyuqiang

wtflxk 发表于 2025-3-28 15:21
这个时候 你就需要 用到数据库了

有例子吗 哥

weiyuqiang

b0y 发表于 2025-3-28 15:22
数据库不就是这时候用的吗

有例子吗？ 哥

aipca

文本_去重复文本
哈希表
SQL

sdlovets

用sqlite3，很方便。创建的时候  约束一下。
或者用 快速文本，也很快的

951902929

采集完保存后在去重，避免过度去重导致浪费时间

weiyuqiang

sdlovets 发表于 2025-3-28 15:54
用sqlite3，很方便。创建的时候  约束一下。
或者用 快速文本，也很快的

快速文本 要怎么用