有A,B2个千万行的数据里，去重复后， 查找A有 B没有的数据

壮志豪情

这种有个专业的名字叫  取差集  论坛和百du搜索一下

梦幻1096

用哈希表去重 1000万大概三四十秒吧！

sunhechao

.版本 2
.支持库 commobj

.子程序 大文本去重复比对, , 公开, 取重复后比对
.参数 文本A, 文本型
.参数 文本B, 文本型
.参数 分隔符, 文本型, 可空, 默认为换行符
.参数 返回去重后文本A, 文本型, 可空
.参数 返回去重后文本B, 文本型, 可空
.参数 返回两文本重复部分, 文本型, 可空 数组
.局部变量 文本组, 文本型, , "0"
.局部变量 i, 整数型
.局部变量 输入, 快速文本对象
.局部变量 A去重, 快速文本对象
.局部变量 B去重, 快速文本对象
.局部变量 哈希A, 哈希表_ASM
.局部变量 哈希B, 哈希表_ASM

.如果真 (文本A ＝ “” 或 文本B ＝ “”)
    返回 ()
.如果真结束
.如果真 (分隔符 ＝ “”)
    分隔符 ＝ #换行符
.如果真结束
清除数组 (返回两文本重复部分)
哈希A.创建 (#文本型, #整数型, 25)  ' 2的25次方除以1024 ' 32MB容量
哈希B.创建 (#文本型, #整数型, 25)

输入.置文本 (文本A)
文本组 ＝ 输入.分割文本 (分隔符, )
.计次循环首 (取数组成员数 (文本组), i)
    .如果真 (哈希A.cha询 (文本组 [i]) ＝ 假)
        哈希A.添加 (文本组 [i], 0)
        A去重.添加 (文本组 [i], 分隔符)
    .如果真结束

.计次循环尾 ()
清除数组 (文本组)

输入.置文本 (文本B)
文本组 ＝ 输入.分割文本 (分隔符, )
输入.清除文本 ()
.计次循环首 (取数组成员数 (文本组), i)
    .如果真 (哈希B.cha询 (文本组 [i]) ＝ 假)
        哈希B.添加 (文本组 [i], 0)
        B去重.添加 (文本组 [i], 分隔符)
    .如果真结束

.计次循环尾 ()
清除数组 (文本组)

文本组 ＝ B去重.分割文本 (分隔符, )
.计次循环首 (取数组成员数 (文本组), i)
    .如果真 (哈希A.cha询 (文本组 [i]) ＝ 真)
        加入成员 (返回两文本重复部分, 文本组 [i])
    .如果真结束

.计次循环尾 ()

哈希A.清空 ()
哈希B.清空 ()
返回去重后文本A ＝ A去重.取文本 (, )
返回去重后文本B ＝ B去重.取文本 (, )

cc121112

sunhechao 发表于 2024-10-28 19:09
[e=3].版本 2
.支持库 commobj

缺少这个  哈希表_ASM   支持库

sunhechao

cc121112 发表于 2024-10-28 19:34
缺少这个  哈希表_ASM   支持库

这是个模块 论坛里开源的 https://bbs.125.la/forum.php?mod ... 8%8C%E8%A1%A8%2BASM

sunhechao

https://bbs.125.la/forum.php?mod=viewthread&tid=14829819   你可以试试提前运行Api静态加速优化  有可能速度还会快点

cc121112

sunhechao 发表于 2024-10-28 19:40
https://bbs.125.la/forum.php?mod=viewthread&tid=14829819   你可以试试提前运行Api静态加速优化  有可能 ...

为什么第一个快速文本保存失败， 试了好多次都不成功！

sunhechao

cc121112 发表于 2024-10-28 23:15
为什么第一个快速文本保存失败， 试了好多次都不成功！

看看硬盘剩余空间 快速文本对象用官方版本的 快速文本对象添加数据别用加号 会慢很多

sunhechao

sunhechao 发表于 2024-10-29 00:34
看看硬盘剩余空间 快速文本对象用官方版本的 快速文本对象添加数据别用加号 会慢很多 ...

先用少量数据试试 看看能不能成功保存

cc121112

测试.e (1 MB, 下载次数: 1)

2024-10-29 00:34 上传

点击文件名下载附件
感谢各位大佬的帮忙
结果非常满意
现发源码  希望能帮到其他人