有A,B2个千万行的数据里，去重复后，查找A有 B没有的数据

cc121112 · 发表于 2024-10-28 13:34:27

有A,B2个千万行的数据里，分割去重复后，查找A有 B没有的数据
正常的查找文本，几个小时后还没弄好，就给关闭了

有没有好的办法？

sunhechao · 发表于 2024-10-28 13:34:28

子程序名	返回值类型	公开	备注
大文本去重复比对			取重复后比对
参数名	类型	参考	可空	数组	备注
文本A	文本型
文本B	文本型
分隔符	文本型				默认为换行符
返回去重后文本A	文本型
返回去重后文本B	文本型
返回两文本重复部分	文本型

变量名	类型	静态	数组	备注
文本组	文本型		0
i	整数型
输入	快速文本对象
A去重	快速文本对象
B去重	快速文本对象
哈希A	哈希表_ASM
哈希B	哈希表_ASM

如果真 (文本A ＝ “” 或文本B ＝ “”)

返回 ()

如果真 (分隔符＝ “”)

分隔符＝ #换行符
清除数组 (返回两文本重复部分)
哈希A.创建 ( #文本型, #整数型, 25) ' 2的25次方除以1024 ' 32MB容量
哈希B.创建 ( #文本型, #整数型, 25)
输入.置文本 (文本A)
文本组＝输入.分割文本 (分隔符, )

计次循环首 (取数组成员数 (文本组), i)

如果真 (哈希A.cha询 (文本组 [i]) ＝假)

哈希A.添加 (文本组 [i], 0)

A去重.添加 (文本组 [i], 分隔符)

计次循环尾 ()
清除数组 (文本组)
输入.置文本 (文本B)
文本组＝输入.分割文本 (分隔符, )
输入.清除文本 ()

计次循环首 (取数组成员数 (文本组), i)

如果真 (哈希B.cha询 (文本组 [i]) ＝假)

哈希B.添加 (文本组 [i], 0)

B去重.添加 (文本组 [i], 分隔符)

计次循环尾 ()
清除数组 (文本组)
文本组＝ B去重.分割文本 (分隔符, )

计次循环首 (取数组成员数 (文本组), i)

如果真 (哈希A.cha询 (文本组 [i]) ＝真)

加入成员 (返回两文本重复部分, 文本组 [i])

计次循环尾 ()
哈希A.清空 ()
哈希B.清空 ()
返回去重后文本A ＝ A去重.取文本 (, )
返回去重后文本B ＝ B去重.取文本 (, )

i支持库列表	支持库注释
commobj	通用对象支持库

.版本 2<br />
.支持库 commobj<br />
<br />
.子程序 大文本去重复比对, , 公开, 取重复后比对<br />
.参数 文本A, 文本型<br />
.参数 文本B, 文本型<br />
.参数 分隔符, 文本型, 可空, 默认为换行符<br />
.参数 返回去重后文本A, 文本型, 可空<br />
.参数 返回去重后文本B, 文本型, 可空<br />
.参数 返回两文本重复部分, 文本型, 可空 数组<br />
.局部变量 文本组, 文本型, , "0"<br />
.局部变量 i, 整数型<br />
.局部变量 输入, 快速文本对象<br />
.局部变量 A去重, 快速文本对象<br />
.局部变量 B去重, 快速文本对象<br />
.局部变量 哈希A, 哈希表_ASM<br />
.局部变量 哈希B, 哈希表_ASM<br />
<br />
.如果真 (文本A ＝ “” 或 文本B ＝ “”)<br />
    返回 ()<br />
.如果真结束<br />
.如果真 (分隔符 ＝ “”)<br />
    分隔符 ＝ #换行符<br />
.如果真结束<br />
清除数组 (返回两文本重复部分)<br />
哈希A.创建 (#文本型, #整数型, 25)  ' 2的25次方除以1024 ' 32MB容量<br />
哈希B.创建 (#文本型, #整数型, 25)<br />
<br />
输入.置文本 (文本A)<br />
文本组 ＝ 输入.分割文本 (分隔符, )<br />
.计次循环首 (取数组成员数 (文本组), i)<br />
    .如果真 (哈希A.cha询 (文本组 <i>) ＝ 假)<br />
        哈希A.添加 (文本组 <i>, 0)<br />
        A去重.添加 (文本组 <i>, 分隔符)<br />
    .如果真结束<br />
<br />
.计次循环尾 ()<br />
清除数组 (文本组)<br />
<br />
输入.置文本 (文本B)<br />
文本组 ＝ 输入.分割文本 (分隔符, )<br />
输入.清除文本 ()<br />
.计次循环首 (取数组成员数 (文本组), i)<br />
    .如果真 (哈希B.cha询 (文本组 <i>) ＝ 假)<br />
        哈希B.添加 (文本组 <i>, 0)<br />
        B去重.添加 (文本组 <i>, 分隔符)<br />
    .如果真结束<br />
<br />
.计次循环尾 ()<br />
清除数组 (文本组)<br />
<br />
文本组 ＝ B去重.分割文本 (分隔符, )<br />
.计次循环首 (取数组成员数 (文本组), i)<br />
    .如果真 (哈希A.cha询 (文本组 <i>) ＝ 真)<br />
        加入成员 (返回两文本重复部分, 文本组 <i>)<br />
    .如果真结束<br />
<br />
.计次循环尾 ()<br />
<br />
哈希A.清空 ()<br />
哈希B.清空 ()<br />
返回去重后文本A ＝ A去重.取文本 (, )<br />
返回去重后文本B ＝ B去重.取文本 (, )