大文本处理问题3

学习委员

文本.txt里有超过百万行数据
重复文本.txt里有若干行数据

要在文本.txt里查找重复文本.txt里的内容并删除

用快速文本对象方式，测试一千二百条数据要五分钟才能处理完。

于是想到将文本.txt分割成多份，然后用多线程同时处理。

那么问题来了，如果用读入文件再分割文本把文本.txt做成数组，太慢。
如果用快速文本对象.从文件读，又不知道怎么做成数组

请问各位大佬如何处理的。或者有其他方式？


补充内容 (2024-11-9 17:38):
搞了两个文档，一个原文本，一个待删除文本，望指点！
外链:https://wwqc.lanzouj.com/b02untxbe 密码:6h3p

补充内容 (2024-11-9 19:30):
真速度大比拼，快速字节集对象最快，测试比快速文本对象快三分之一左右

LEOONL

你直接把文本2+间隔标识+文本1 ，然后去重，取出间隔标识之后的文本 ，就是去重文本2之后的文本1

chenboss

上一部分测试数据，来一场速度大比拼

学习委员

LEOONL 发表于 2024-11-9 16:50
你直接把文本2+间隔标识+文本1 ，然后去重，取出间隔标识之后的文本 ，就是去重文本2之后的文本1 ...

这对吗哥，这样不是要把两个文本都存为数组，再合并到一起去重。这样会更慢吧

学习委员

chenboss 发表于 2024-11-9 16:59
上一部分测试数据，来一场速度大比拼

哈啊哈哈哈哥哈哈哈哈，好的

学习委员

chenboss 发表于 2024-11-9 16:59
上一部分测试数据，来一场速度大比拼

补充到贴子了！大哥！帮我看看多线程怎么跑合适

花间一壶酒

我试了4秒多啊  并没有你说的那么长吧

  

子程序名	返回值类型	公开	备 注
_按钮1_被单击

变量名	类 型	静态	数组	备 注
文件号	整数型
全文本	文本型
删除文本	文本型
全文本组	文本型		0
删除文本组	文本型		0
i	整数型
n	整数型
全文本行	整数型
结果文本	文本型

时间_取间隔_开始 (标记)
文件号 ＝ 打开文件 (“C:\Users\Administrator\Desktop\随机.txt”, 1, )
全文本 ＝ 读入文本 (文件号, )
关闭文件 (文件号)
文件号 ＝ 打开文件 (“C:\Users\Administrator\Desktop\随机待删除.txt”, 1, )
删除文本 ＝ 读入文本 (文件号, )
关闭文件 (文件号)
文本_分割文本 (全文本, #换行符, , 全文本组)
文本_分割文本 (删除文本, #换行符, , 删除文本组)
计次循环首 (取数组成员数 (删除文本组), n)
全文本行 ＝ 取数组成员数 (全文本组)
计次循环首 (全文本行, i)
如果真 (全文本组 [到整数 (全文本行 ＋ 1 － i)] ＝ 删除文本组 [n])
删除成员 (全文本组, 全文本行 ＋ 1 － i, 1)

计次循环尾 ()
计次循环尾 ()
计次循环首 (取数组成员数 (全文本组), i)
结果文本 ＝ 结果文本 ＋ 全文本组 [i] ＋ #换行符
计次循环尾 ()
文件号 ＝ 打开文件 (“C:\Users\Administrator\Desktop\随机.txt”, 4, )
写出文本 (文件号, 结果文本)
关闭文件 (文件号)
调试输出 (时间_取间隔_结束 (标记))

i支持库列表	支持库注释
spec	特殊功能支持库

.版本 2<br /> .支持库 spec<br /> <br /> .子程序 _按钮1_被单击<br /> .局部变量 文件号, 整数型<br /> .局部变量 全文本, 文本型<br /> .局部变量 删除文本, 文本型<br /> .局部变量 全文本组, 文本型, , "0"<br /> .局部变量 删除文本组, 文本型, , "0"<br /> .局部变量 i, 整数型<br /> .局部变量 n, 整数型<br /> .局部变量 全文本行, 整数型<br /> .局部变量 结果文本, 文本型<br /> <br /> 时间_取间隔_开始 (标记)<br /> 文件号 ＝ 打开文件 (“C:\Users\Administrator\Desktop\随机.txt”, 1, )<br /> 全文本 ＝ 读入文本 (文件号, )<br /> 关闭文件 (文件号)<br /> 文件号 ＝ 打开文件 (“C:\Users\Administrator\Desktop\随机待删除.txt”, 1, )<br /> 删除文本 ＝ 读入文本 (文件号, )<br /> 关闭文件 (文件号)<br /> 文本_分割文本 (全文本, #换行符, , 全文本组)<br /> 文本_分割文本 (删除文本, #换行符, , 删除文本组)<br /> .计次循环首 (取数组成员数 (删除文本组), n)<br />     全文本行 ＝ 取数组成员数 (全文本组)<br />     .计次循环首 (全文本行, i)<br />         .如果真 (全文本组 [到整数 (全文本行 ＋ 1 － i)] ＝ 删除文本组 [n])<br />             删除成员 (全文本组, 全文本行 ＋ 1 － i, 1)<br />         .如果真结束<br /> <br />     .计次循环尾 ()<br /> .计次循环尾 ()<br /> .计次循环首 (取数组成员数 (全文本组), i)<br />     结果文本 ＝ 结果文本 ＋ 全文本组 <i> ＋ #换行符<br /> .计次循环尾 ()<br /> 文件号 ＝ 打开文件 (“C:\Users\Administrator\Desktop\随机.txt”, 4, )<br /> 写出文本 (文件号, 结果文本)<br /> 关闭文件 (文件号)<br /> 调试输出 (时间_取间隔_结束 (标记))

学习委员

花间一壶酒 发表于 2024-11-9 18:17
我试了4秒多啊  并没有你说的那么长吧[e=0].版本 2
.支持库 spec

是因为测试删除文本只有三百多行，文本也只有两万。实际运行的时候文本是几十万，删除的文本几千行。
不过你的代码写的真规范！
用打开文件（）+读入文件快 还是用快速文本对象.从文件读快？

LEOONL

去重.e (6.57 KB, 下载次数: 8)

2024-11-9 18:55 上传

点击文件名下载附件

* 157.000000

lisher

新建文件夹.zip (879.57 KB, 下载次数: 12)

2024-11-9 18:59 上传

点击文件名下载附件