文本按行截取

学习委员

1.txt中有大量行数的文本
多线程中需要每次按设定数量，按顺序截取1.txt里面的文本，例如每次取出1000行。

有两个问题：
1.大文本取出较慢，比如这个文本有50M，每次现用现取就会有点慢。
2.按顺序取用，不能重复不能打乱顺序，比如我2线程跑的时候，第2个线程应该取出1001-2001的文本行。


我的想法是运行前读取成数组，发布时从数组里面取。或者用快速字节集取用。主要是发帖问一下各位前辈，推荐写法。
我会写，只是不知道哪种方式好，所以不用贴代码，分析一下优缺点，感谢！

a4561482

用快速 字节吧  读成数组会更慢。

学习委员

a4561482 发表于 2025-7-6 00:34
用快速 字节吧  读成数组会更慢。

当真
   

hongqingfeng

觉得慢，你所有代码可以改成汇编模式，那速度嗖嗖的

笨来无一悟

慢就是数组导致的快速文本对象 寻找文本 重复若干次 就可以截取多少多少行的数据了 比分割更快

学习委员

笨来无一悟 发表于 2025-7-6 01:00
慢就是数组导致的快速文本对象 寻找文本 重复若干次 就可以截取多少多少行的数据了 比分割更快{:7 ...

我用快速字节集从文件读，然后用计次循环首拼接呢。寻找换行符也要拼接这一步的吧？

学习委员

hongqingfeng 发表于 2025-7-6 00:45
觉得慢，你所有代码可以改成汇编模式，那速度嗖嗖的

汇编我不会呀亲哥

冰蓝茉莉

.版本 2
.支持库 commobj
.支持库 spec

.局部变量 每行字节数组, 字节集, , "0"
.局部变量 ksz, 快速字节集对象

ksz.从文件读 (文件地址)
每行字节数组 ＝ 分割字节集 (ksz.取字节集 (, ), { 13, 10 }, )
文件总行数 ＝ 取数组成员数 (每行字节数组)
调试输出 (“文件总行数:” ＋ 到文本 (文件总行数))



试试看我这个代码吧

laihobglei

多线程队列读取每个快分配10W行，用鱼刺模块的原子操作，50MB文本在ssd上加载基本在0.3-0.5秒！

斗战胜猴

无论你用 指针到文本 还是 计次=文本 都是最慢的。最好还是复制文本数组的指针，达到一次复制出1000行的文本。不知道什么原因，使用RtlMoveMemory复制指针运行完会报错，索性就不用了

  

子程序名	返回值类型	公开	备 注
数组分割_文本型
参数名	类 型	参考	可空	数组	备 注
参_数组	文本型
参_新数组长度	整数型
参_新数组	文本型
参_起始位置	整数型

变量名	类 型	静态	数组	备 注
局_新数组指针	整数型
局_数组指针	整数型
局_计次	整数型

重定义数组 (参_新数组, 假, 参_新数组长度)
局_新数组指针 ＝ PtrStrArray (参_新数组)
局_数组指针 ＝ PtrStrArray (参_数组)
计次循环首 (参_新数组长度, 局_计次)
参_新数组 [局_计次] ＝ 指针到文本 (PtrGetTableItem (局_数组指针, 局_计次 － 1 ＋ 参_新数组长度 × 参_起始位置))
计次循环尾 ()
' RtlMoveMemory_整数型 (PtrStrArray (参_新数组), PtrStrArray (参_数组) ＋ 参_新数组长度 × 参_起始位置 × 4, 参_新数组长度 × 4)

子程序名	返回值类型	公开	备 注
PtrGetTableItem	整数型
参数名	类 型	参考	可空	数组	备 注
参数_Table	整数型
参数_Index	整数型

置入代码 ({ 139, 69, 8, 139, 77, 12, 139, 4, 136, 201, 194, 8, 0 })
' mov eax,[ebp+08]
' mov ecx,[ebp+12]
' mov eax,[eax+ecx*4]
' leave
' retn 08
返回 (0)

子程序名	返回值类型	公开	备 注
PtrStrArray	整数型		取文本型数组内存指针，成功返回内存指针，失败返回#NULL
参数名	类 型	参考	可空	数组	备 注
StringArray	文本型				文本型数组

置入代码 ({ 139, 69, 8, 133, 192, 116, 5, 139, 0, 141, 64, 8, 137, 236, 93, 194, 4, 0 })
返回 (0)

DLL命令名	返回值类型	公开	备 注
RtlMoveMemory_整数型	整数型		拷贝来源内存到目标内存。无返回值。
DLL库文件名:
ntdll.dll
在DLL库中对应命令名:
RtlMoveMemory
参数名	类 型	传址	数组	备 注
lpDestination	整数型			指向目标内存的指针
lpSource	整数型			指向来源内存的指针
Length	整数型			拷贝的字节数。

.版本 2<br /> <br /> .子程序 数组分割_文本型, , 公开<br /> .参数 参_数组, 文本型, 数组<br /> .参数 参_新数组长度, 整数型<br /> .参数 参_新数组, 文本型, 参考 数组<br /> .参数 参_起始位置, 整数型, 可空<br /> .局部变量 局_新数组指针, 整数型<br /> .局部变量 局_数组指针, 整数型<br /> .局部变量 局_计次, 整数型<br /> <br /> 重定义数组 (参_新数组, 假, 参_新数组长度)<br /> 局_新数组指针 ＝ PtrStrArray (参_新数组)<br /> 局_数组指针 ＝ PtrStrArray (参_数组)<br /> .计次循环首 (参_新数组长度, 局_计次)<br />     参_新数组 [局_计次] ＝ 指针到文本 (PtrGetTableItem (局_数组指针, 局_计次 － 1 ＋ 参_新数组长度 × 参_起始位置))<br /> .计次循环尾 ()<br /> ' RtlMoveMemory_整数型 (PtrStrArray (参_新数组), PtrStrArray (参_数组) ＋ 参_新数组长度 × 参_起始位置 × 4, 参_新数组长度 × 4)<br /> <br /> .子程序 PtrGetTableItem, 整数型, 公开<br /> .参数 参数_Table, 整数型<br /> .参数 参数_Index, 整数型<br /> <br /> 置入代码 ({ 139, 69, 8, 139, 77, 12, 139, 4, 136, 201, 194, 8, 0 })<br /> ' mov eax,[ebp+08]<br /> ' mov ecx,[ebp+12]<br /> ' mov eax,[eax+ecx*4]<br /> ' leave<br /> ' retn 08<br /> 返回 (0)<br /> <br /> .子程序 PtrStrArray, 整数型, 公开, 取文本型数组内存指针，成功返回内存指针，失败返回#NULL<br /> .参数 StringArray, 文本型, 参考 数组, 文本型数组<br /> <br /> 置入代码 ({ 139, 69, 8, 133, 192, 116, 5, 139, 0, 141, 64, 8, 137, 236, 93, 194, 4, 0 })<br /> 返回 (0)<br /> <br /> <br /> .版本 2<br /> <br /> .DLL命令 RtlMoveMemory_整数型, 整数型, "ntdll.dll", "RtlMoveMemory", 公开, 拷贝来源内存到目标内存。无返回值。<br />     .参数 lpDestination, 整数型, , 指向目标内存的指针<br />     .参数 lpSource, 整数型, , 指向来源内存的指针<br />     .参数 Length, 整数型, , 拷贝的字节数。