超2千万行数据分割非常耗时，有快的方法吗

aiyang

用的快速字节集对象 2千多万行  按行分割要1分钟多，有更快的方法吗


补充内容 (2024-9-21 12:50):
求个例子呗

笨来无一悟

aiyang 发表于 2024-9-21 15:41
不懂你说的这个截取咋搞哦 我现在是按{ 0, 0, 0 } 分割后放数组去运行的 分割这一块太慢 ...

大概这样 一条一条的读 读一条处理一条 就不用等全部分割完毕了还能节约一半的内存占用 没拿数据跑 如果有不正确的地方轻微修改修改就可以了

  

变量名	类 型	静态	数组	备 注
起始	整数型
结束	整数型
跳出	逻辑型

判断循环首 (跳出 ＝ 假)
如果真 (结束 ＝ -1)
结束 ＝ 字节集.取长度 ()
跳出 ＝ 真
结束 ＝ 字节集.寻找字节集 ({ 0, 0, 0 }, 起始 ＋ 1)
字节集.取字节集 (起始, 结束)
起始 ＝ 结束
判断循环尾 ()

i支持库列表	支持库注释
commobj	通用对象支持库

.版本 2<br /> .支持库 commobj<br /> <br /> .局部变量 起始, 整数型<br /> .局部变量 结束, 整数型<br /> .局部变量 跳出, 逻辑型<br /> <br /> .判断循环首 (跳出 ＝ 假)<br />     .如果真 (结束 ＝ -1)<br />         结束 ＝ 字节集.取长度 ()<br />         跳出 ＝ 真<br />     .如果真结束<br />     结束 ＝ 字节集.寻找字节集 ({ 0, 0, 0 }, 起始 ＋ 1)<br />     字节集.取字节集 (起始, 结束)<br />     起始 ＝ 结束<br /> .判断循环尾 ()

复制型选手

EmEditror 速度不错

baitso

多线程，换电脑，换语言,用汇编。看看那种适用用那种

aiyang

复制型选手 发表于 2024-9-21 12:38
EmEditror 速度不错

有例子吗  没找到

蜗牛人生

内存映射 一点一点读入

企鹅号525150138

这是要搞推理工具吗

鹏书

直接从文件读 不要读入文件在置 应该会快一丢丢

quary

时间都耗费在内存 [申请了两千万次][拷贝了2000W次][释放2000W],要想快就直接操作指针,寻找字节集 控制起始位置 然后 头 尾 算出 数据偏移和长度

aiyang

quary 发表于 2024-9-21 13:08
时间都耗费在内存 [申请了两千万次][拷贝了2000W次][释放2000W],要想快就直接操作指针,寻找字节集 控制起始 ...

z这个不会了...