超2千万行数据分割非常耗时，有快的方法吗

aiyang · 发表于 2024-9-21 13:14:30

鹏书发表于 2024-9-21 13:03
直接从文件读不要读入文件在置应该会快一丢丢

主要耗时在分割上面

无敌小爱 · 发表于 2024-9-21 14:24:23

这两天挺多这个问题的,是不是都在搞一个项目？？？

啥项目能不能让我们见识见识

无风不起浪 · 发表于 2024-9-21 14:25:50

具体问题具体分析你说下你的真实要求可能有其他更好的方案不然解决了这个问题还会有下一个问题

aiyang · 发表于 2024-9-21 14:29:14

无风不起浪发表于 2024-9-21 14:25
具体问题具体分析你说下你的真实要求可能有其他更好的方案不然解决了这个问题还会有下一个问题 ...

目前就是需要这个字节集分割问题了

叮小当 · 发表于 2024-9-21 14:36:51

直接按offset 和 len 去读指定位置指定长度的数据，就能快一些，如果还要存的话，就先从头到尾走一遍，看看需要创建多大的内存空间来存，然后创建好以后，直接往内存里 set

笨来无一悟 · 发表于 2024-9-21 15:32:16

你是打算分割了然后跑循环对吧? 那直接循环截取两个{0,0,0}之间的内容就可以了还可以节约一半的内存消耗

aiyang · 发表于 2024-9-21 15:41:12

笨来无一悟发表于 2024-9-21 15:32
你是打算分割了然后跑循环对吧? 那直接循环截取两个{0,0,0}之间的内容就可以了还可以节约一半的内存消耗 ...

不懂你说的这个截取咋搞哦我现在是按{ 0, 0, 0 } 分割后放数组去运行的分割这一块太慢

aiyang · 发表于 2024-9-21 17:05:51

笨来无一悟发表于 2024-9-21 16:36
大概这样一条一条的读读一条处理一条就不用等全部分割完毕了还能节约一半的内存占用没拿数 ...

这样速度会越来越慢了

		自动登录	找回密码
密码			注册

[已解决] 超2千万行数据分割非常耗时，有快的方法吗