读入超大TXT文件速度过慢

zhanghuan

200多M的数据，一行一个，用数组的形式来读取，速度超级慢，有什么好的解决方法吗？

算法艺术家

bbs.125.la/forum.php?mod=viewthread&tid=14266108&highlight  用这个模块

算法艺术家

或者用快速文本对象， 自带分割的函数 还能快一点

补充内容 (2025-3-19 01:21):
大佬说的对，读入一行处理一行快，全分割到变量里，变量也快装不下了

算法艺术家

  

变量名	类 型	静态	数组	备 注
大文本	快速文本对象
数组	文本型		0

大文本.从文件读 (编辑框1.内容)
数组 ＝ 大文本.分割文本 ( #换行符, )

i支持库列表	支持库注释
commobj	通用对象支持库

.版本 2<br /> .支持库 commobj<br /> <br /> .局部变量 大文本, 快速文本对象<br /> .局部变量 数组, 文本型, , "0"<br /> <br /> 大文本.从文件读 (编辑框1.内容)<br /> 数组 ＝ 大文本.分割文本 (#换行符, )

算法艺术家

算法艺术家 发表于 2025-3-19 01:14
[e=3].版本 2
.支持库 commobj

但是你文件如果再大一些，估计这个方法就不行了，你就只能用大文件读写模块，每次读入100M数据 处理100M数据， 这样循环去处理数据了，变量没法装入太大的数据 我记得上限是几百兆

补充内容 (2025-3-19 01:19):
大佬说的对，一行一行读快

补充内容 (2025-3-19 17:34):
之前说的不准确，字节集的话单个变量是250MB，文本数组的话可以3个GB

凌哥

要速度快也可以，但推荐一行行读取

打开文件()
读入一行()

这样可以减少不必要的内存占用

空中小吉普

正为这个发愁呢

ningshunchu

  

子程序名	返回值类型	公开	备 注
子程序1

变量名	类 型	静态	数组	备 注
文件路径	文本型
f	整数型
len	整数型
str	文本型
局_文本	文本型

置随机数种子 (取启动时间 ())
计次循环首 (10, )
f ＝ 打开文件 (文件路径, #读入, )
len ＝ 取文件尺寸 (文件路径)
移动读写位置 (f, #文件首, 取随机数 (0, len))
str ＝ 读入一行 (f)
如果真 (是否在文件尾 (f, 真))
移到文件首 (f)
str ＝ 读入一行 (f)
关闭文件 (f)
返回 (str)
计次循环尾 ()

.版本 2<br /> <br /> .子程序 子程序1<br /> .局部变量 文件路径, 文本型<br /> .局部变量 f, 整数型<br /> .局部变量 len, 整数型<br /> .局部变量 str, 文本型<br /> .局部变量 局_文本, 文本型<br /> <br /> <br /> 置随机数种子 (取启动时间 ())<br /> .计次循环首 (10, )<br />     f ＝ 打开文件 (文件路径, #读入, )<br />     len ＝ 取文件尺寸 (文件路径)<br />     移动读写位置 (f, #文件首, 取随机数 (0, len))<br />     str ＝ 读入一行 (f)<br />     .如果真 (是否在文件尾 (f, 真))<br />         移到文件首 (f)<br />     .如果真结束<br />     str ＝ 读入一行 (f)<br />     关闭文件 (f)<br />     返回 (str)<br /> .计次循环尾 ()

补充内容 (2025-3-19 15:05):
这个可以快速读取数据量大的文本，不用随机行就把随机书改成行数就行