大文本平均分割小文本

聆听震撼

做个小工具碰到难题，有几个csv文件，单个文件大概6m-8m，10几w行，怎么读取到文件文本，通过以行为单位的方式平均分割成指定数量的文本变量

53770zhang

先分割啊,分割后 取数组成员,假如10万行 分5个文本 每个文本2万行就行了吧 就是取数组中对应的行

xiaoyu1986

同求，
我弄的最简单的。。
十万行就慢的一批。。同求同求同求。有答案，@我一下子。。~

Bszk

大概思路就是通过文件大小来平均分。
假如你有一个10M的csv文件，然后想要分成5分，则可以打开文件，读文本行，进行分割，每读取&写出100行就判断一下已经写出的文件大小，如果超过2M了就打开下一个文件进行下一轮分割。
优点：不需要知道大文本有多少行，易于实现
缺点：没有办法精准按照行数来分割

850536360

寻找换行符，跳过N次，再截取，要用文件读写的方式

无风不起浪

下载一个 emeditor 快的很 自带这个功能

850536360

搞了一个，帖子审核中 https://bbs.125.la/thread-14655799-1-1.html

fywyk1

  

子程序名	返回值类型	公开	备 注
分割

变量名	类 型	静态	数组	备 注
dd	快速文本对象
数目	整数型
ff	文本型		0
平分份数	整数型
局_计次	整数型
aa	快速文本对象
取数目	整数型
局_计次_份数	整数型
a	整数型
bb	整数型

bb ＝ 取启动时间 ()
dd.从文件读 (取特定目录 (3) ＋ “1210.txt”)
ff ＝ dd.分割文本 ( #换行符, )
数目 ＝ 取数组成员数 (ff)
' 数目 ＝ 20000
调试输出 (“数目” ＋ 到文本 (数目))
如果真 (数目 ≥ 50000)
平分份数 ＝ 2
取数目 ＝ 到整数 (数目 ÷ 平分份数)
计次循环首 (平分份数, 局_计次_份数)
调试输出 (aa.清除文本 ())
调试输出 (“局_计次_份数” ＋ 到文本 (局_计次_份数))
如果真 (局_计次_份数 ＝ 1)
a ＝ 1

如果真 (局_计次_份数 ＝ 2)
取数目 ＝ 数目 － 取数目
a ＝ 取数目
调试输出 (“取数目” ＋ 到文本 (取数目))
计次循环首 (取数目, )
aa.添加 (ff [a] ＋ #换行符 )
a ＝ a ＋ 1
计次循环尾 ()
aa.写到文件 (取特定目录 (3) ＋ 到文本 (取数目) ＋ “.txt”)
计次循环尾 ()
bb ＝ 取启动时间 () － bb
调试输出 (bb)

i支持库列表	支持库注释
commobj	通用对象支持库
shell	操作系统界面功能支持库
spec	特殊功能支持库

.版本 2<br /> .支持库 commobj<br /> .支持库 shell<br /> .支持库 spec<br /> <br /> .子程序 分割<br /> .局部变量 dd, 快速文本对象<br /> .局部变量 数目, 整数型<br /> .局部变量 ff, 文本型, , "0"<br /> .局部变量 平分份数, 整数型<br /> .局部变量 局_计次, 整数型<br /> .局部变量 aa, 快速文本对象<br /> .局部变量 取数目, 整数型<br /> .局部变量 局_计次_份数, 整数型<br /> .局部变量 a, 整数型<br /> .局部变量 bb, 整数型<br /> <br /> bb ＝ 取启动时间 ()<br /> dd.从文件读 (取特定目录 (3) ＋ “1210.txt”)<br /> ff ＝ dd.分割文本 (#换行符, )<br /> 数目 ＝ 取数组成员数 (ff)<br /> ' 数目 ＝ 20000<br /> 调试输出 (“数目” ＋ 到文本 (数目))<br /> .如果真 (数目 ≥ 50000)<br />     平分份数 ＝ 2<br /> .如果真结束<br /> 取数目 ＝ 到整数 (数目 ÷ 平分份数)<br /> .计次循环首 (平分份数, 局_计次_份数)<br />     调试输出 (aa.清除文本 ())<br />     调试输出 (“局_计次_份数” ＋ 到文本 (局_计次_份数))<br />     .如果真 (局_计次_份数 ＝ 1)<br />         a ＝ 1<br />     .如果真结束<br /> <br />     .如果真 (局_计次_份数 ＝ 2)<br />         取数目 ＝ 数目 － 取数目<br />         a ＝ 取数目<br />     .如果真结束<br />     调试输出 (“取数目” ＋ 到文本 (取数目))<br />     .计次循环首 (取数目, )<br />         aa.添加 (ff [a] ＋ #换行符)<br />         a ＝ a ＋ 1<br />     .计次循环尾 ()<br />     aa.写到文件 (取特定目录 (3) ＋ 到文本 (取数目) ＋ “.txt”)<br /> .计次循环尾 ()<br /> bb ＝ 取启动时间 () － bb<br /> 调试输出 (bb)

* “数目342633”
* 真
* “局_计次_份数1”
* “取数目171316”
* 真
* “局_计次_份数2”
* “取数目171317”
* “时间813”

850536360

xiaoyu1986 发表于 2020-12-12 21:57
同求，
我弄的最简单的。。
十万行就慢的一批。。同求同求同求。有答案，@我一下子。。~

https://bbs.125.la/thread-14655799-1-1.html

xinhao1

xiaoyu1986 发表于 2020-12-12 21:57
同求，
我弄的最简单的。。
十万行就慢的一批。。同求同求同求。有答案，@我一下子。。~

借用MySQL数据库可以，也可以用快速文本