如何对10MB的文本文件进行排序，去重复等操作

山顶小雪球

有一个10+MB的文本文件，如何快速的对其进行处理？

格式是这样的
1234   gojlikuaiy
2234   8maojky
3234   7尊咯啵
56290    坡口

以每行为单位，通过前面数字进行判断，相同的去掉只留下一个。根据数字的大小对每行重新排序。（数字长度是长整数）

我应该怎么做？ 因为文件比较大，效率也是问题

小淡

1. .版本 2
   
2. .支持库 commobj
   
3. .支持库 spec
   
4. 
   
5. .局部变量 快速文本, 快速文本对象
   
6. .局部变量 文本组1, 文本型, , "0"
   
7. .局部变量 i
   
8. .局部变量 文本组2, 文本型, , "0"
   
9. .局部变量 文本组3, 文本型, , "0"
   
10. .局部变量 g, 文本型, , "0"
    
11. .局部变量 临时文本, 文本型
    
12. .局部变量 j, 整数型
    
13. .局部变量 最小, 整数型
    
14. 
    
15. 快速文本.从文件读 (“你的文件路径”)
    
16. 调试输出 (“原文本”, 编辑框1.内容)
    
17. 
    
18. 
    
19. ' 快速文本.从文件读 (“文件路径”)
    
20. 文本组1 ＝ 快速文本.分割文本 (#换行符, )
    
21. .判断循环首 (取数组成员数 (文本组1) ≠ 0)
    
22.     最小 ＝ 0
    
23.     清除数组 (文本组2)
    
24.     清除数组 (文本组3)
    
25.     .计次循环首 (取数组成员数 (文本组1), i)
    
26.         快速文本.置文本 (文本组1 [i])
    
27.         文本组2 ＝ 快速文本.分割文本 (“   ”, )
    
28.         .如果 (取数组成员数 (文本组2) ＝ 2)
    
29.             .如果真 (到整数 (文本组2 [1]) ＜ 最小 或 最小 ＝ 0)
    
30.                 最小 ＝ 到整数 (文本组2 [1])
    
31.                 临时文本 ＝ 文本组1 [i]
    
32.                 j ＝ i
    
33.             .如果真结束
    
34. 
    
35.         .否则
    
36.             信息框 (“错误”, 0, )
    
37.         .如果结束
    
38. 
    
39.     .计次循环尾 ()
    
40. 
    
41.     .如果 (取数组成员数 (g) ≠ 0)
    
42.         快速文本.置文本 (临时文本)
    
43.         文本组2 ＝ 快速文本.分割文本 (“   ”, )
    
44.         快速文本.置文本 (g [取数组成员数 (g)])
    
45.         文本组3 ＝ 快速文本.分割文本 (“   ”, )
    
46.         .如果真 (文本组2 [2] ≠ 文本组3 [2])
    
47.             加入成员 (g, 临时文本)
    
48.         .如果真结束
    
49. 
    
50.     .否则
    
51.         加入成员 (g, 临时文本)
    
52.     .如果结束
    
53. 
    
54.     删除成员 (文本组1, j, 1)
    
55. .判断循环尾 ()
    
56. 
    
57. 调试输出 (“后文本”, g)
    

复制代码

拉面

还不如把文本上传看看

冯古屋

用快速文本对象去处理，会快一点吧

小淡

开始运行被调试程序
* “原文本” | “1234   gojlikuaiy
3234   7尊咯啵
56290    坡口
56290    坡口
2234   8maojky
1234   45645654”
* “后文本” | 数组:5{“1234   gojlikuaiy”,“1234   45645654”,“2234   8maojky”,“3234   7尊咯啵”,“56290    坡口”}
被调试易程序运行完毕

山顶小雪球

小淡 发表于 2017-7-13 18:00

你确定当要处理的内容达到上万条的时候，这样写没问题？

落花飞雪

文本发出来看看啊

小淡

qq1347522182 发表于 2017-7-13 18:42
你确定当要处理的内容达到上万条的时候，这样写没问题？

你自己测试一下啊  你文本又不发出来

山顶小雪球

小淡 发表于 2017-7-13 18:54
你自己测试一下啊  你文本又不发出来

神TM要文本，算了算了，自己写吧。此贴终结