处理百万数据直接卡死

陈新马

文本数据拆分了就是几百万注，文件想当的大，双色球号码，一排有25码拆分了就是177100注，几十排加起来就百万注了，找出重复，删除并统计，
软件打不开，直接卡死，

也可以不拆分进行抓取看重复，不会写，

源码在这里，有高手帮忙看看 改进一下吗
文本出现次数.e (648.69 KB, 下载次数: 2)

2019-8-18 19:48 上传

点击文件名下载附件
去重复

ly10086

虚表

潇洒＆男孩

用数据库吧！数据库绝对是首选！

羽落人间

先判断下是在哪部分卡死  是在加载的时候  还是去重复的时候  又或者显示结果的时候

神2

用 E2EE 的 [存取列表.从文本分割] 方法。

用 E2EE 的 [存取列表.从文本分割] 方法。配合[存取键值表]做计次，应该很快能处理完。

格式文本

[列表]可以通过指定[行文本]和[列文本]的方式，载入和生成指定格式文本。方法如下：

• 列表.从文本分割
• 列表.到表格文本

所谓[行文本]和[列文本]，指的是行分隔文本和列分隔文本。

.版本 2
.支持库 e2ee

.子程序 常用操作_序列化和反序列化_格式文本
.局部变量 列表1, 存取列表
.局部变量 列表2, 存取列表
.局部变量 表格文本, 文本型

列表1.创建 (创建列表 (2, 1, 1, 1), 创建列表 (1, 2, 1, 1), 创建列表 (1, 1, 2, 1), 创建列表 (1, 1, 1, 2))
输出调试文本 (列表1.到文本 ())
表格文本 ＝ 列表1.到表格文本 (#换行符, “-”, , )
输出调试文本 (表格文本)
列表2.从文本分割 (表格文本, #换行符, “-”, 真, #存取类型_整数型, , 假)
输出调试文本 (列表2.到文本 ())

• [[2,1,1,1],[1,2,1,1],[1,1,2,1],[1,1,1,2]]
• 2-1-1-1
  1-2-1-1
  1-1-2-1
  1-1-1-2
• [[2,1,1,1],[1,2,1,1],[1,1,2,1],[1,1,1,2]]

陈新马

神2 发表于 2019-8-19 01:32
用 E2EE 的 [存取列表.从文本分割] 方法。

[md]用 E2EE 的 [存取列表.从文本分割] 方法。配合[存取键值 ...

能帮修改一下吗？我看不懂这个。初学