百万数据统计重复次数

陈新马 · 发表于 2019-8-27 23:03:10

处理百万数据数据，文本内容有200MB 左右吧，光打开文件就要十几个小时吧，处理还不用说了，有哪位大神能帮我修改一下吗？
不管是内存法，还是多线程法，只要能快速打开文本，并完成统计就可以了，文本格式：

结果.txt (11.42 KB, 下载次数: 25)

花总 · 发表于 2019-8-27 23:21:08

这样的数据，为何不用更好的数据库统计，速度是天壤之别的。

sm666 · 发表于 2019-8-27 23:35:32

感觉用数据库比较快，效率最高

寒潮 · 发表于 2019-8-28 10:34:23

打开很快，慢的是中间的处理。
如果想一直用易进行处理，建议你花点时间，把数据导入数据库后再进行处理。

陈新马 · 发表于 2019-8-28 19:32:26

寒潮发表于 2019-8-28 10:34
打开很快，慢的是中间的处理。
如果想一直用易进行处理，建议你花点时间，把数据导入数据库后再进行处理。

能具体改下源码吗，让文件飞起来

陈新马 · 发表于 2019-8-28 19:32:44

寒潮发表于 2019-8-28 10:34
打开很快，慢的是中间的处理。
如果想一直用易进行处理，建议你花点时间，把数据导入数据库后再进行处理。

能具体改下源码吗，让文件飞起来。

陈新马 · 发表于 2019-8-28 19:32:57

sm666 发表于 2019-8-27 23:35
感觉用数据库比较快，效率最高

能具体改下源码吗，让文件飞起来，

陈新马 · 发表于 2019-8-28 19:33:14

花总发表于 2019-8-27 23:21
这样的数据，为何不用更好的数据库统计，速度是天壤之别的。

能具体改下源码吗，让文件飞起来，，

darlingljl · 发表于 2022-4-6 10:56:04

学习学习

darlingljl · 发表于 2022-4-6 11:14:04

好东西，再顶一下

		自动登录	找回密码
密码			注册

[求助] 百万数据统计重复次数