开启辅助访问 切换到宽版

精易论坛

 找回密码
 注册

QQ登录

只需一步,快速开始

用微信号发送消息登录论坛

新人指南 邀请好友注册 - 我关注人的新帖 教你赚取精币 - 每日签到


求职/招聘- 论坛接单- 开发者大厅

论坛版规 总版规 - 建议/投诉 - 应聘版主 - 精华帖总集 积分说明 - 禁言标准 - 有奖举报

查看: 1462|回复: 10
收起左侧

[求助] 百万数据统计重复次数

[复制链接]
结帖率:86% (6/7)
发表于 2019-8-27 23:03:10 | 显示全部楼层 |阅读模式   浙江省台州市
处理百万数据数据,文本内容有200MB 左右吧,光打开文件就要十几个小时吧,处理还不用说了,有哪位大神能帮我修改一下吗?
不管是内存法,还是多线程法,只要能快速打开文本,并完成统计就可以了 ,文本格式: 结果.txt (11.42 KB, 下载次数: 25)
结帖率:27% (3/11)

签到天数: 9 天

发表于 2019-8-27 23:21:08 | 显示全部楼层   北京市北京市
这样的数据,为何不用更好的数据库统计,速度是天壤之别的。
回复 支持 反对

使用道具 举报

结帖率:100% (41/41)

签到天数: 8 天

发表于 2019-8-27 23:35:32 | 显示全部楼层   广东省揭阳市
感觉用数据库比较快,效率最高
回复 支持 反对

使用道具 举报

结帖率:100% (2/2)
发表于 2019-8-28 10:34:23 | 显示全部楼层   内蒙古自治区通辽市
打开很快,慢的是中间的处理。
如果想一直用易进行处理,建议你花点时间,把数据导入数据库后再进行处理。
回复 支持 反对

使用道具 举报

结帖率:86% (6/7)
 楼主| 发表于 2019-8-28 19:32:26 | 显示全部楼层   浙江省台州市
寒潮 发表于 2019-8-28 10:34
打开很快,慢的是中间的处理。
如果想一直用易进行处理,建议你花点时间,把数据导入数据库后再进行处理。

能具体改下源码吗,让文件飞起来
回复 支持 反对

使用道具 举报

结帖率:86% (6/7)
 楼主| 发表于 2019-8-28 19:32:44 | 显示全部楼层   浙江省台州市
寒潮 发表于 2019-8-28 10:34
打开很快,慢的是中间的处理。
如果想一直用易进行处理,建议你花点时间,把数据导入数据库后再进行处理。

能具体改下源码吗,让文件飞起来。
回复 支持 反对

使用道具 举报

结帖率:86% (6/7)
 楼主| 发表于 2019-8-28 19:32:57 | 显示全部楼层   浙江省台州市
sm666 发表于 2019-8-27 23:35
感觉用数据库比较快,效率最高

能具体改下源码吗,让文件飞起来,
回复 支持 反对

使用道具 举报

结帖率:86% (6/7)
 楼主| 发表于 2019-8-28 19:33:14 | 显示全部楼层   浙江省台州市
花总 发表于 2019-8-27 23:21
这样的数据,为何不用更好的数据库统计,速度是天壤之别的。

能具体改下源码吗,让文件飞起来,,

点评

需要易友帮忙修改源码或直接要某某源码的主题,请移步到定制区~   广东省广州市   发表于 2019-9-6 21:02
回复 支持 反对

使用道具 举报

发表于 2022-4-6 10:56:04 | 显示全部楼层   广东省广州市
学习学习
回复 支持 反对

使用道具 举报

发表于 2022-4-6 11:14:04 | 显示全部楼层   广东省广州市
好东西,再顶一下
回复 支持 反对

使用道具 举报

  高级模式
B Color Image Link Quote Code Smilies |上传

本版积分规则 致发广告者

发布主题 收藏帖子 返回列表

sitemap| 易语言源码| 易语言教程| 易语言论坛| 易语言模块| 手机版| 广告投放| 精易论坛
拒绝任何人以任何形式在本论坛发表与中华人民共和国法律相抵触的言论,本站内容均为会员发表,并不代表精易立场!
论坛帖子内容仅用于技术交流学习和研究的目的,严禁用于非法目的,否则造成一切后果自负!如帖子内容侵害到你的权益,请联系我们!
防范网络诈骗,远离网络犯罪 违法和不良信息举报电话0663-3422125,QQ: 793400750,邮箱:wp@125.la
Powered by Discuz! X3.4 揭阳市揭东区精易科技有限公司 ( 粤ICP备12094385号-1) 粤公网安备 44522102000125 增值电信业务经营许可证 粤B2-20192173

快速回复 返回顶部 返回列表