开启辅助访问 切换到宽版

精易论坛

 找回密码
 注册

QQ登录

只需一步,快速开始

用微信号发送消息登录论坛

新人指南 邀请好友注册 - 我关注人的新帖 教你赚取精币 - 每日签到


求职/招聘- 论坛接单- 开发者大厅

论坛版规 总版规 - 建议/投诉 - 应聘版主 - 精华帖总集 积分说明 - 禁言标准 - 有奖举报

查看: 684|回复: 11
收起左侧

[讨论] 数组有没有好的去重思路啊,目前的思路太慢了

[复制链接]
结帖率:83% (85/102)
发表于 2024-2-21 18:16:49 | 显示全部楼层 |阅读模式   安徽省合肥市
数据是自定义数据类型的,集合成了一个数组。
目前采用的办法是一个一个拎出来,然后与后面的进行对比,这样太慢了,用户的破电脑得跑个好几分钟,这是不能容忍的。

数据基本都是文本型。
比如:设备.设备类型,设备.设备名称,设备.设备数量,设备.设备价格,设备.采购人,设备.发票信息,设备.平台信息
这样的自定义数据类型,很多重复项,要去重汇总统计。

目前数据还少,等多了真是噩梦,各位有好的建议吗?
结帖率:83% (85/102)

签到天数: 8 天

 楼主| 发表于 2024-2-21 18:20:25 | 显示全部楼层   安徽省合肥市
这个不好对比啊,速度太慢了
回复 支持 反对

使用道具 举报

结帖率:65% (36/55)

签到天数: 14 天

发表于 2024-2-21 22:34:18 | 显示全部楼层   河北省石家庄市
不存储的嘛?直接扔mysql啊 根据索引。直接就过滤了。
回复 支持 反对

使用道具 举报

结帖率:100% (17/17)

签到天数: 14 天

发表于 2024-2-21 22:34:45 | 显示全部楼层   福建省泉州市
组合成长文本  然后使用 寻找文本()  来查
如果单个文本长度过长了    就做成长文本数组
这样遍历的时候数组循环数量减少   相对来说速度能稍微快一点
回复 支持 反对

使用道具 举报

签到天数: 14 天

发表于 2024-2-21 22:48:08 高大上手机用户 | 显示全部楼层   河南省焦作市
哈希表速度应该最快 如果数据太大就用mmkV,   rocksdb
回复 支持 反对

使用道具 举报

结帖率:93% (66/71)

签到天数: 1 天

发表于 2024-2-22 09:31:47 | 显示全部楼层   福建省宁德市
整个数据库把,
回复 支持 反对

使用道具 举报

结帖率:100% (2/2)

签到天数: 13 天

发表于 2024-2-22 12:52:03 | 显示全部楼层   贵州省毕节市
存数据的时候直接用二叉树 直接就是没有重复的了吧...
回复 支持 反对

使用道具 举报

结帖率:79% (30/38)

签到天数: 4 天

发表于 2024-2-22 13:42:15 | 显示全部楼层   上海市上海市
首先用自定义数据类型数据多的时候会出现内存溢出(500条左右)。最好的办法还是使用sql
回复 支持 反对

使用道具 举报

结帖率:60% (3/5)

签到天数: 3 天

发表于 2024-2-22 15:49:06 | 显示全部楼层   上海市上海市
落个库,mdb or litedb
回复 支持 反对

使用道具 举报

结帖率:50% (1/2)

签到天数: 11 天

发表于 2024-2-22 16:23:57 | 显示全部楼层   广东省佛山市
数据量是多少。5000以内,两个循环就行了。
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 注册

本版积分规则 致发广告者

发布主题 收藏帖子 返回列表

sitemap| 易语言源码| 易语言教程| 易语言论坛| 诚聘英才| 易语言模块| 手机版| 广告投放| 精易论坛
拒绝任何人以任何形式在本论坛发表与中华人民共和国法律相抵触的言论,本站内容均为会员发表,并不代表精易立场!
论坛帖子内容仅用于技术交流学习和研究的目的,严禁用于非法目的,否则造成一切后果自负!如帖子内容侵害到你的权益,请联系我们!
防范网络诈骗,远离网络犯罪 违法和不良信息举报电话0663-3422125,QQ: 800073686,邮箱:800073686@b.qq.com
Powered by Discuz! X3.4 揭阳市揭东区精易科技有限公司 ( 粤ICP备12094385号-1) 粤公网安备 44522102000125 增值电信业务经营许可证 粤B2-20192173

快速回复 返回顶部 返回列表