开启辅助访问 切换到宽版

精易论坛

 找回密码
 注册

QQ登录

只需一步,快速开始

用微信号发送消息登录论坛

新人指南 邀请好友注册 - 我关注人的新帖 教你赚取精币 - 每日签到


求职/招聘- 论坛接单- 开发者大厅

论坛版规 总版规 - 建议/投诉 - 应聘版主 - 精华帖总集 积分说明 - 禁言标准 - 有奖举报

楼主: 465228962
收起左侧

[易源码分享] 手机号码去重一千万2秒内,bitmap支持百亿号码,仅耗内存1.2G

[复制链接]
发表于 2021-8-18 13:42:04 | 显示全部楼层   山西省晋中市
本帖最后由 超级の赛亚人 于 2021-8-18 14:10 编辑

手机号高效去重复2.rar (309.34 KB, 下载次数: 7)

点评

搞不好还有问题。不重复得直接写出文件。避免内存不够用   山西省晋中市  发表于 2021-8-18 13:47
回复 支持 反对

使用道具 举报

 楼主| 发表于 2021-8-18 12:50:06 | 显示全部楼层   广东省广州市

挂了,运行不了
1629262179(1).png
回复 支持 反对

使用道具 举报

签到天数: 9 天

发表于 2021-8-18 10:43:22 | 显示全部楼层   山西省晋中市
QQ截图20210818104201.png
手机号高效去重复2.rar (309.34 KB, 下载次数: 9)
回复 支持 反对

使用道具 举报

结帖率:100% (1/1)

签到天数: 15 天

发表于 2021-8-17 22:28:00 | 显示全部楼层   河南省濮阳市
支持开源~!感谢分享
回复 支持 反对

使用道具 举报

 楼主| 发表于 2021-8-17 14:27:22 | 显示全部楼层   广东省广州市
超级の赛亚人 发表于 2021-8-17 14:14
在优化估计得优化哈希表内部,添加数据比较耗时!

源码开源借鉴一下啊,学习下,我那个哈希测试也是ASM的,为什么要4秒多
回复 支持 反对

使用道具 举报

 楼主| 发表于 2021-8-17 14:19:12 | 显示全部楼层   广东省广州市
465228962 发表于 2021-8-17 14:17
测试过了,主要还是重复率的问题,这个是影响速度的关键

还有就是asm的哈希表还是不支持过大数据量处理,毕竟易语言32位内存到1.7G就崩溃了,你的处理不能超过一亿,我这个去重100亿也是没问题的
回复 支持 反对

使用道具 举报

 楼主| 发表于 2021-8-17 14:17:16 | 显示全部楼层   广东省广州市
超级の赛亚人 发表于 2021-8-17 14:14
在优化估计得优化哈希表内部

测试过了,主要还是重复率的问题,这个是影响速度的关键
回复 支持 反对

使用道具 举报

签到天数: 9 天

发表于 2021-8-17 14:14:44 | 显示全部楼层   山西省晋中市
本帖最后由 超级の赛亚人 于 2021-8-17 14:17 编辑

QQ截图20210817135633.png
在优化估计得优化哈希表内部,添加数据比较耗时!

回复 支持 反对

使用道具 举报

 楼主| 发表于 2021-8-17 12:46:47 | 显示全部楼层   广东省广州市
超级の赛亚人 发表于 2021-8-17 11:02
看看这个,不保证没有bug

重复率不要设置那么高,你这样等于32W的耗时,把重复率设置到10%以下,你在试试,强行大量重复测试就没意思了哈

点评

可以测试下我的那个   山西省晋中市  发表于 2021-8-17 13:15
回复 支持 反对

使用道具 举报

签到天数: 9 天

发表于 2021-8-17 11:02:51 | 显示全部楼层   山西省晋中市
本帖最后由 超级の赛亚人 于 2021-8-17 11:04 编辑

QQ截图20210817105917.png

QQ截图20210817110342.png

手机号高效去重复.rar (322.54 KB, 下载次数: 7)
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 注册

本版积分规则 致发广告者

发布主题 收藏帖子 返回列表

sitemap| 易语言源码| 易语言教程| 易语言论坛| 易语言模块| 手机版| 广告投放| 精易论坛
拒绝任何人以任何形式在本论坛发表与中华人民共和国法律相抵触的言论,本站内容均为会员发表,并不代表精易立场!
论坛帖子内容仅用于技术交流学习和研究的目的,严禁用于非法目的,否则造成一切后果自负!如帖子内容侵害到你的权益,请联系我们!
防范网络诈骗,远离网络犯罪 违法和不良信息举报电话0663-3422125,QQ: 793400750,邮箱:wp@125.la
Powered by Discuz! X3.4 揭阳市揭东区精易科技有限公司 ( 粤ICP备12094385号-1) 粤公网安备 44522102000125 增值电信业务经营许可证 粤B2-20192173

快速回复 返回顶部 返回列表