大数据去重复 bitmap

勾栏听曲 · 发表于 2019-6-19 16:25:27

本帖最后由独舞青春于 2019-6-20 14:27 编辑

网上看到bitmap算法，在数据量超级大的时候有很大优势，用易语言表达了一下，用了逻辑变量代替位（这里违背了bitmap节省空间的优势，不算是真正的bitmap算法，主要是不知道易语言怎样直接读写位），作为抛砖引玉发出来，看看有没有哪个大佬写个真正的bitmap算法，思想最重要

模拟bitmap.zip (256.03 KB, 下载次数: 276)

hitlerfrank · 发表于 2022-6-28 08:28:22

学习使人进步

Shanks · 发表于 2020-6-1 08:34:57

超过800M就有问题了

养乐多ii · 发表于 2020-5-23 23:25:30

OrdnAry · 发表于 2020-3-9 00:38:53

支持开源，感谢分享

懒人定制软件 · 发表于 2019-6-22 06:00:49

欢迎常来帮助新人，谢谢~

hellohexiang · 发表于 2019-6-20 23:25:13

你试试将一个外部千万行的文本文件导入进去去重复看看多久

sampo · 发表于 2019-6-20 22:48:50

支持开源，感谢楼主分享经验

勾栏听曲 · 发表于 2019-6-20 14:16:39

hellohexiang 发表于 2019-6-20 10:45
谁测试了千万行需要几秒？

不到一秒，可以自己测试

shinid8210 · 发表于 2019-6-20 11:29:33

下载学习一下看看

hellohexiang · 发表于 2019-6-20 10:45:56

谁测试了千万行需要几秒？

		自动登录	找回密码
密码			注册

[易语言纯源码] 大数据去重复 bitmap