【收藏版】最快的大文本去重复，1G 3000+W行21秒支持4G+

a617273503 · 发表于 2021-12-29 17:41:51

全读到内存我想都没想过确实快不少我1300万行用映射方法252秒但是支持大文件

fyqjfb · 发表于 2021-12-28 10:07:22

感谢分享！

神女软件定制 · 发表于 2021-12-23 14:56:30

风清云游发表于 2021-12-23 14:11
呃，，，鱼和熊掌，，，
你这是都不要的节奏，，，

…………

风清云游 · 发表于 2021-12-23 14:11:01

本帖最后由风清云游于 2021-12-23 15:18 编辑

神一样的女人发表于 2021-12-23 13:12
一般这种同时需要兼顾速度和处理大小的，都会此消彼长，不可兼得

呃，，，鱼和熊掌，，，
你这是都不要的节奏，，，

神女软件定制 · 发表于 2021-12-23 13:12:17

风清云游发表于 2021-12-23 12:02
1g的文本额外消耗高于1g 这个思路本身不可取

一般这种同时需要兼顾速度和处理大小的，都会此消彼长，不可兼得

风清云游 · 发表于 2021-12-23 12:02:27

幻月工作室发表于 2021-12-14 09:51
纯内存去重速度确实能快点，但处理不了太大的文本，1G的文本最起码将近3G的内存消耗，4G文本没个16G+内存搞 ...

1g的文本额外消耗高于1g 这个思路本身不可取

Sir928 · 发表于 2021-12-23 09:19:24

确认过眼神是神一样的女人~

fyqjfb · 发表于 2021-12-18 10:31:08

感谢分享！

神女软件定制 · 发表于 2021-12-14 17:55:43

幻月工作室发表于 2021-12-14 17:26
不是这么算的，你实测一下看看吧

除了vector内存不是分配的，其他内存都是我分配的，可能vector会预申请一部分空间，可能2.2这个系数，还会大一点
但一定是线性增长的

神女软件定制 · 发表于 2021-12-14 17:51:31

幻月工作室发表于 2021-12-14 17:26
不是这么算的，你实测一下看看吧

…………

		自动登录	找回密码
密码			注册

[优秀原创软件] 【收藏版】最快的大文本去重复，1G 3000+W行21秒 支持4G+