有A,B2个千万行的数据里，去重复后，查找A有 B没有的数据

cc121112 · 发表于 2024-10-28 13:53:05

辽阳小哲发表于 2024-10-28 13:50
如果是我，会把A和B分别做成两个数据表，然后使用连表语句cha询。

插入数据表也是很慢的，一秒只能插入几百条

cc121112 · 发表于 2024-10-28 13:55:27

LEOONL 发表于 2024-10-28 13:51
那直接 B+辨别分割文本+A 然后直接去重，取出剩下的辨别分割文本后面的文本就是没有B文本的A文本 ...

应该可以行，我试试

飞羽软件 · 发表于 2024-10-28 14:05:43

用哈希表去重比较快

憨憨问号 · 发表于 2024-10-28 15:20:46

超大文本对比去重，百万行15秒！
https://bbs.125.la/forum.php?mod=viewthread&tid=14728022
(出处: 精易论坛)

cc121112 · 发表于 2024-10-28 15:22:59

LEOONL 发表于 2024-10-28 13:51
那直接 B+辨别分割文本+A 然后直接去重，取出剩下的辨别分割文本后面的文本就是没有B文本的A文本 ...

试了，不行，去重复会排序排序了就乱了

LEOONL · 发表于 2024-10-28 15:38:59

cc121112 发表于 2024-10-28 15:22
试了，不行，去重复会排序排序了就乱了

正常去重为啥会排序，那不是你去重方法的原因吗，改你的去重方法或换个方法

dc244399752 · 发表于 2024-10-28 15:52:21

给你个思路

一千万行数据可以分为10万行一组去对比，一次启动100条线程，每条线程对比10万数据
这里用超级列表框来举例，所以速度有点慢，可以把每条线程筛选出来的数据单独保存，最后在汇总就可以快很多

qq1004043585 · 发表于 2024-10-28 16:43:47

哈希表，你值得拥有

凌哥 · 发表于 2024-10-28 16:54:34

超大数据高性能操作可以找我

笨来无一悟 · 发表于 2024-10-28 17:02:13

浪费时间干嘛要去重直接 A分割了循环查找B 不就出来了多此一举

		自动登录	找回密码
密码			注册

[已解决] 有A,B2个千万行的数据里，去重复后， 查找A有 B没有的数据