求一个超快的文本数组去重复的代码

53770zhang · 发表于 2020-12-24 22:15:01

求一个超快的文本数组去重复的代码，10万文本数组毫秒级的最好。
测试精益的数组_去重复（）一个10万数组要1分钟

求一个超快的文本数组去重复

真冬 · 发表于 2020-12-24 22:15:02

一分钟我觉得很快很快了

君笨笨 · 发表于 2020-12-24 22:57:17

9秒~~~

53770zhang · 发表于 2020-12-24 22:58:51

君笨笨发表于 2020-12-24 22:57
9秒~~~

老哥分享一下

君笨笨 · 发表于 2020-12-24 23:17:15

53770zhang 发表于 2020-12-24 22:58
老哥分享一下

不分享,但是可以告诉你用什么,自己去捣鼓捣鼓,用哈希..

已注销520760 · 发表于 2020-12-25 00:02:46

我想知道文本格式和长度

补充内容 (2020-12-25 00:03):
最短多少最长多少

或者发一个问题

补充内容 (2020-12-25 00:03):
文本

53770zhang · 发表于 2020-12-25 00:03:52

君笨笨发表于 2020-12-24 23:17
不分享,但是可以告诉你用什么,自己去捣鼓捣鼓,用哈希..

老哥还是感谢你，不过哈希表在10万速度并不快，可能百万级别更快吧

53770zhang · 发表于 2020-12-25 00:06:49

伴我多久发表于 2020-12-25 00:02
我想知道文本格式和长度

补充内容 (2020-12-25 00:03):

就是文本型格式，在论坛找了几个，有的在特定条件下非常快，但是有时候又很慢，不知道为什么。同样的100万行的格式文本CRC去重复，一个文本可以到1秒一个文本60秒分析不出为什么

53770zhang · 发表于 2020-12-25 00:11:58

伴我多久发表于 2020-12-25 00:02
我想知道文本格式和长度

补充内容 (2020-12-25 00:03):

我生成的.
置随机数种子 ()
t ＝到文本 (取随机数 (1, 1000)) ＋ “字符 (取随机数 (1, 1000))” ＋到文本 (取随机数 (1, 1000))
生成了10万-100万行的测试自己写了一个写出很多问题想看一下别人的

ruyan666 · 发表于 2020-12-28 23:36:47

是整数还是文本

		自动登录	找回密码
密码			注册

[完成] 求一个超快的文本数组去重复的代码