大文本处理问题3

zs5819

按你给的文件只要87毫秒

9638594

过滤重复文本:个人思路  
重复文本.txt里有若干行数据 往Redis数据库 全部写一遍  
文本.txt里有超过百万行数据  也往数据库写一遍
如   a=1  b=2  a=1  
Redis读取全部数据 ：  还是 ： a =1  b =2

Redis数据 读取和写入  完全胜任；
至于几百万行数据全部一次性提取出来 需要点时间

最快数据库_Redis数据库_个人分享
https://bbs.125.la/forum.php?mod=viewthread&tid=14800819
(出处: 精易论坛)

学习委员

lisher 发表于 2024-11-9 18:59

哥，你这个最快，我还有一个问题就是单线程会卡死直到运行完毕，能不能帮我加个进度条演示

lisher

学习委员 发表于 2024-11-9 19:31
哥，你这个最快，我还有一个问题就是单线程会卡死直到运行完毕，能不能帮我加个进度条演示 ...

加进度条会让程序变慢，最好不要加.

懒人工作室

对比去重.e (968 KB, 下载次数: 1)

2024-11-9 20:01 上传

点击文件名下载附件

domingo

以下这种方法，适合于文本行之间不存在重复文本的情况下使用：
1、读入文本.txt的内容，不分割文本。
2、读入重复文本.txt的内容，分割文本到数组。
3、直接使用子文本替换重复的内容，再写出。

学习委员

lisher 发表于 2024-11-9 19:38
加进度条会让程序变慢，最好不要加.

好像原文件大小会影响速度，比如我随机.txt文本里面数据加到三十万行，然后随机待删除.txt文本里面只放两行，运行也要一分钟。是原文本大小的原因吗？

补充内容 (2024-11-9 21:07):
原文本加到三十万行，待删除文本里面不管是三百，还是三千行，运行速度都差不多一分钟。

chenboss

你的强来了，多线程cpu干冒烟，随机加到50w，待删除1w+ 不到20秒
多线程替换.e (950.18 KB, 下载次数: 3)

2024-11-10 04:12 上传

点击文件名下载附件



补充内容 (2024-11-10 04:17):
顺便加了进度条

yy778456062

chenboss 发表于 2024-11-9 16:59
上一部分测试数据，来一场速度大比拼

留个联系方式我给你发测试数据

学习委员

chenboss 发表于 2024-11-10 04:15
你的强来了，多线程cpu干冒烟，随机加到50w，待删除1w+ 不到20秒

这不给你整包华华抽一下？私我联系