如何快速读取/处理G级文本文件？并做出正确的进度显示？

sunfly

很多中型的商业软件都不需要处理这么大的文本吧
5精币太少了吧
看看论坛以前好像有个g级处理的印象中好像没到10几级别的

风行无忌

你应该先找出慢的关键地方在哪，一分钟才处理1000行？感觉99%的时间可能都耗在某个地方上了。

j4ker

无敌小爱 发表于 2024-9-20 10:20
思路:把文件分割为多个文件, 用多线程 读入和解！！  一个人干58个小时   一百个人  1小时干完   1000个人  ...

我试了下1000个线程还是比较慢，，，
加密函数的调用和其他地方要加互斥锁或临界区、许可证，过多线程的话它们之间会发生切换也要时间

补充内容 (2024-9-20 12:50):
说错是解密函数

补充内容 (2024-9-20 12:54):
这里补充下：开1000个线程，不代表CPU可以同时并发1000个线程。每个线程都有自己的切片时间并会在非常端的时间里面进行切换

蜗牛人生

文件太大的情况下 一般使用映射~

无敌小爱

j4ker 发表于 2024-9-20 12:49
我试了下1000个线程还是比较慢，，，
加密函数的调用和其他地方要加互斥锁或临界区、许可证，过多线程的 ...

锁什么   直接启动线程多个线程循环开启，你分割文本后又不是同时处理一个文件，是吧文件字节分割成无数个模块性的  交给多个线程处理，循环启动线程去处理就行了，加什么许可证，你返回的进度直可以存在一个全局里面  用单独一个线程读取不就行了，服了

补充内容 (2024-9-20 13:41):
只要是线程你启动了都在运行,只有多个线程同时读写一个变量或者指针或什么的时候,怕他们起冲突才去用许可证他干完他再干才会产生什么切片单线

精国软件

你不会是搞算法推理吧？

j4ker

无敌小爱 发表于 2024-9-20 13:38
锁什么   直接启动线程多个线程循环开启，你分割文本后又不是同时处理一个文件，是吧文件字节分割成无数 ...

兄弟这是你的知识盲区了，多个线程并不一定就是同时执行的，它们之间会快速切换所以你就会认为它们是同时执行的。只要是学过多线程的人都知道，而且你创建过多的线程会导致资源消耗、线程间的竞争加剧，所以不是无脑1000个线程就是好的。

我并不能分割文件称若干块，因为我的算法很简单，而且那个每一行的长度不一样所导致无法固定分割文件。

无敌小爱

j4ker 发表于 2024-9-21 09:39
兄弟这是你的知识盲区了，多个线程并不一定就是同时执行的，它们之间会快速切换所以你就会认为它们是同时 ...

2024了你别告诉我你的电脑还是单核的，不并发你告诉我这一千六百个线程怎么工作的。。 单核是你说的原理多核并发的是，啥年代了

j4ker

我这边目前已经解决了，，，
改写了程序代码逻辑、方式，不是纯粹的用多线程。

新手、小白要当心，很有可能你一上多线程，程序就崩溃、出问题、不按预期执行。