易语言多线程复制(课自行处理)超大文件(1.6G),带进度和速度

梦飞斩月

最近突然想用易语言处理超大的文件,于是我就先试着处理复制超大文件(不用复制文件,而是自己写).但是直接用读入文件和写到文件的话,亲测无法成功,于是我就准备用多线程来写.
思路:我们先暂定使用8个线程,将整个文件分为8段,每个线程处理一段,然后并发这8个线程.
在线程内部,笔者一开始一次只读一个字节,结果复制文件的速度只有200kb/s多一点的速度,当然,这只是原因之一.

单位为KB

而另一个原因,则在于笔者只使用了一个io接口来读写文件.而这个原因造成的现象则是,我使用的线程越少,速度反而越快,但最快也不超过300KB.这便是因为多线程同时使用一个io接口,导致了io接口压力变大.处理速度反而变慢了.
而我们的解决方法就是使用8个io接口,也就是说,我们使用8次打开文件函数,来获得8个文件号,通过这8个文件号来并发处理同一个文件,这样io的压力就会小上很多了.于是在进行这个处理之后,速度变为了400KB左右

单位为KB

但200多变为了400多,看似翻了一倍,实际上还是很慢.于是,我们就需要增加一次读入和写出的字节数量.一次读写一个字节,实在是浪费计算机的性能了,而且频繁的访问io也会降低速度.
于是,笔者便一次性读写256个字节,这次,速度则变为了30M左右了.

单位为KB

于是,我们继续增加一次性读入的字节数,发现一次性读入1024字节,也就是1KB以后,速度为100M左右,
再次增加,一次读写1M,则最后速度可以达到400MB左右,笔者测试的一部电影的复制,直接三秒左右完成了读写,且无损坏.
其实笔者一开始是想写加密的,甚至对字节处理都已经写好了,但是因为一开始的速度实在是太慢,就先进行了优化,优化到最后便不想处理了.
若想要处理数据,直接在 处理就行了.
最后,源码. 多线程处理大文件.e (8.7 KB, 下载次数: 138)

2021-1-18 22:47 上传

点击文件名下载附件
测试视频
https://chomn.lanzous.com/i5Hkwkjwn0j

tkggeeq

正好需要，文本内容不一起读入，无法正确统计，所以需要完整读入大文本

renzhanxin

学习下。66666666666

rushirushi

这个可以有啊。。。

我的yyy123

学习学习

我的yyy123

学习学习

diskpart

顶顶顶顶顶顶顶顶顶顶顶顶顶顶顶顶顶顶顶

qweqwe28

学习下，

q3939

那个测试视频 是真的多线程吗

shaokui123

试了一下，结果指定的5G的压缩文件打不开了，哪位朋友知道咋解密啊

撒加

666666,牛逼