关于网页内容多线程采集的问题

凯旋软件开发

我前些天做过一个论坛帖子标题内容采集器
调用采集子程序的时候用的是启动线程命令，但采集器运行的时候我发现每秒才8k流量，cpu也没有占用很多
我家网速一般200k的
请问有什么办法牺牲网速和cpu，来提高采集速度？
我想过能不能把帖子列表分两部分，然后启动两个线程，第一个线程处理第一部分，第二个线程来处理第二部分？
但如果我想要弄4,5个线程，甚至20线程该怎么办呢？
怎样用多线程方便的提高效率呢？

只听你德歌

这个应该很快吧？ 唯一慢的地方应该就是下载网页源码了，精易模块里有个取网页源码的命令 不知道和HTTP读文件和网页访问有什么区别，但是视乎比较快点吧，剩下的采集用正则做啊，应该不会太慢吧，慢的地方应该只有读网页源码这块了，采集就算分成几块还是一样的速度嘛。

我记得精易的下载引擎模块 也可以下载网页源码吧，你看下可以不 可以的话用这个模块来下载网页源码 我记得是默认3线程

执着

貌似这个不能对等的！