做采集的时候，如何让软件同时采集10个页面？

长翅膀的猫 · 发表于 2014-5-5 16:37:50

我是先获取到页面地址，在采集页面上的内容，我现在遇到的困惑是获取到的页面地址有几千个，还是用的代理IP访问，一个页面要3 - 5秒钟时间，几千个页面采集下来半天时间没了，太慢了。
想问问，能不能10个页面或者20个页面一起采集，采集的页面地址也不重复，请问怎么操作？？
最好有例程，谢谢大神们！

半夏时光 · 发表于 2014-5-5 16:40:54

多线程吧，这个送你参考

半夏时光 · 发表于 2014-5-5 16:41:52

自定义多线程线程数，让软件同时操作几个线程，不重复

Machealx · 发表于 2014-5-5 17:04:31

半夏时光发表于 2014-5-5 16:40
多线程吧，这个送你参考

额。。为了提供你技术，你只能说一些打击你的话了。。。你这个要优化的地方还很多。。。

补充内容 (2014-5-5 17:05):
打错字了，是提高。。。，后面也打错了。。在想什么- -哦。我刚起来。

Machealx · 发表于 2014-5-5 17:06:21

楼主建议你将源码提供一下吧，多线程需要对你的程序本身进行优化的，不是说搞几个启动线程填一下就是多线程了。。不过那么确实是多线程，但是运行效率和是否能够同步运行还是个问题。

		自动登录	找回密码
密码			注册

[易语言] 做采集的时候，如何让软件同时采集10个页面？