单线程采集15900条评论数据，耗时5分钟，这个正常吗？多线程的话，多快？

我是MT

超级列表框中导入了160条天猫链接，采集160个商品的评论，是完全一字不漏的采集，包括追评和正常的评论。这里采用的是一个计次循环，来挨个采集。

计次循环的次数，就是取的超级列表框中有多少个项就循环计次，一个大循环处理一个商品页。

一个商品页，多的话有99页，大概包括追评和普通评论一起采集到，有15900条， 采集完一个链接里面的15900条评论后，换下一个链接。
你也看到了上图了，一个文件结束，到另一个文件采集完毕，自动导入txt，费了5分钟时间，1402kb的文件，大概是15900条记录。

因为有的页面不一定有99页面评论，所以，如果针对一个链接的99个分页，采用多线程的话，如何分配呢？ 5页一个单位一条线程？

如果是这样子的话，99分页，大概20个线程并发采集15900条评论，  每个线程采集到的评论文本，如何汇聚到同一个txt文本呢？单线程的话，我是用这种方式：
采集到的内容=采集到的内容+单条评论内容
这样子的话，就会一条接一条的被赋值给 采集到的内容 。 等待整个采集完毕，跳出循环写入txt中。
这个单线程的，发现很慢很慢，如果是多线程的内容要汇聚到一起一并写入txt。有点难办？ 可能要用到队列、线程池什么的。主要是多个线程采集到的文本汇总，有点难搞。因为不同的线程完成的先后次序不一样。
队列，等待？然后一条一条传值给文本变量，然后再加进txt去？这个还没有学。不懂。

尼玛，差不多一个小时只能采集7~8条，坑爹啊。
补充：
看到了吧，单线程，假死状态。实际上程序没有死，还在运行，但是任务管理器看到的是已经死了，没有响应了。
这就是单线程的悲哀啊，有卡顿，而且界面无法出来，就卡在那里，但是还是在运行了。2小时采集了12条吧，1000来个分页，10来万条评论的样子。够坑爹的吧。
不过，VIP教程里面的多线程，基本都是摆看的，没有太多实际用途。还得求助论坛高手来得实际。

萧杨

多线程速度肯定是翻倍的 !前提是的网速机器配置要好!不然你分配的线程过多,多线程同时执行反而拖累速度!保存到一个txt里简单 用许可证 不然数据会冲突 给你经典源码例子吧 希望能帮到你!http://bbs.125.la/thread-13653338-1-1.html

5609689

多线程的话看你看几条线程了，还有就是速度过快，Tao宝会出验证码限制。
亲。最佳吧！

我是MT

5609689 发表于 2014-4-10 00:47
多线程的话看你看几条线程了，还有就是速度过快，Tao宝会出验证码限制。
亲。最佳吧！

验证码限制？ 哥，我这个不是登录采集啊。今天在论坛里面，有个人也说 会有什么验证码，我这个用的是网页访问s()  在JSON里面取的。它怎么限制我？难倒他跟我来个弹窗？我是GET方式请求，他怎么给我弹出验证码？你也够坑爹的吧。