求助啊！算是关于快速采集的问题……具体看问题。

创世魂 · 发表于 2016-8-26 19:24:46

如何快速采集！例如：采集精易论坛的某个版块下的帖子内容……

一般来说就是，把所有帖子的超链接枚举出来，然后一个一个的访问取源码……可是这个效率太低了，如果帖子非常多，它一个一个的访问就取到猴年马月了…
有没有什么办法让采集的快一些……

比如说一次性采集N个帖子的源码？？？或者说什么其他的办法……求助啊。。来个大神啊。

心冷、鱼儿 · 发表于 2016-8-26 19:24:47

多线程... 或者线程池来采集啊... 然后多进程... 不过你要做个中间件协调各个进程的帖子ID，避免重复获取...

补充内容 (2016-9-5 11:34):
还有，火山有啥新消息，来点透露

呵呵仙 · 发表于 2016-8-26 19:30:35

多线程帮到你

39667285 · 发表于 2016-8-26 20:29:29

多线程，第一步你给出版块所在的列表页，用单线程访问采集回来有多个个列表页（或是放到变量里），记录到数据库中，第二步，用多线程访问列表页（每次是10个线程还是100个这个看你自己）采集出来每个列表页里面的贴子标题和帖子地址记录到数据库中（或是放到变量里），第三步同第二步一样，用多线程访问每个帖子地址，来采集内容保存。
这里面大最用到网页_访问 post 不过精易论坛你可以不用编码了因为精易用的是 gbk ，如果你采集其它的网站编码不是gbk 就要访问后先转码。再进行采集。

lianzuo123 · 发表于 2016-8-26 20:30:36

多线程,你需要

酱叮当 · 发表于 2016-8-26 20:34:08

多线程！

荖貢 · 发表于 2016-8-26 20:40:13

这不但是多线程的问题!
还牵扯到,新旧帖子,帖子分类,甚至是对多线程的了解,如果对多线程了解不够还是单线程采集吧
省的到时程序是怎么死的都不知道

创世魂 · 发表于 2016-9-6 12:14:03

Topソ鱼儿发表于 2016-9-5 11:33
多线程... 或者线程池来采集啊... 然后多进程... 不过你要做个中间件协调各个进程的帖子ID，避免重复获取. ...

火山没进度……年底前必出……不谢

		自动登录	找回密码
密码			注册

[已解决] 求助啊！算是关于快速采集的问题……具体看问题。

最佳答案

评分