天猫评论采集_有没有更好的办法获取到评论的具体页数？

我是MT · 发表于 2014-4-9 14:57:35

本帖最后由 caianhua1986 于 2014-4-9 17:37 编辑

如何解决采集不全的问题呢？经常面对一个几百页的评论，采集到80多页就挂了，或者采集了20页就跳出循环了。有没有谁是能够完完全全把一个产品所有评论给搞下来的？

在不登陆的情况下采集的，原理是利用get方式，直接访问get的抓包地址返回JSON数据，然后正则提取。

采集受限制的问题估计和这个cookies有关。get的时候没有给出任何附加参数。除了采用网页访问S() ，想不出有什么其他方法了。

半夏时光 · 发表于 2014-4-9 14:57:36

这个问题有点难，Tao宝的？我还没有学到呢。。。。

补充内容 (2014-4-10 09:21):
判断json里边两个值是否相等，相等的话就是最后一页，你也不懂我传源码。。

我是MT · 发表于 2014-4-9 16:34:25

漂漂123 发表于 2014-4-9 15:58
这个问题有点难，Tao宝的？我还没有学到呢。。。。

不是很难的，我给源码，只要解决采集页数受限制的问题即可。

我是MT · 发表于 2014-4-9 22:48:14

漂漂123 发表于 2014-4-9 15:58
这个问题有点难，Tao宝的？我还没有学到呢。。。。

OK。已经搞定了，能够全部采集到99页4000多来条，一个不纳下。哈哈。

		自动登录	找回密码
密码			注册

[已解决] 天猫评论采集_有没有更好的办法获取到评论的具体页数？