花/瓣/网、滚动翻页的问题

孝天

网站翻页是滚动翻页的，抓包得到的地址分别是：

GET http://huaban.com/?ih68702v&max=529648421&limit=20&wfl=1
GET http://huaban.com/?ih68702w&max=529641211&limit=20&wfl=1
GET http://huaban.com/?ih68702x&since=529651913&limit=100&wfl=1

问题是不知道翻页的代码是由链接上的哪些部分改变的，因为我想采集，但是不知道怎么翻下一个

来个朋友指点下只要能弄出翻下一页就行，采集我自己弄，在这先谢谢了

silenter

通过抓包找到了 http://huaban.com/favorite/design/ 的规律，然后给你写了个例程。只是提取了其中的 pin_id 的信息，其他的user_id，username，board_id，file_id
等相关信息没有做提取处理，你可以自己提取，都在网页访问后获得的网页源码中，此例程只是说明花瓣网的翻页原理。有问题可以给我留言或者此处回复，我会经常在论坛上逛的。望采纳


花瓣网翻页取信息例程----2015-11-19.rar (129.36 KB, 下载次数: 13)

2015-11-19 23:02 上传

点击文件名下载附件

ma8803

怎么需要翻页呢  所有的内容都在源代码里了

ma8803

1. app.page["recommends"] =

复制代码

源代码里有 这个变量  后面的内容就是 JSON数据格式的全部内容。
这个网页其实已经加载了所有内容。只是显示的时候每次只显示几个而已

孝天

ma8803 发表于 2015-11-19 21:02
怎么需要翻页呢  所有的内容都在源代码里了

意思是数据一开始就已经加载全部了？比如说我想要通过http://huaban.com/这个页面来取里的用户ID，那一次性就能提取完了不用翻页？

孝天

ma8803 发表于 2015-11-19 21:03
源代码里有 这个变量  后面的内容就是 JSON数据格式的全部内容。
这个网页其实已经加载了所有内容。只是 ...

那我想提取完这个页面，然后接着提取下一个页面的时候，下一个的网址是怎么推算出来的？

易容术

你直接说你要取什么东西吧，80精币也帮你动动手。

孝天

新手来学易 发表于 2015-11-19 21:39
你直接说你要取什么东西吧，80精币也帮你动动手。

恩恩好的，打算从这个页面http://huaban.com/favorite/design/提取平面分类作品的作者ID，也就是"user_id":

孝天

新手来学易 发表于 2015-11-19 21:39
你直接说你要取什么东西吧，80精币也帮你动动手。

      但是直接访问http://huaban.com/favorite/design/这个地址取到的用户ID比较少，所以也就想到了一般见到的网站提取完一页就翻页提取第二页，只是不知道怎么翻页，如果可以的话就设置提取多少个页面的内容，最后一页页的提取就行了，现在差的是提取完成第一页后怎么取第二页的，不知道怎么推算地址

silenter

这个网页每次只能显示20个，在你往下滚动页面的时候会向服务器发送请求，在请求20个下来，用的应该是ajax吧。api接口刚才看了能看懂，一会去给你做个例子发你