请教高手，如何采集浏览到网页底部自动加载信息的网页源码

binghe · 发表于 2014-10-27 21:27:44

现在这种模式的很多，类似图片站、购物站美丽说、豆瓣等
就比如豆瓣东西的这种网页：http://dongxi.douban.com/

当浏览到底部时会自动加载新的内容，而且无穷无尽，网址丝毫不变

我测试通过 http读文件（）命令获取网页源码，但是只能采集到初始页面的商品信息

有什么办法可以根据自己的需要采集指定书目的网页源码吗？

期待高手指点{:soso_e183:}

我还有个笨想法：1、创建一个超文本浏览框 2、通过精易模块自动移到网页底部 3、最后取超文本浏览框的源码
但是这样速度很慢，而且页面内容太多的时候会很卡

浪子小刀 · 发表于 2014-10-27 21:27:45

又看了下，其实是这样的，并不是他继续加载了，而是有访问了另一个地址。
下一个地址可以再你前一个页面中找到！
仔细看下抓包就明白了！

浪子小刀 · 发表于 2014-10-27 21:35:30

这就要具体情况具体分析了，需要那个地址的内容就访问那个地址。
或者在主页面返回信息中找找

binghe · 发表于 2014-10-27 21:42:33

浪子小刀发表于 2014-10-27 21:35
这就要具体情况具体分析了，需要那个地址的内容就访问那个地址。
或者在主页面返回信息中找找

关键是这种页面就一个地址，得怎么办呢？哪怕自动加载几次后能换一页也好吧啊

浪子小刀 · 发表于 2014-10-27 21:51:14

我试了，是完整的！
把返回文本置置剪辑板文本（）复制出来看看，
是调试输出没有显示完整！

binghe · 发表于 2014-10-27 23:58:11

浪子小刀发表于 2014-10-27 21:51
我试了，是完整的！
把返回文本置置剪辑板文本（）复制出来看看，
是调试输出没有显示完整！

谢谢你亲自试验，但我测试还是不行啊，比如这个界面：http://dongxi.douban.com/category/nvxie/kuanshi/xuezi/ 我想通过网页源码收集2万条商品名称，应该怎么实现？

binghe · 发表于 2014-10-28 07:24:21

浪子小刀发表于 2014-10-28 00:12
又看了下，其实是这样的，并不是他继续加载了，而是有访问了另一个地址。
下一个地址可以再你前一个页面中 ...

哦好的，我去抓包看看

		自动登录	找回密码
密码			注册

[已解决] 请教高手，如何采集浏览到网页底部自动加载信息的网页源码

最佳答案

评分