如何快速高效采集网页指定数据

简乐人生 · 发表于 2013-9-29 21:39:10

我们时常遇到需要采集一些网页上面指定数据，网页源码其实很多都是无用的，能用到的部分很有限，但是我们通常的做法又不得不下载全部的网页源码，这样似乎很考验网速，由于网速的不好，我们采集到的数据将会有很大的滞后性，这对实时精度数据分析带来毁灭性的打击。
因此我在这里向各位高手、大神请教如何能够不下载完全的网页源码又能采集到我们需要的网页数据。
我想是不是能够少接收数据或是请求服务器只发送我们需要的数据至我们的客户端。
若果有源码能够借鉴，请给点提示

Antool · 发表于 2013-9-29 21:39:11

以现在的网速，采集网页完全是够的.一个大型网站页面也就100KB左右。

还有我们不能控制服务器返回的数据，需要特定数据你可以去找接口，比如Tao宝有Tao宝的API，等等。。

红颜似水 · 发表于 2013-9-29 21:55:45

都说了是采集了,你接受的内容都不完全怎么去匹配!

神炎 · 发表于 2013-9-29 21:59:15

多线程采集！！！

快乐天天 · 发表于 2013-9-29 23:04:57

神炎发表于 2013-9-29 21:59
多线程采集！！！

如何多线程法？

心跳的回忆 · 发表于 2013-9-29 23:20:01

首先不能控制服务器返回哪些数据,这要看网页设置的人了.

在一个现在网页大多数都用ZIP压缩,已经算节省资源了.

还有楼上说的,多线程吧.

最终都会制约于你的本地带宽,和服务器带宽.

屎加豆 · 发表于 2013-9-29 23:47:55

在编码转换那部分是最浪费时间的，，，先正则后转码会快很多。。。

快乐天天 · 发表于 2013-9-30 11:10:26

me920 发表于 2013-9-30 09:17
以现在的网速，采集网页完全是够的.一个大型网站页面也就100KB左右。

还有我们不能控制服务器返回的数据 ...

像需要登录才能采集到的信息，怎么采集呢？

wit0240 · 发表于 2013-10-10 18:06:04

也想知道.......

		自动登录	找回密码
密码			注册

[已解决] 如何快速高效采集网页指定数据

最佳答案

点评

评分

点评