网站爬取数据问题

black0216 · 发表于 2024-12-13 17:10:06

憨憨问号发表于 2024-12-13 17:07
我尝试用精易模块的Gzip解压没有效果，空白

没问题啊，我都解出来了，你是没下载gzip.dll吧。精益的需要这个dll

emodiyu · 发表于 2024-12-13 17:12:06

抱歉，url解码应该不要把utf8参数填真。这样才能对

调试输出 (编码_URL解码 (编码_Utf8到Ansi (网页_访问_对象 (“https://price.filtereditor.cn/static/js/index-500af0b0.js”)), 假))

憨憨问号 · 发表于 2024-12-13 17:12:11

emodiyu 发表于 2024-12-13 17:05
URL解码有个UTF8参数，填写真

这个是原始数据

返回数据.txt (700.55 KB, 下载次数: 0)

憨憨问号 · 发表于 2024-12-13 17:14:12

black0216 发表于 2024-12-13 17:03
看头部H4sIAAAAAAAAA这样的就是Gzip压缩了

https://api.filtereditor.cn/prod/system/getPriceJson?id=2
返回出来的
我尝试了精易模块的gzip解压，无效
url解码，无效（utf8变量填真填假都无效）
base64解码，无效
大神再看看呢？是不是数据需要替换某些符号才能正常解码？

憨憨问号 · 发表于 2024-12-13 17:14:42

emodiyu 发表于 2024-12-13 17:12
抱歉，url解码应该不要把utf8参数填真。这样才能对

调试输出 (编码_URL解码 (编码_Utf8到Ansi (网页_访问_ ...

然后还有，这个js里面只有道具名字，没有价格数据吧？

憨憨问号 · 发表于 2024-12-13 17:15:03

black0216 发表于 2024-12-13 17:13
哪里那么多无效哦，挺大的我给写道文件了

好的大佬我试一下

emodiyu · 发表于 2024-12-13 17:16:40

憨憨问号发表于 2024-12-13 17:14
然后还有，这个js里面只有道具名字，没有价格数据吧？

因为有很多个相同的js文件，你需要抓包把它们找出来

憨憨问号 · 发表于 2024-12-13 17:16:46

black0216 发表于 2024-12-13 17:13
哪里那么多无效哦，挺大的我给写道文件了

大佬，这个常量1里的内容是哪个api返回来的

black0216 · 发表于 2024-12-13 17:18:14

憨憨问号发表于 2024-12-13 17:16
大佬，这个常量1里的内容是哪个api返回来的

就你发的那个接口啊，他是个json。你从中取出data的值不就是了，就是H4sIAAAAAAAAA这样开头的就是Gzip压缩的内容

憨憨问号 · 发表于 2024-12-13 17:19:23

black0216 发表于 2024-12-13 17:18
就你发的那个接口啊，他是个json。你从中取出data的值不就是了，就是H4sIAAAAAAAAA这样开头的就是Gzip压 ...

https://api.filtereditor.cn/prod/system/getPriceJson?id=2
是这个吗？data中的内容

		自动登录	找回密码
密码			注册

[已解决] 网站爬取数据问题