如何使用Fiddler中的FiddlerScript实现自动化抓取抖音网页版视频

行走江湖的小白 · 发表于 2021-6-29 09:20:11

本帖最后由行走江湖的小白于 2021-6-29 09:21 编辑

目标网址:

https://www.douyin.com/

详细B站演示视频教程:https://www.bilibili.com/video/BV1jX4y1P7gt/

准备工具:

1.谷歌内核浏览器(这里选择360极速浏览器)

2.配置好的Fiddler一个

代码介绍:

首先可以改动的地方很多，我挑几个重要的改动地方

1.保存路径,记得要非中文，只能是路径

var path = "D:\\douyin\\"

2.自动刷新网页，可以屏蔽，或者修改刷新时间，比如10秒就填写10000,1000代表1秒，这里是5000也就是5秒

var _body = "<head><script>setInterval(function(){location.reload(true)},5000)</script>";

3.保存的内容，可以根据自己需要，比如我不想要作者，可以加两个//就是屏蔽，屏蔽之后就是绿色

saveHeaderBody(path,"作者名字:"+zuozhe)

代码配置方法

首先找到Fiddler中的FiddlerScript

找到Go to 选择OnBeforeResponse

找到空白区域，放入代码
代码片段1放入空白OnBeforeResponse的区域

代码片段2放入OnBeforeResponse的上面

最后一定要点击Save script，一定要点击Save script，一定要点击Save script

刷新抖音网址,切换到Fiddler中的log面板

最后一定要点击Save script，一定要点击Save script，一定要点击Save script

代码片段1

//不会安装或者定制联系QQ:2908436596
//抖音
if(oSession.fullUrl.Contains("https://www.douyin.com/")){
var body = oSession.GetResponseBodyAsString();
//reload中的true是强制刷新，fasle是缓存刷新 5000代表5秒，如果需要1秒就1000
var _body = "<head><script>setInterval(function(){location.reload(true)},5000)</script>";
oSession.utilReplaceInResponse("<head>",_body)
}
if(oSession.fullUrl.Contains("/aweme/v1/web/channel/feed/")){
//保存路径，只能写非中文和目录
var path = "D:\\douyin\"
try{
//对返回数据解码
oSession.utilDecodeResponse();
//获取返回内容
var body = oSession.GetResponseBodyAsString();
//将文本转换为json类型
var responseJSON = Fiddler.WebFormats.JSON.JsonDecode(body);
FiddlerObject.log("=======================这一页的抖音视频信息=====================")
//判断是否为JSON
if((responseJSON.JSONObject=='System.Collections.ArrayList' || responseJSON.JSONObject=='System.Collections.Hashtable')&&body!='[]'&&body!='{}'){
for(var list in responseJSON.JSONObject["aweme_list"]){
//获取作者名字
var zuozhe = list["author"]["nickname"]
FiddlerObject.log("作者名字:"+zuozhe)
//保存为文本
saveHeaderBody(path,"作者名字:"+zuozhe)
//获取主页链接
var zhuye = "https://www.douyin.com/user/"+list["author"]["sec_uid"]
FiddlerObject.log("作者主页链接:"+zhuye)
saveHeaderBody(path,"作者主页链接:"+zhuye)
//获取视频标题信息
var title = list["desc"]
FiddlerObject.log("视频标题:"+title)
saveHeaderBody(path,"视频标题:"+title)
//获取视频下载地址
var videoUrl = list["video"]["play_addr"]["url_list"][1]
FiddlerObject.log("视频下载地址:"+videoUrl)
saveHeaderBody(path,"视频下载地址:"+videoUrl)
}
}
FiddlerObject.log("=======================这一页的抖音视频信息=====================")
}catch (e){
FiddlerObject.log("代码出现错误，错误原因:"+e)
}
}

复制代码

代码片段2

//保存抖音
static function saveHeaderBody(textpath,body){
//保存为文本
//FiddlerObject.log("正在保存文本到:"+textpath);
var fso;
var file;
try{
//判断是否有这个文本，没有就创建
if (!System.IO.Directory.Exists(textpath)){
System.IO.Directory.CreateDirectory(textpath);
}
fso = new ActiveXObject("Scripting.FileSystemObject");
//参数2为直接替换文本，8为追加
file = fso.OpenTextFile(textpath+"douyin.txt",8 ,true, true);
//写入文本
file.writeLine(body);
//关闭文件句柄
file.close();
return true;
}catch(e){
if(file!=null){
file.close();
}
FiddlerObject.log("保存文件出错,错误原因:"+e);
return false;
}
//FiddlerObject.log("天天欧尼酱提示:保存文本成功!");
}

复制代码

jingyigg · 发表于 2022-5-1 10:53:44

虽然不会，但是收藏了

2313291647 · 发表于 2021-8-18 03:25:43

行走江湖的小白发表于 2021-8-17 09:22
我发的

好吧，果然大神我还是没实现为啥

行走江湖的小白 · 发表于 2021-8-17 09:22:21

2313291647 发表于 2021-8-17 04:21
这不是吾爱破J论坛的吗

我发的

2313291647 · 发表于 2021-8-17 04:21:31

这不是吾爱破J论坛的吗

twj28 · 发表于 2021-7-19 18:30:29

牛。。。。。

蔡文松 · 发表于 2021-7-10 19:24:14

厉害，支持。

yinheng365 · 发表于 2021-7-9 10:39:56

大佬给力啊

一阵小风 · 发表于 2021-7-7 09:57:24

看起来很厉害，是我不会的方面。

刘思尧 · 发表于 2021-7-6 22:10:49

感谢分享

tgcf6698 · 发表于 2021-7-6 11:17:09

你好，能不能详细点呀，

		自动登录	找回密码
密码			注册

[技术专题] 如何使用Fiddler中的FiddlerScript实现自动化抓取抖音网页版视频

评分