抖音直播弹幕爬虫

宇智波·泉奈 · 发表于 2022-10-29 16:24:57

本帖最后由宇智波·泉奈于 2022-10-29 16:33 编辑

前言

抖音弹幕爬虫的做法有很多种，例如、无头浏览器Xpath爬取，WSS拦截、WSS协议，作者今天开源的是JS注入的方式。

弹幕爬虫原理图

使用方法

相信很多小伙伴看了原理图也大概知道了程序的运作方式，下面作者教你们把程序跑起来

[size=10.5000pt]1. 首先把下载下来的源码（DouyinLiveSpider.sln）打开，作者的开发程序是Visual Studio 2019，最好小伙伴们也下载同样的版本，不然会出现奇怪的问题（下图是项目完整图）

2. 打开项目后按F5等待程序启动（下图是程序主界面），界面做的很简陋作者一直秉承能用就行的理念，希望小伙伴们能自己改一下

3. 程序启动后请确保程序下面的log输入显示“WebSocketServer 启动成功 ws://127.0.0.1:9898”，如果提示启动失败，请检查9898端口号是否被占用

4. 接下来我们进入需要爬弹幕的直播间，如上面原理图说的，我们是通过注入js然后转发到我们程序来的，所以我们需要在程序内打开直播间才能控制js的注入，由于winform内置的webbrowser是IE内核，所以作者在程序内使用了ChromiumWebBrowser换成了Chrome内核

5. 等到打开的窗口完全把直播间加载出来后，我们程序就开始自动采集工作了，小伙伴们要注意如果你把直播间窗口关闭后，采集就会停止掉

6. 那么如何把采集到的数据转发到我们需要用到的地方呢？，其实很简单，也是通过WebSocket，作者为大家提供了web上接入我们程序的Demo（如下图）

7. 注意事项，当ws连接上程序之后并不会立刻推送数据，需要发送“send”这段文字到程序上后才会推送（Js代码如下）

8. 作者展示的并不是完整爬到的数据，作者只把部分数据显示了出来，里面还有很多有用的数据，例如：“MsgId”、“粉丝牌”、“用户等级”、等..，小伙伴拿到数据后可以自己研究

开发环境

结束

因为是通过JS注入，所以抖音如果改了JS名字或JS内容需要重新修改新的JS注入，如果有任何问题的小伙伴可以在下面留言，作者会尽量回复大家，谢谢大家

LiveWSSDemo.zip (84.15 KB, 下载次数: 186)

guokunlin · 发表于 2024-4-8 09:12:38

你好作者我需要定制这个软件联系q569533966

lmq123 · 发表于 2024-4-3 11:03:25

6666666666还可以用吗

lmq123 · 发表于 2024-4-3 11:00:30

好东西啊互相伤害不了

fangshi8895 · 发表于 2023-10-5 10:40:26

66666666666666666

y2022m9 · 发表于 2023-9-23 14:50:45

开源精神必须支持~

小超哥2009 · 发表于 2023-9-11 10:10:15

这个好东西呀研究一下

蔡小学生 · 发表于 2023-9-10 08:47:09

好厉害，这爬虫用的好多，我并不会获得直播间弹幕，不懂

LGZLGZQAX · 发表于 2023-9-5 21:12:07

学习一下

qf123 · 发表于 2023-7-15 15:33:56

96666666666666666

		自动登录	找回密码
密码			注册

[2022开源大赛(第七届)] 抖音直播弹幕爬虫