开启辅助访问 切换到宽版

精易论坛

 找回密码
 注册

QQ登录

只需一步,快速开始

用微信号发送消息登录论坛

新人指南 邀请好友注册 - 我关注人的新帖 教你赚取精币 - 每日签到


求职/招聘- 论坛接单- 开发者大厅

论坛版规 总版规 - 建议/投诉 - 应聘版主 - 精华帖总集 积分说明 - 禁言标准 - 有奖举报

查看: 11707|回复: 173
收起左侧

[2022开源大赛(第七届)] 抖音直播弹幕爬虫

  [复制链接]
结帖率:90% (18/20)
发表于 2022-10-29 16:24:57 | 显示全部楼层 |阅读模式   广东省广州市
本帖最后由 宇智波·泉奈 于 2022-10-29 16:33 编辑

前言

抖音弹幕爬虫的做法有很多种,例如、无头浏览器Xpath爬取,WSS拦截、WSS协议,作者今天开源的是JS注入的方式。

弹幕爬虫原理图

图片1.jpg
使用方法

相信很多小伙伴看了原理图也大概知道了程序的运作方式,下面作者教你们把程序跑起来

[size=10.5000pt]1. 首先把下载下来的源码(DouyinLiveSpider.sln)打开,作者的开发程序是Visual Studio 2019,最好小伙伴们也下载同样的版本,不然会出现奇怪的问题(下图是项目完整图)
项目完整图.png

2. 打开项目后按F5等待程序启动(下图是程序主界面),界面做的很简陋作者一直秉承能用就行的理念,希望小伙伴们能自己改一下
程序主界面.png

3. 程序启动后请确保程序下面的log输入显示“WebSocketServer 启动成功 ws://127.0.0.1:9898”,如果提示启动失败,请检查9898端口号是否被占用
4. 接下来我们进入需要爬弹幕的直播间,如上面原理图说的,我们是通过注入js然后转发到我们程序来的,所以我们需要在程序内打开直播间才能控制js的注入,由于winform内置的webbrowser是IE内核,所以作者在程序内使用了ChromiumWebBrowser换成了Chrome内核
浏览器1.png
打开直播间.png

5. 等到打开的窗口完全把直播间加载出来后,我们程序就开始自动采集工作了,小伙伴们要注意如果你把直播间窗口关闭后,采集就会停止掉
直播间打开后.jpg
6. 那么如何把采集到的数据转发到我们需要用到的地方呢?,其实很简单,也是通过WebSocket,作者为大家提供了web上接入我们程序的Demo(如下图)
web.png

7. 注意事项,当ws连接上程序之后并不会立刻推送数据,需要发送“send”这段文字到程序上后才会推送(Js代码如下)
js.png

8. 作者展示的并不是完整爬到的数据,作者只把部分数据显示了出来,里面还有很多有用的数据,例如:“MsgId”、“粉丝牌”、“用户等级”、等..,小伙伴拿到数据后可以自己研究

开发环境
  • 开发工具:Visual Studio 2019
  • 开发系统:Windows 10 专业版
  • 用到框架:Fleck、Newtonsoft.Json、CefSharp
结束

因为是通过JS注入,所以抖音如果改了JS名字或JS内容需要重新修改新的JS注入,如果有任何问题的小伙伴可以在下面留言,作者会尽量回复大家,谢谢大家
LiveWSSDemo.zip (84.15 KB, 下载次数: 184)
web.png

点评

怎么楼下的说开源过??我怎么找不到的   广西壮族自治区崇左市  发表于 2022-11-26 17:11
cyl2012 发的都是软件,一个小玩意还当宝   广西壮族自治区钦州市  发表于 2022-10-30 14:36
大家喜欢的请给我个好评   广东省广州市  发表于 2022-10-29 20:58
我不清楚有没有人开源过噢   广东省广州市  发表于 2022-10-29 18:14
兄弟 这个我开源过了   黑龙江省哈尔滨市  发表于 2022-10-29 17:57

评分

参与人数 4好评 +3 精币 +6 收起 理由
枫叶成霜 + 2 没有易语言的哦,尴尬
易语言资源网 + 1 + 3 开源精神必须支持~
小马爱吃鱼 + 1 支持开源~!感谢分享
夜的静night + 1 + 1 YYDS~!思路不错

查看全部评分

本帖被以下淘专辑推荐:

发表于 2024-4-8 09:12:38 | 显示全部楼层   湖南省长沙市
你好作者我需要定制这个软件联系q569533966
回复 支持 反对

使用道具 举报

结帖率:0% (0/1)

签到天数: 8 天

发表于 2024-4-3 11:03:25 | 显示全部楼层   广东省东莞市
6666666666还可以用吗
回复 支持 反对

使用道具 举报

结帖率:0% (0/1)

签到天数: 8 天

发表于 2024-4-3 11:00:30 高大上手机用户 | 显示全部楼层   广东省东莞市
好东西啊互相伤害不了
回复 支持 反对

使用道具 举报

发表于 2023-10-5 10:40:26 | 显示全部楼层   黑龙江省哈尔滨市
66666666666666666
回复 支持 反对

使用道具 举报

发表于 2023-9-23 14:50:45 | 显示全部楼层   河南省郑州市
开源精神必须支持~
回复 支持 反对

使用道具 举报

结帖率:20% (2/10)

签到天数: 1 天

发表于 2023-9-11 10:10:15 | 显示全部楼层   安徽省阜阳市
这个好东西呀  研究一下
回复 支持 反对

使用道具 举报

结帖率:0% (0/1)
发表于 2023-9-10 08:47:09 | 显示全部楼层   福建省泉州市
好厉害,这爬虫用的好多,我并不会获得直播间弹幕,不懂
回复 支持 反对

使用道具 举报

发表于 2023-9-5 21:12:07 | 显示全部楼层   广东省汕头市
学习一下
回复 支持 反对

使用道具 举报

签到天数: 16 天

发表于 2023-7-15 15:33:56 | 显示全部楼层   山东省烟台市
96666666666666666
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 注册

本版积分规则 致发广告者

发布主题 收藏帖子 返回列表

sitemap| 易语言源码| 易语言教程| 易语言论坛| 诚聘英才| 易语言模块| 手机版| 广告投放| 精易论坛
拒绝任何人以任何形式在本论坛发表与中华人民共和国法律相抵触的言论,本站内容均为会员发表,并不代表精易立场!
论坛帖子内容仅用于技术交流学习和研究的目的,严禁用于非法目的,否则造成一切后果自负!如帖子内容侵害到你的权益,请联系我们!
防范网络诈骗,远离网络犯罪 违法和不良信息举报电话0663-3422125,QQ: 800073686,邮箱:800073686@b.qq.com
Powered by Discuz! X3.4 揭阳市揭东区精易科技有限公司 ( 粤ICP备12094385号-1) 粤公网安备 44522102000125 增值电信业务经营许可证 粤B2-20192173

快速回复 返回顶部 返回列表