开启辅助访问 切换到宽版

精易论坛

 找回密码
 注册

QQ登录

只需一步,快速开始

用微信号发送消息登录论坛

新人指南 邀请好友注册 - 我关注人的新帖 教你赚取精币 - 每日签到


求职/招聘- 论坛接单- 开发者大厅

论坛版规 总版规 - 建议/投诉 - 应聘版主 - 精华帖总集 积分说明 - 禁言标准 - 有奖举报

查看: 1014|回复: 8
收起左侧

[已解决] 腾讯集数采集翻页

 关闭 [复制链接]
结帖率:94% (147/156)
发表于 2022-4-22 15:34:14 | 显示全部楼层 |阅读模式   辽宁省朝阳市
5精币
https://pbaccess.video.qq.com/tr ... 2618394&g_actk=
该接口如何翻页啊  求助

最佳答案

查看完整内容

你这个api地址可能在某种程度是匹配大众的那种,也许是自动第一分区多少集就多少集,然而集数多的,需要使用POST的 我给你抓了一些出来 请求 URL: https://pbaccess.video.qq.com/trpc.universal_backend_service.page_server_rpc.PageServer/GetPageData? video_appid=3000010&vplatform=2 请求方法: POST 状态代码: 200 远程地址: [240e:97c:2f::b]:443 引用站点策略: no-referrer-when-downgrade access-control ...

求助知识:请将问题描述清楚,最好把你有问题的源码打包上传上来,这样更方便大家帮助你。
友情提醒:本版被采纳的主题可在 申请荣誉值 帖子申请荣誉值,获得 3点 荣誉值,荣誉值可兑换荣誉会员、终身vip用户组。
头像被屏蔽
发表于 2022-4-22 15:34:15 | 显示全部楼层   福建省泉州市
qq52280449 发表于 2022-4-22 20:02
可是斗罗大陆 203集了 他只能返回99集

你这个api地址可能在某种程度是匹配大众的那种,也许是自动第一分区多少集就多少集,然而集数多的,需要使用POST的

我给你抓了一些出来

请求 URL: https://pbaccess.video.qq.com/tr ... Server/GetPageData?

video_appid=3000010&vplatform=2
请求方法: POST
状态代码: 200
远程地址: [240e:97c:2f::b]:443
引用站点策略: no-referrer-when-downgrade
access-control-allow-credentials: true
access-control-allow-headers: Content-Type,Access-Token,trpc-version,trpc-call-type,trpc-request-id,trpc-

ret,trpc-func-ret,trpc-error-msg,trpc-message-type,trpc-trans-info
access-control-allow-methods: GET,POST,OPTIONS
access-control-allow-origin: https://v.qq.com
access-control-expose-headers: trpc-version,trpc-call-type,trpc-request-id,trpc-ret,trpc-func-ret,trpc-message-

type,trpc-error-msg,trpc-trans-info
content-encoding: gzip
content-type: application/json; charset=utf-8
date: Fri, 22 Apr 2022 15:11:32 GMT
status: 200
trpc-func-ret: 0
trpc-ret: 0
x-content-type-options: nosniff
:authority: pbaccess.video.qq.com
:method: POST
:path: /trpc.universal_backend_service.page_server_rpc.PageServer/GetPageData?video_appid=3000010&vplatform=2
:scheme: https
accept: */*
accept-encoding: gzip, deflate, br
accept-language: zh-CN,zh;q=0.9
content-length: 335
content-type: application/json
cookie: pgv_pvid=8720335627; RK=DFZAIsdKPZ; ptcz=b5ec555eff4b473a31f5157c7c0dfea380ca07320590b7c1cacc95bc6eb81f1f;

tvfe_boss_uuid=b57f169987dd33c5; video_guid=b882cab0d9a4b63a; video_platform=2; _tc_unionid=8944f30f-f8a8-4653-

a41c-35bd9b29155d; pac_uid=0_d868b9772aca8; iip=0; sd_userid=82941642585057217; sd_cookie_crttime=1642585057217;

ptui_loginuin=962508652; sensorsdata2015jssdkcross=%7B%22distinct_id%22%3A%2217d6199a72a2ab-0a8245a0cdbedd-

45410429-1296000-17d6199a72b2bd%22%2C%22first_id%22%3A%22%22%2C%22props%22%3A%7B%22%24latest_traffic_source_type

%22%3A%22%E8%87%AA%E7%84%B6%E6%90%9C%E7%B4%A2%E6%B5%81%E9%87%8F%22%2C%22%24latest_search_keyword%22%3A%22%E6%9C

%AA%E5%8F%96%E5%88%B0%E5%80%BC%22%2C%22%24latest_referrer%22%3A%22https%3A%2F%2Fwww.so.com%2Flink%3Fm%3DbN6c

%252FgGaIURQSIkK3ljxkfDNk8rnS4dFUHcGZ4Z546vGfDlDt10S22OOIEVw7BeW3LaajOJwKiUkiie6O6TDjsNI1dU6aQS05W

%252FS20jMkHYojAfS4ypSw7Km5I9Fo0IOBLQ4eLNentEs4JjDTiGYgjQ%253D%253D%22%7D%2C%22%24device_id%22%3A

%2217d6199a72a2ab-0a8245a0cdbedd-45410429-1296000-17d6199a72b2bd%22%7D; vversion_name=8.2.95;

video_omgid=b882cab0d9a4b63a; pgv_info=ssid=s7775740798
origin: https://v.qq.com
referer: https://v.qq.com/x/cover/m441e3rjq9kwpsc/m00253deqqo.html
sec-fetch-dest: empty
sec-fetch-mode: cors
sec-fetch-site: same-site
user-agent: Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198

Safari/537.36
video_appid: 3000010
vplatform: 2
{"page_params":

{"req_from":"web","page_type":"detail_operation","page_id":"vsite_episode_list","id_type":"1","cid":"m441e3rjq9kwp

sc","lid":"","vid":"","page_num":"","page_size":"100","page_context":"cid=m441e3rjq9kwpsc&page_num=1&page_size=100

&id_type=1&req_type=6&req_from=web&req_from_second_type=&detail_page_type=0"},"has_cache":1}







https://pbaccess.video.qq.com/tr ... Server/GetPageData?

video_appid=3000010&vplatform=2
请求方法: POST
状态代码: 200
远程地址: [240e:97c:2f::19]:443
引用站点策略: no-referrer-when-downgrade
access-control-allow-credentials: true
access-control-allow-headers: Content-Type,Access-Token,trpc-version,trpc-call-type,trpc-request-id,trpc-

ret,trpc-func-ret,trpc-error-msg,trpc-message-type,trpc-trans-info
access-control-allow-methods: GET,POST,OPTIONS
access-control-allow-origin: https://v.qq.com
access-control-expose-headers: trpc-version,trpc-call-type,trpc-request-id,trpc-ret,trpc-func-ret,trpc-message-

type,trpc-error-msg,trpc-trans-info
content-encoding: gzip
content-type: application/json; charset=utf-8
date: Fri, 22 Apr 2022 15:15:54 GMT
status: 200
trpc-func-ret: 0
trpc-ret: 0
x-content-type-options: nosniff
:authority: pbaccess.video.qq.com
:method: POST
:path: /trpc.universal_backend_service.page_server_rpc.PageServer/GetPageData?video_appid=3000010&vplatform=2
:scheme: https
accept: */*
accept-encoding: gzip, deflate, br
accept-language: zh-CN,zh;q=0.9
content-length: 335
content-type: application/json
cookie: pgv_pvid=8720335627; RK=DFZAIsdKPZ; ptcz=b5ec555eff4b473a31f5157c7c0dfea380ca07320590b7c1cacc95bc6eb81f1f;

tvfe_boss_uuid=b57f169987dd33c5; video_guid=b882cab0d9a4b63a; video_platform=2; _tc_unionid=8944f30f-f8a8-4653-

a41c-35bd9b29155d; pac_uid=0_d868b9772aca8; iip=0; sd_userid=82941642585057217; sd_cookie_crttime=1642585057217;

ptui_loginuin=962508652; sensorsdata2015jssdkcross=%7B%22distinct_id%22%3A%2217d6199a72a2ab-0a8245a0cdbedd-

45410429-1296000-17d6199a72b2bd%22%2C%22first_id%22%3A%22%22%2C%22props%22%3A%7B%22%24latest_traffic_source_type

%22%3A%22%E8%87%AA%E7%84%B6%E6%90%9C%E7%B4%A2%E6%B5%81%E9%87%8F%22%2C%22%24latest_search_keyword%22%3A%22%E6%9C

%AA%E5%8F%96%E5%88%B0%E5%80%BC%22%2C%22%24latest_referrer%22%3A%22https%3A%2F%2Fwww.so.com%2Flink%3Fm%3DbN6c

%252FgGaIURQSIkK3ljxkfDNk8rnS4dFUHcGZ4Z546vGfDlDt10S22OOIEVw7BeW3LaajOJwKiUkiie6O6TDjsNI1dU6aQS05W

%252FS20jMkHYojAfS4ypSw7Km5I9Fo0IOBLQ4eLNentEs4JjDTiGYgjQ%253D%253D%22%7D%2C%22%24device_id%22%3A

%2217d6199a72a2ab-0a8245a0cdbedd-45410429-1296000-17d6199a72b2bd%22%7D; vversion_name=8.2.95;

video_omgid=b882cab0d9a4b63a; pgv_info=ssid=s7775740798
origin: https://v.qq.com
referer: https://v.qq.com/x/cover/m441e3rjq9kwpsc/m00253deqqo.html
sec-fetch-dest: empty
sec-fetch-mode: cors
sec-fetch-site: same-site
user-agent: Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198

Safari/537.36
video_appid: 3000010
vplatform: 2
{"page_params":

{"req_from":"web","page_type":"detail_operation","page_id":"vsite_episode_list","id_type":"1","cid":"m441e3rjq9kwp

sc","lid":"","vid":"","page_num":"","page_size":"100","page_context":"cid=m441e3rjq9kwpsc&page_num=2&page_size=100

&id_type=1&req_type=6&req_from=web&req_from_second_type=&detail_page_type=0"},"has_cache":1}

在POST数据中,最为明显的是cid=m441e3rjq9kwpsc&page_num=2&page_size=
这个num=2,貌似是集数的第三分区,也就是201集以上的,可以推出num=1是第二分区的101-200集之间的,第一分区就是num=0,就是你上边自已提供出来的,只能自动识别第一分区的集数
回复

使用道具 举报

结帖率:100% (19/19)

签到天数: 19 天

发表于 2022-4-22 15:53:55 | 显示全部楼层   河北省唐山市
pageNum 是就是页码吧~
回复

使用道具 举报

结帖率:100% (6/6)

签到天数: 18 天

发表于 2022-4-22 15:56:51 | 显示全部楼层   云南省昆明市
翻页?pageNum=2
回复

使用道具 举报

结帖率:94% (147/156)
 楼主| 发表于 2022-4-22 16:30:16 | 显示全部楼层   辽宁省朝阳市

无效的的
回复

使用道具 举报

头像被屏蔽
发表于 2022-4-22 17:01:51 | 显示全部楼层   福建省泉州市
呵呵,你这个地址压根不需要翻页了,他是单部电视剧的话,json文本基本上会把所有集数融汇到一起,TX视频页面是1到30集是一个划分区,然后31到40又是一个划分区,这个json文本直接包含这些了
回复

使用道具 举报

结帖率:94% (147/156)
 楼主| 发表于 2022-4-22 20:02:19 | 显示全部楼层   辽宁省朝阳市
dongdiyu789 发表于 2022-4-22 17:01
呵呵,你这个地址压根不需要翻页了,他是单部电视剧的话,json文本基本上会把所有集数融汇到一起 ...

可是斗罗大陆 203集了 他只能返回99集
回复

使用道具 举报

头像被屏蔽

结帖率:86% (12/14)
发表于 2022-4-23 00:17:50 | 显示全部楼层   江苏省苏州市
捕获.PNG


有好几次请求啊   集数是可以全部返回的  

页数 提交的参数不同
回复

使用道具 举报

头像被屏蔽
发表于 2022-4-23 02:18:57 | 显示全部楼层   福建省泉州市
当然还有一种是不需要提交POST参数的
就是自已组合地址的,我抓出来的安卓地址
view-source:https://m.v.qq.com/cover/m/m441e3rjq9kwpsc.html  这个访问一下,就可以看到源码
找到name='data_sync' value=""
其中value里边是就是json文本,但是需要utf-8解码出来
最后使用json文本解析出来,JSON.取属性 (“playData.cover['video_ids']”).取数据文本 ()  大概是这样的命令
然后这些都是vid的,需要自已组合一下地址,组合成 https://m.v.qq.com/cover/m/m441e3rjq9kwpsc.html?vid=a0041jur7kn  
最后的是json文本提取的vid,打开这样组合的地址,你会发现是对应顺序的集数
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 注册

本版积分规则 致发广告者

发布主题 收藏帖子 返回列表

sitemap| 易语言源码| 易语言教程| 易语言论坛| 易语言模块| 手机版| 广告投放| 精易论坛
拒绝任何人以任何形式在本论坛发表与中华人民共和国法律相抵触的言论,本站内容均为会员发表,并不代表精易立场!
论坛帖子内容仅用于技术交流学习和研究的目的,严禁用于非法目的,否则造成一切后果自负!如帖子内容侵害到你的权益,请联系我们!
防范网络诈骗,远离网络犯罪 违法和不良信息举报电话0663-3422125,QQ: 793400750,邮箱:wp@125.la
Powered by Discuz! X3.4 揭阳市揭东区精易科技有限公司 ( 粤ICP备12094385号-1) 粤公网安备 44522102000125 增值电信业务经营许可证 粤B2-20192173

快速回复 返回顶部 返回列表