B乎反爬

soul741

预期：爬取B乎话题下所有的内容，但是过不了反爬

话题网址：
https://www.zhihu.com/topic/19552706/hot

爬取data：
https://www.zhihu.com/api/v5.1/topics/19552706/feeds/essence?offset=10&limit=10&
https://www.zhihu.com/api/v5.1/topics/19552706/feeds/essence?offset=20&limit=10&
https://www.zhihu.com/api/v5.1/topics/19552706/feeds/essence?offset=30&limit=10&
https://www.zhihu.com/api/v5.1/topics/19552706/feeds/essence?offset=40&limit=10&
...........

这B乎反爬咋更新这么快咧，网上的办法都不顶用了，有没有大佬


补充内容 (2023-4-2 02:10):
第一页未反爬，从加载第二页开始被反爬了

补充内容 (2023-4-2 03:20):
网页通过滑轮滚动，往下自动加载，上面就是加载更多的请求

不二猫猫

爬取这种类似的用python来的比较方便吧！

[Python] 纯文本查看 复制代码

import requests
from bs4 import BeautifulSoup

# 设置请求头部信息
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}

# 请求页面内容
url = 'https://www.zhihu.com/topic/19552706/hot'
response = requests.get(url, headers=headers)
html_content = response.content

# 使用BeautifulSoup解析页面内容
soup = BeautifulSoup(html_content, 'html.parser')
question_items = soup.select('.HotList .HotItem')

# 遍历并输出每个问题的标题和链接
for item in question_items:
    title_tag = item.select_one('.HotItem-title a')
    title_text = title_tag.text.strip()
    title_link = 'https://www.zhihu.com' + title_tag['href']
    print(title_text, title_link)

soul741

不二猫猫 发表于 2023-4-2 01:49
爬取这种类似的用python来的比较方便吧！
[mw_shl_code=python,true]import requests
from bs4 im ...

你这只有一页啊，后面没法获取

补充内容 (2023-4-2 02:04):
而且你单页代码是过期的，select选了个寂寞

不二猫猫

实在不行那就，@chatgpt 问它呗！

soul741

不二猫猫 发表于 2023-4-2 02:16
实在不行那就，@chatgpt 问它呗！

大佬你不要放弃啊，相信你可以的~加油！

不二猫猫

soul741 发表于 2023-4-2 02:28
大佬你不要放弃啊，相信你可以的~加油！

[Python] 纯文本查看 复制代码

好的，需要使用Python来爬取这些内容。首先，我们需要安装一些必要的库，如requests和json：


import requests
import json


然后，我们可以编写一个函数来获取每一页的数据：


def get_data(offset):
    url = 'https://www.zhihu.com/api/v5.1/topics/19552706/feeds/essence?offset={}&limit=10&'.format(offset)
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3',
        'Referer': 'https://www.zhihu.com/topic/19552706/hot'
    }
    response = requests.get(url, headers=headers)
    data = json.loads(response.text)
    return data['data']


该函数接受一个偏移量作为参数，并返回该页面的所有数据。具体而言，它构建了API请求URL，添加了必要的头信息，并通过请求获取响应。然后，使用json库将响应文本解析为JSON格式，并返回其中的数据。

最后，我们可以循环调用该函数，以获取所有页面的数据：


all_data = []
for i in range(4):
    offset = i * 10
    data = get_data(offset)
    all_data.extend(data)


在这个例子中，我们只循环了4次，以获取前40个问题的数据。如果你想要更多的数据，可以增加循环的次数或者增加每一页数据的偏移量。

这样，我们就可以成功地爬取知乎热门话题19552706下的所有问题数据。

陽陽陽

点击第二页按钮的时候有没有JS脚本发送一个换页请求
或者你先请求一遍第二页的html试试

切换的时候应该有个请求之类的

soul741

不二猫猫 发表于 2023-4-2 02:51
[mw_shl_code=python,true]好的，需要使用Python来爬取这些内容。首先，我们需要安装一些必要的库，如req ...

建议您添加必要的 x-zse-93    x-zse-96    x-zst-81    x-ab-pb  于headers，这样您代码看起来可信些

害我白高兴一场

soul741

陽陽陽 发表于 2023-4-2 03:14
点击第二页按钮的时候有没有JS脚本发送一个换页请求
或者你先请求一遍第二页的html试试

没有换页按钮，滑轮往下滚动，动态加载的
https://www.zhihu.com/api/v5.1/topics/19552706/feeds/essence?offset=10&limit=10&
这个就是加载data的请求

陽陽陽

soul741 发表于 2023-4-2 03:17
没有换页按钮，滑轮往下滚动，动态加载的
https://www.zhihu.com/api/v5.1/topics/19552706/feeds/essenc ...

滚动的时候有没有js请求呢。。。。