如何获取一个网页的完整的html代码

文西哥

命令   网页_访问_对象（） 获取到的就是返回的完整html代码

小明无敌

你意思就跟开发者工具那种获取到渲染之后的呗  那就用无头浏览器就行了

小明无敌

[Python] 纯文本查看 复制代码

from selenium import webdriver
from selenium.webdriver.chrome.options import Options

# 创建chrome浏览器驱动，无头模式（即不显示界面）
chrome_options = Options()
chrome_options.add_argument('--headless')
driver = webdriver.Chrome()

# 打开百du首页
driver.get("https://baijiahao.baidu.com/s?id=1791155771000702089")

# 打印网页源代码
print(driver.page_source)

# 关闭浏览器
driver.close()

jjj2016888

ploneljs 发表于 2024-2-18 14:35
对，python也可以

[Python] 纯文本查看 复制代码

import requests

url = "https://baijiahao.baidu.com/s?id=1791155771000702089"
headers = {
    "Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.7",
    "Accept-Language": "zh-CN,zh;q=0.9,en;q=0.8,en-GB;q=0.7,en-US;q=0.6",
    "Cache-Control": "max-age=0",
    "Connection": "keep-alive",
    "Cookie": "",
    "Host": "baijiahao.baidu.com",
    "Referer": "https://bbs.125.la/",
    "Sec-Ch-Ua": "\"Not A(Brand\";v=\"99\", \"Microsoft Edge\";v=\"121\", \"Chromium\";v=\"121\"",
    "Sec-Ch-Ua-Mobile": "?0",
    "Sec-Ch-Ua-Platform": "\"Windows\"",
    "Sec-Fetch-Dest": "document",
    "Sec-Fetch-Mode": "navigate",
    "Sec-Fetch-Site": "cross-site",
    "Sec-Fetch-User": "?1",
    "Upgrade-Insecure-Requests": "1",
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/121.0.0.0 Safari/537.36 Edg/121.0.0.0"
}

response = requests.get(url, headers=headers)
print(response.text)

Cookie自己填写就可以了

asasqwwq

ploneljs 发表于 2024-2-18 14:06
请问大哥可以提供具体一点的吗

https://bbs.125.la/forum.php?mod=viewthread&tid=14796102&highlight=selenium
其他的：飓风填表模块 、FBrowserCEF3lib浏览器、队长填表模块..........

很多的。随便一个都可以。我自己写的工具是selenium。