开启辅助访问 切换到宽版

精易论坛

 找回密码
 注册

QQ登录

只需一步,快速开始

用微信号发送消息登录论坛

新人指南 邀请好友注册 - 我关注人的新帖 教你赚取精币 - 每日签到


求职/招聘- 论坛接单- 开发者大厅

论坛版规 总版规 - 建议/投诉 - 应聘版主 - 精华帖总集 积分说明 - 禁言标准 - 有奖举报

查看: 10881|回复: 50
收起左侧

[源码分享] Python爬取笔趣阁小说(新原创)

[复制链接]
结帖率:100% (3/3)
发表于 2023-8-28 18:57:59 | 显示全部楼层 |阅读模式   四川省成都市
我试了论坛里的所有爬虫都不能行,改了貌似也不能用(水平有限),现在自己写了个Python的:
import requests
from bs4 import BeautifulSoup
import os

# 章节目录链接
base_url = "https://www.biqiugexx.com/book_94736840/"

#导出地址
output_path = "D:/1.txt"

# 发起网络请求获取网页内容
response = requests.get(base_url)
if response.status_code == 200:
    soup = BeautifulSoup(response.content, "html.parser")
    chapter_list = soup.find_all("dd")
    with open(output_path, "w", encoding="utf-8") as f:
        for chapter in chapter_list:
            chapter_link = chapter.find("a")["href"]
            chapter_title = chapter.find("a").text
            chapter_url = base_url + chapter_link  
            chapter_url = chapter_url.replace("/book_94736840/", "", 1)# 修复链接生成问题,请类似这样改动
            chapter_response = requests.get(chapter_url)
            if chapter_response.status_code == 200:
                chapter_soup = BeautifulSoup(chapter_response.content, "html.parser")
                chapter_content = chapter_soup.find("div", class_="showtxt").text
                chapter_content = chapter_content.replace("<br /><br />", "\n").replace("&nbsp;", " ")
                f.write(chapter_title + "\n")
                f.write(chapter_content + "\n\n")
                print(f"Chapter {chapter_title} done.")
            else:
                print(f"Failed to retrieve content for Chapter {chapter_title}")
else:
    print("Failed to retrieve the content from the URL.")
这本书还蛮好看的,论坛里书源都没有这个.
结帖率:75% (3/4)
发表于 2024-8-29 09:05:32 | 显示全部楼层   广东省湛江市
学习一下,谢谢楼主
回复 支持 反对

使用道具 举报

结帖率:54% (7/13)

签到天数: 20 天

发表于 2023-10-14 02:48:34 | 显示全部楼层   浙江省嘉兴市
只是爬取章结吗
回复 支持 反对

使用道具 举报

签到天数: 5 天

发表于 2023-9-26 15:39:10 | 显示全部楼层   广东省湛江市
回复 支持 反对

使用道具 举报

结帖率:95% (37/39)

签到天数: 3 天

发表于 2023-9-26 15:29:25 | 显示全部楼层   贵州省贵阳市
看看学习一下
回复 支持 反对

使用道具 举报

结帖率:67% (16/24)
发表于 2023-9-23 22:06:02 | 显示全部楼层   江苏省苏州市
这个要学习一下的
回复 支持 反对

使用道具 举报

结帖率:67% (2/3)

签到天数: 21 天

发表于 2023-9-23 09:45:02 | 显示全部楼层   江苏省宿迁市
下载学习一下,谢谢楼主
回复 支持 反对

使用道具 举报

签到天数: 7 天

发表于 2023-9-23 08:01:27 | 显示全部楼层   江苏省苏州市
什么东西看看
回复 支持 反对

使用道具 举报

结帖率:100% (100/100)

签到天数: 7 天

发表于 2023-9-22 16:29:08 高大上手机用户 | 显示全部楼层   云南省临沧市
回复 支持 反对

使用道具 举报

签到天数: 13 天

发表于 2023-9-22 10:50:39 | 显示全部楼层   山东省潍坊市
2222222222222222222222
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 注册

本版积分规则 致发广告者

发布主题 收藏帖子 返回列表

sitemap| 易语言源码| 易语言教程| 易语言论坛| 易语言模块| 手机版| 广告投放| 精易论坛
拒绝任何人以任何形式在本论坛发表与中华人民共和国法律相抵触的言论,本站内容均为会员发表,并不代表精易立场!
论坛帖子内容仅用于技术交流学习和研究的目的,严禁用于非法目的,否则造成一切后果自负!如帖子内容侵害到你的权益,请联系我们!
防范网络诈骗,远离网络犯罪 违法和不良信息举报电话0663-3422125,QQ: 793400750,邮箱:wp@125.la
Powered by Discuz! X3.4 揭阳市揭东区精易科技有限公司 ( 粤ICP备12094385号-1) 粤公网安备 44522102000125 增值电信业务经营许可证 粤B2-20192173

快速回复 返回顶部 返回列表