开启辅助访问 切换到宽版

精易论坛

 找回密码
 注册

QQ登录

只需一步,快速开始

用微信号发送消息登录论坛

新人指南 邀请好友注册 - 我关注人的新帖 教你赚取精币 - 每日签到


求职/招聘- 论坛接单- 开发者大厅

论坛版规 总版规 - 建议/投诉 - 应聘版主 - 精华帖总集 积分说明 - 禁言标准 - 有奖举报

查看: 39093|回复: 354
收起左侧

[易源码分享] 【原创】网页文章采集工具 ,六大步骤搞定文章采集

  [复制链接]
结帖率:93% (41/44)
发表于 2017-2-21 17:07:23 | 显示全部楼层 |阅读模式   江苏省南京市
分享源码
界面截图:
是否带模块: 调用了模块
备注说明: -
本帖最后由 宇智波·佐助 于 2017-2-22 09:25 编辑

界面小展示:
GIF.gif

近日做项目需要采集很多文章,各种类型各种网站的文章都需要。这样也就出现了1个问题,不同的网站要写不同的采集规则,其实这也没什么捷径可言。
但是每次都要敲重复的代码,比如,文本_取中间 等等。这点就不效率了,而且特别浪费时间。
于是,小弟我就写了一款通用的采集软件,能支持绝大部分网站文章的采集。只需要填写规则即可,杜绝了重复代码的编写。
从原来写1个网站的文章要15分钟,现在只要5分钟就搞定了。岂不乐哉!

(源码)软件简介:
1、软件属于源码(HTML)抓取版
2、只支持二级目录的采集,即 列表页—> 文章页 。(绝大部分的网站文章都能在2级目录内获取到)
3、手动设置翻页(想采几页就采几页)
4、支持正文内容过滤(这个你可以自行修改使用)
5、自动生成TXT文件到桌面文件夹
6、自动判断UTF8返回文本
7、支持每个节点规则的测试返回

软件的话,基本上就是上面说的这样。已经可以很美丽的使用了,我也采集了N个网站,N万篇文章了。
新手们可以,拿去研究研究,软件特别的地方也没啥,说白了就是1个逻辑思路,如何去实现功能而已。
原理其实也很简单,就是循环取中间(从外往内,一层一层提取),再加点判断就完成了。
正要说特别的地方的话,就是标题的处理了,因为某些网页字符是写入不到本地的。嗯~~有兴趣的可以看看。
当然,二次开发的也是可以的,加入伪原创,加入分页采集,加入多级目录采集,加入HTML发布文本,加入数据库入库等等。
做成商业版的也没啥问题,只要你有时间,有精力去弄。(扯远了)

重点1:一定要按照六大步骤一步一步测试,全部通过就没问题了。(什么是通过?你可以参考自带的规则展示)

重点2:规则可以叠加,前面文本和后面文本相对应,从外往内,一层一层提取。也就是循环取中间文本。好用给点分把

ML Grab2.rar (154.05 KB, 下载次数: 1132)

点评

大表哥,我已经开发完成了 批量 采集 伪原创 以及 入库的功能 希望合作qq84801619   山东省济南市  发表于 2017-2-22 08:58

评分

参与人数 14好评 +9 精币 +24 收起 理由
握手就好了 + 1 精彩文章希望继续努力
xl2016 + 1 感谢分享,很给力!~
空中的鱼 + 1 + 2 支持开源~!感谢分享
逍遥滴风 + 1 感谢分享,很给力!~
1051496412 + 1 + 3 您老试试JS,更快,我就要两步~
千年io + 2 感谢发布原创作品,精易因你更精彩!
小白学习 + 1 + 2 支持开源~!感谢分享
编程唐少 + 1 + 2 真心感谢楼主 !
我是赌气才来的 + 1 感谢发布原创作品,精易因你更精彩!
tiantangmuxin + 1 + 1 支持开源~!感谢分享
精易客服 + 1 + 5 精彩文章希望继续努力
大飛 + 1 火车头,你值得拥有
冰点 + 1 + 3 支持开源~!感谢分享
阿蒙 + 1 火车头,你值得拥有

查看全部评分


本帖被以下淘专辑推荐:

结帖率:88% (21/24)

签到天数: 6 天

发表于 2023-11-14 13:19:32 高大上手机用户 | 显示全部楼层   重庆市重庆市
66666666666666
回复 支持 反对

使用道具 举报

发表于 2023-10-5 04:56:38 高大上手机用户 | 显示全部楼层   四川省成都市
6548957885444
回复 支持 反对

使用道具 举报

结帖率:50% (1/2)
发表于 2022-11-25 18:35:38 | 显示全部楼层   福建省莆田市
支持开源~!感谢分享
回复 支持 反对

使用道具 举报

结帖率:0% (0/2)

签到天数: 3 天

发表于 2022-11-9 21:44:42 | 显示全部楼层   四川省资阳市
66666666666666666666666666
回复 支持 反对

使用道具 举报

发表于 2022-3-1 18:27:17 | 显示全部楼层   浙江省宁波市
感谢楼猪分享
回复 支持 反对

使用道具 举报

签到天数: 6 天

发表于 2021-5-21 06:05:35 | 显示全部楼层   河北省保定市
感谢分享,很给力!~
回复 支持 反对

使用道具 举报

签到天数: 6 天

发表于 2021-5-20 20:57:53 | 显示全部楼层   河北省保定市
        精彩文章希望继续努力
回复 支持 反对

使用道具 举报

签到天数: 6 天

发表于 2021-5-20 08:24:21 | 显示全部楼层   河北省保定市
        精彩文章希望继续努力
回复 支持 反对

使用道具 举报

签到天数: 6 天

发表于 2021-5-20 08:24:05 | 显示全部楼层   河北省保定市
不知道还能不能用,收下了,谢谢!回复#
回复 支持 反对

使用道具 举报

签到天数: 6 天

发表于 2021-5-20 08:19:22 | 显示全部楼层   河北省保定市
精彩文章希望继续努力
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 注册

本版积分规则 致发广告者

发布主题 收藏帖子 返回列表

sitemap| 易语言源码| 易语言教程| 易语言论坛| 诚聘英才| 易语言模块| 手机版| 广告投放| 精易论坛
拒绝任何人以任何形式在本论坛发表与中华人民共和国法律相抵触的言论,本站内容均为会员发表,并不代表精易立场!
论坛帖子内容仅用于技术交流学习和研究的目的,严禁用于非法目的,否则造成一切后果自负!如帖子内容侵害到你的权益,请联系我们!
防范网络诈骗,远离网络犯罪 违法和不良信息举报电话0663-3422125,QQ: 800073686,邮箱:800073686@b.qq.com
Powered by Discuz! X3.4 揭阳市揭东区精易科技有限公司 ( 粤ICP备12094385号-1) 粤公网安备 44522102000125 增值电信业务经营许可证 粤B2-20192173

快速回复 返回顶部 返回列表