精易论坛

 找回密码
 注册

QQ登录

只需一步,快速开始

用微信号发送消息登录论坛

新人指南 邀请好友注册 - 我关注人的新帖 教你赚取精币 - 每日签到

谋生 求职/招聘- 论坛接单- 资源出售

论坛版规 总版规 - 建议/投诉 - 应聘版主 - 精华帖总集 积分说明 - 禁言标准 - 有奖举报

2018年好项目,每月多挣好多钱收抖音火山王者引流:1513888885长期 包养全网交友粉大户┏ E3 E5 X58超强双路服务器 ┓找软件作者合作/收购引流软件出售长短效HTTP-S5私密IP-高质量
2018年好项目,每月多挣好多钱收抖音火山王者引流:1513888885长期 包养全网交友粉大户┃单进程单IP每个模拟器IP不同┃找软件作者合作/收购引流软件出售长短效HTTP-S5私密IP-高质量
全国PPTP秒换IP 动态IP仅35元/月┏█收购一切流量Q:503830000█┓长期 包养全网交友粉大户┗价格美丽。性能无敌 请咨询┛找软件作者合作/收购引流软件出售长短效HTTP-S5私密IP-高质量
▇▇QQ方面最新软件▇▇●国内外动态socks5 可API控制●长期 包养全网交友粉大户诺宾混拨动态vps/PPTP多地区换IP找软件作者合作/收购引流软件长期出QQ群QQ号微信精准粉网挣粉
大量租售各种qq小号 2892721932出兼职,网赚,交友粉,扫码进群各种【活粉变现点这里】客服①大量出小白兼职宝妈网赚粉找软件作者合作/收购引流软件找实力公司合作
┏集团收量一手短信群fa邮件群发┓╔ 收粉丶卖粉丶大型①群 ╗各种【活粉变现点这里】客服①高价收购漂流瓶量找软件作者合作/收购引流软件寻求实力团队
┃集团收量一手短信群fa邮件群发┃ 收粉丶卖粉丶大型①群各种【活粉变现点这里】客服②高价收购漂流瓶量找软件作者合作/收购引流软件高效率合作,
┃集团收量一手短信群fa邮件群发┃ 收粉丶卖粉丶大型①群各种【活粉变现点这里】客服②高价收购漂流瓶量找软件作者合作/收购引流软件欢迎来扰!!
┃集团收量一手精准号码微信推广┃收粉丶卖粉丶大型①群各种【活粉变现点这里】客服③高价收购漂流瓶量实力团队大量收粉入群找管理无限收任何量
┗集团收量一手精准号码微信推广┛收粉丶卖粉丶大型①群各种【活粉变现点这里】客服③高价收购漂流瓶量实力团队大量收粉入群找管理无限收任何量
工作室长期出粉,需要的撩我收粉丶卖粉丶大型①群██大量收婚恋宝妈 快手 火山█████大量全新令牌QQ███实力团队大量收粉入群找管理无限收任何量
工作室长期出粉,需要的撩我收粉丶卖粉丶大型①群██ 稳定收交友粉,找我换钱 █████大量全新令牌QQ███实力团队大量收粉入群找管理无限收任何量
工作室长期出粉,需要的撩我╚ 收粉丶卖粉丶大型①群 ╝██收婚恋粉宝妈粉,找我换钱███收收收高质量交友粉收收收██实力团队大量收粉入群找管理无限收任何量
工作室长期出粉,需要的撩我大量收精准粉██收快手火山虎牙,找我换钱██收高质量交友粉/只看质量不计成本实力团队大量收粉入群找管理拒绝骗子
工作室长期出粉,需要的撩我大量收精准粉██长期大量收粉量大量小都吃██收高质量交友粉/只看质量不计成本实力团队大量收粉入群找管理拒绝骗子
█无限收各种精准网赚资源█大量收精准粉██ 婚恋/抖音/宝妈/空间/快手██收高质量交友粉/只看质量不计成本实力团队大量收粉入群找管理无限收任何量
█无限收各种精准引流资源█大量收精准粉███有量有质量,找我换钱███收高质量交友粉/只看质量不计成本实力团队大量收粉入群找管理无限收任何量
█无限收各种群fa指定话术█各种家庭量███实力大型公司收媒体量███收高质量交友粉/只看质量不计成本实力团队大量收粉入群找管理无限收任何量
█无限收各种小视频引流粉█各种家庭量███大量资金,来一手代理███收高质量交友粉/只看质量不计成本实力团队大量收粉入群找管理无限收任何量
█无限收各种精准网赚资源█各种家庭量███有量就有钱,速度来撩███收高质量交友粉/只看质量不计成本实力团队大量收粉入群找管理无限收任何量
█有量支持引QQ/Q群/微信██长期大量收购各种活粉█┃  全网大量收  ┃收高质量交友粉/只看质量不计成本实力团队大量收粉入群找管理收男粉微信扫码进群QQ1324888881
█欢迎实力来撩,点击进Q群██ 长期收购各种引流软件 █┃ 各种App交友粉 ┃收高质量交友粉/只看质量不计成本实力团队大量收粉入群找管理收男粉微信扫码进群QQ1324888881
█加星盟社群支持免费担保█大量国外微信老号出售┃   网赚粉   ┃收高质量交友粉/只看质量不计成本实力团队大量收粉入群找管理大量收男粉扫码进群QQ1324888881
█无限收粉量真实长期合作█▇大量批发高质量QQ处号9位10位▇┃   游戏粉   ┃收高质量交友粉/只看质量不计成本实力团队大量收粉入群找管理收男粉微信扫码进群QQ1324888881
█星盟社Q群号码868977025█▇大量批发高质量QQ处号9位10位▇┃   婚恋粉   ┃收高质量交友粉/只看质量不计成本实力团队大量收粉入群找管理收男粉微信扫码进群QQ1324888881
┃高薪诚聘┃安卓市场APP上架人才█8█收批量自动加qq好友软件█8█┃  各种活人粉  ┃收高质量交友粉/只看质量不计成本实力团队大量收粉入群找管理『实力收扫码进群量』
┃高薪诚聘┃安卓市场APP上架人才█8█收批量自动加qq好友软件█8█┃   短视频粉  ┃█收收收高质量交友粉收收收██实力团队大量收粉入群找管理『你量真,我需求大』
┃高薪诚聘┃安卓市场APP上架人才出少量网赚粉+微信:qunfa000┃ 全网最高单价收购 ┃大量高价收网赚兼职粉,不限平台实力团队大量收粉入群找管理『 你不乱,我不断 』
┃高薪诚聘┃安卓市场APP上架人才出少量网赚粉+微信:qunfa000寻求 媒体量合作 有资源的撩我大量高价收网赚兼职粉,不限平台寻引流高手合作/1万粉以下勿扰
『欢迎实力粉商来撩』
┃高薪诚聘┃安卓市场APP上架人才公司实力收引流软件渠道寻求 媒体量合作 有资源的撩我大量高价收网赚兼职粉,不限平台寻引流高手合作/1万粉以下勿扰
『 →qq:12587210←』
出兼职粉有实力的来公司实力收引流软件渠道寻求 媒体量合作 有资源的撩我大量收微信男粉QQ249813919寻引流高手合作/1万粉以下勿扰█全新处Q██活令牌Q██邮箱Q█
出微信qq交友粉网赚粉精准粉兼职大量出探探交友粉联系Q1962626235寻求 媒体量合作 有资源的撩我█微博全新█4级白号█0.18/个█寻引流高手合作/1万粉以下勿扰█IP精灵█最强大的动态IP加速器
██QQ小号1毛钱/太阳Q/各类QQ██大量出网赚粉/各种粉/各类用户资源寻求 媒体量合作 有资源的撩我出高质量微信男粉QQ:644949998寻引流高手合作/1万粉以下勿扰出网赚粉兼职粉各种男女粉
邮箱代发,进箱率高,可测试
收大量微信裂变粉 2820301656
大量出活令牌处号一个月号收购跳转微信QQ加粉量Q88128851寻引流高手合作/1万粉以下勿扰█大量高价收QQ双向群+Q402345█
高价收网赚粉 / 兼职粉,平台不限收微信扫码进群男粉QQ:854122288大量出活令牌处号一个月号█拨号VPS服务器4元/天免费测试█寻引流高手合作/1万粉以下勿扰出Q群粉联系QQ:492544249
大量出微信 QQ 群网赚粉 精准活粉大公司大量收微信扫群网赚小白粉大量出活令牌处号一个月号低调出流量寻引流高手合作/1万粉以下勿扰我要租广告位
查看: 15103|回复: 332
收起左侧

[易源码分享] 【原创】网页文章采集工具 ,六大步骤搞定文章采集

  [复制链接]

签到天数:3 天

结帖率:95% (41/43)
发表于 2017-2-21 17:07:23 | 显示全部楼层 |阅读模式
分享源码
界面截图:
是否带模块: 调用了模块
备注说明: -
本帖最后由 宇智波·佐助 于 2017-2-22 09:25 编辑

界面小展示:
GIF.gif

近日做项目需要采集很多文章,各种类型各种网站的文章都需要。这样也就出现了1个问题,不同的网站要写不同的采集规则,其实这也没什么捷径可言。
但是每次都要敲重复的代码,比如,文本_取中间 等等。这点就不效率了,而且特别浪费时间。
于是,小弟我就写了一款通用的采集软件,能支持绝大部分网站文章的采集。只需要填写规则即可,杜绝了重复代码的编写。
从原来写1个网站的文章要15分钟,现在只要5分钟就搞定了。岂不乐哉!

(源码)软件简介:
1、软件属于源码(HTML)抓取版
2、只支持二级目录的采集,即 列表页—> 文章页 。(绝大部分的网站文章都能在2级目录内获取到)
3、手动设置翻页(想采几页就采几页)
4、支持正文内容过滤(这个你可以自行修改使用)
5、自动生成TXT文件到桌面文件夹
6、自动判断UTF8返回文本
7、支持每个节点规则的测试返回

软件的话,基本上就是上面说的这样。已经可以很美丽的使用了,我也采集了N个网站,N万篇文章了。
新手们可以,拿去研究研究,软件特别的地方也没啥,说白了就是1个逻辑思路,如何去实现功能而已。
原理其实也很简单,就是循环取中间(从外往内,一层一层提取),再加点判断就完成了。
正要说特别的地方的话,就是标题的处理了,因为某些网页字符是写入不到本地的。嗯~~有兴趣的可以看看。
当然,二次开发的也是可以的,加入伪原创,加入分页采集,加入多级目录采集,加入HTML发布文本,加入数据库入库等等。
做成商业版的也没啥问题,只要你有时间,有精力去弄。(扯远了)

重点1:一定要按照六大步骤一步一步测试,全部通过就没问题了。(什么是通过?你可以参考自带的规则展示)

重点2:规则可以叠加,前面文本和后面文本相对应,从外往内,一层一层提取。也就是循环取中间文本。好用给点分把

ML Grab2.rar (154.05 KB, 下载次数: 949)

点评

大表哥,我已经开发完成了 批量 采集 伪原创 以及 入库的功能 希望合作qq84801619  发表于 2017-2-22 08:58

评分

参与人数 14好评 +9 精币 +24 收起 理由
握手就好了 + 1 精彩文章希望继续努力
xl2016 + 1 感谢分享,很给力!~
空中的鱼 + 1 + 2 支持开源~!感谢分享
逍遥滴风 + 1 感谢分享,很给力!~
1051496412 + 1 + 3 您老试试JS,更快,我就要两步~
千年io + 2 感谢发布原创作品,精易因你更精彩!
小白学习 + 1 + 2 支持开源~!感谢分享
编程唐少 + 1 + 2 真心感谢楼主 !
我是赌气才来的 + 1 感谢发布原创作品,精易因你更精彩!
tiantangmuxin + 1 + 1 支持开源~!感谢分享
精易客服 + 1 + 5 精彩文章希望继续努力
大飛 + 1 火车头,你值得拥有
冰点 + 1 + 3 支持开源~!感谢分享
阿蒙 + 1 火车头,你值得拥有

查看全部评分


您可以选择打赏方式支持楼主

本帖被以下淘专辑推荐:

发表于 2018-7-18 09:01:52 | 显示全部楼层
这个东西用来采集蛮爽,顶了!
回复 支持 反对

使用道具 举报

签到天数: 6 天

发表于 2018-6-23 16:16:32 | 显示全部楼层
看着很牛逼的样子
回复 支持 反对

使用道具 举报

发表于 2018-6-13 09:51:19 | 显示全部楼层
学习一下,谢谢分享
回复 支持 反对

使用道具 举报

发表于 2018-5-23 09:08:14 | 显示全部楼层
怎么下载后显示文件破坏  安装不了呢
回复 支持 反对

使用道具 举报

签到天数: 2 天

结帖率:0% (0/3)
发表于 2018-1-27 22:58:14 | 显示全部楼层
这个必须支持一下,正好需要
回复 支持 反对

使用道具 举报

结帖率:73% (8/11)
发表于 2018-1-27 22:12:19 | 显示全部楼层
这个功能强大的
回复 支持 反对

使用道具 举报

结帖率:0% (0/1)
发表于 2018-1-26 16:26:50 | 显示全部楼层
ddddddddddddddddd
回复 支持 反对

使用道具 举报

结帖率:100% (2/2)
发表于 2018-1-26 08:20:53 | 显示全部楼层
能不能配合多线程或者换代理IP哈,这样会更加牛逼
回复 支持 反对

使用道具 举报

签到天数: 4 天

发表于 2018-1-24 03:58:24 | 显示全部楼层
感谢分享,支持楼主!
回复 支持 反对

使用道具 举报

发表于 2018-1-17 08:15:15 | 显示全部楼层
谢谢分享  非常感激
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 注册

本版积分规则 致发广告者

快速回复 收藏帖子 返回列表 按钮

sitemap|易语言源码|易语言教程|易语言论坛|诚聘英才|易语言模块|手机版|联系我们|精易论坛
拒绝任何人以任何形式在本论坛发表与中华人民共和国法律相抵触的言论,本站内容均为会员发表,并不代表精易立场!
揭阳精易科技有限公司申明:我公司所有的培训课程版权归精易所有,任何人以任何方式翻录、盗版、破解本站培训课程,我们必将通过法律途径解决!
公司简介:揭阳市揭东区精易科技有限公司致力于易语言教学培训/易语言学习交流社区的建设与软件开发,多年来为中小企业编写过许许多多各式软件,并把多年积累的开发经验逐步录制成视频课程供学员学习,让学员全面系统化学习易语言编程,少走弯路,减少对相关技术的研究与摸索时间,从而加快了学习进度!
防范网络诈骗,远离网络犯罪 违法和不良信息举报电话0663-3422125,QQ: 800073686,邮箱:800073686@b.qq.com
Powered by Discuz! X3.2 揭阳市揭东区精易科技有限公司 ( 粤ICP备12094385号-1) 粤公网安备 44522102000125

快速回复 返回顶部 返回列表