精易论坛

 找回密码
 注册

QQ登录

只需一步,快速开始

用微信号发送消息登录论坛

新人指南 邀请好友注册 - 我关注人的新帖 教你赚取精币 - 每日签到


求职/招聘- 论坛接单- 资源出售

论坛版规 总版规 - 建议/投诉 - 应聘版主 - 精华帖总集 积分说明 - 禁言标准 - 有奖举报

2019年好项目,每月多挣好多钱收抖音火山王者引流:1513888885长期 包养全网交友粉大户┏ E3 E5各种配置电脑出租 ┓找软件作者合作/收购引流软件★高价收,女性,宝妈加V365299999★
2019年好项目,每月多挣好多钱收抖音火山王者引流:1513888885长期 包养全网交友粉大户┃单进程单IP,模拟器稳定24开┃找软件作者合作/收购引流软件★高价收,女性,宝妈加V365299999★
全国PPTP秒换IP 动态IP仅35元/月诺宾混拨动态vps/PPTP多地区换IP长期 包养全网交友粉大户┗ E3/8元 E5/10元 双路12元 ┛找软件作者合作/收购引流软件★高价收,女性,宝妈加V365299999★
出兼职,网赚,交友粉,扫码进群出微信qq交友粉网赚粉精准粉兼职长期 包养全网交友粉大户█IP精灵█最强大的动态IP加速器找软件作者合作/收购引流软件★高价收,女性,宝妈加V365299999★
长期出QQ群QQ号微信精准粉网挣粉出网赚粉/精准粉/独家引流软件各种【活粉变现点这里】客服①———邮件群fa/WZ最新资源合作找软件作者合作/收购引流软件★高价收,女性,宝妈加V365299999★
┏集团收购:一手短信、邮箱群fa┓███████████████各种【活粉变现点这里】客服①收购代加QQ单项好友找软件作者合作/收购引流软件★高价收,女性,宝妈加V365299999★
┃集团收购:一手短信、邮箱群fa┃ █         高 分 成         █各种【活粉变现点这里】客服②收购代加QQ单项好友找软件作者合作/收购引流软件★高价收,女性,宝妈加V365299999★
┃集团收购:,一手精准群发用户┃ █         高 转 化         █各种【活粉变现点这里】客服②收购代加QQ单项好友找软件作者合作/收购引流软件★高价收,女性,宝妈加V365299999★
┃集团收购:,一手精准群发用户┃█         高 留 存         █各种【活粉变现点这里】客服③收购代加QQ单项好友实力团队大量收粉入群找管理★高价收,女性,宝妈加V365299999★
┗集团收购:-爬取QQ达人会员号┛█ 独立后台  实时刷新 █各种【活粉变现点这里】客服③收购代加QQ单项好友实力团队大量收粉入群找管理★高价收,女性,宝妈加V365299999★
长期大量收一手精准网赚粉█        C   游  戏        ███大量收婚恋宝妈 快手 火山██出高质量粉,日产多、实力来谈实力团队大量收粉入群找管理出售长短效HTTP-S5私密IP-高质量
长期收各种精准网赚资源█        P   分  成        ███ 稳定收交友粉,找我换钱 ██精准粉-产量高-时速快-质量好实力团队大量收粉入群找管理出售长短效HTTP-S5私密IP-高质量
长期收各种小视频网赚资源█        S   合  作        ███收婚恋粉宝妈粉,找我换钱██精准粉-产量高-时速快-质量好实力团队大量收粉入群找管理公司实力收粉进群滴滴管理
长期收各种引流精准网赚粉█   8 2 5 1 3 7 7 7 7  ███收快手火山虎牙,找我换钱██精准粉-产量高-时速快-质量好实力团队大量收粉入群找管理公司实力收粉进群滴滴管理
大量收粉真实粉商长期合作█████████████████长期大量收粉量大量小都吃██精准粉-产量高-时速快-质量好实力团队大量收粉入群找管理公司实力收粉进群滴滴管理
加华缘社群支持免费担保█长期大量收购各种活粉███ 婚恋/抖音/宝妈/空间/快手██精准粉-产量高-时速快-质量好实力团队大量收粉入群找管理公司实力收粉进群滴滴管理
欢迎粉商渠道客户进QQ群█ 长期收购各种引流软件 ████有量有质量,找我换钱███精准粉-产量高-时速快-质量好实力团队大量收粉入群找管理公司实力收粉进群滴滴管理
长期收各种粉真实长期合作大量收代加QQ各种单双向群███实力大型公司收媒体量███精准粉-产量高-时速快-质量好实力团队大量收粉入群找管理公司实力收粉进群滴滴管理
真实网赚量点击进华缘社群现加/拉群/现货单双向群通吃███大量资金,来一手代理███精准粉-产量高-时速快-质量好实力团队大量收粉入群找管理公司实力收粉进群滴滴管理
华缘社Q群号码364884407怕你没量,别怕我没钱███有量就有钱,速度来撩███精准粉-产量高-时速快-质量好实力团队大量收粉入群找管理公司实力收粉进群滴滴管理
公司实力收引流软件渠道收网赚粉 兼职粉 宝妈粉 9703796┃  全网大量收  ┃精准粉-产量高-时速快-质量好实力团队大量收粉入群找管理公司实力收粉进群滴滴管理
公司实力收引流软件渠道收网赚粉 兼职粉 宝妈粉 9703796┃ 各种App交友粉 ┃精准粉-产量高-时速快-质量好实力团队大量收粉入群找管理公司实力收粉进群滴滴管理
公司实力收引流软件渠道大量出各种粉联系QQ222561┃   网赚粉   ┃精准粉-产量高-时速快-质量好实力团队大量收粉入群找管理公司实力收粉进群滴滴管理
公司实力收引流软件渠道大量出各种粉联系QQ222561┃   游戏粉   ┃精准粉-产量高-时速快-质量好实力团队大量收粉入群找管理公司实力收粉进群滴滴管理
公司实力收引流软件渠道┃集团高价回收 WZ 兼职 精准粉┃┃   婚恋粉   ┃出高质量粉,日产多、实力来谈实力团队大量收粉入群找管理公司实力收粉进群滴滴管理
公司实力收引流软件渠道┃ 收一切可用资源QQ:293950 ┃┃  各种活人粉  ┃『实力收扫码进群量』实力团队大量收粉入群找管理公司实力收粉进群滴滴管理
公司实力收引流软件渠道┃集团高价回收 WZ 兼职 精准粉┃┃   短视频粉  ┃『你量真,我需求大』实力团队大量收粉入群找管理公司实力收粉进群滴滴管理
公司实力收引流软件渠道┃ 收一切可用资源QQ:293950 ┃┃ 全网最高单价收购 ┃『 你不乱,我不断 』实力团队大量收粉入群找管理收男粉微信扫码进群QQ584121900
公司实力收引流软件渠道┃集团高价回收 WZ 兼职 精准粉┃无限收学生粉,宝妈,女性粉,游戏粉
『 →qq:12587210←』
寻引流高手合作/1万粉以下勿扰收男粉微信扫码进群QQ584121900
公司实力收引流软件渠道┃ 收一切可用资源QQ:293950 ┃无限收学生粉,宝妈,女性粉,游戏粉
『欢迎实力粉商来撩』
寻引流高手合作/1万粉以下勿扰收男粉微信扫码进群QQ584121900
公司实力收引流软件渠道出QQ群微信QQ号交友粉网赚粉兼职粉无限收学生粉,宝妈,女性粉,游戏粉长期收网赚粉 QQ8904040寻引流高手合作/1万粉以下勿扰收男粉微信扫码进群QQ584121900
公司实力收引流软件渠道█实力招收朋友圈 QQ群 邮件 推广无限收学生粉,宝妈,女性粉,游戏粉实力团队收粉 QQ8904040寻引流高手合作/1万粉以下勿扰收男粉微信扫码进群QQ584121900
公司实力收引流软件渠道国内外长短效HTTP-Socks5高质量IP无限收学生粉,宝妈,女性粉,游戏粉长期收网赚粉 QQ8904040寻引流高手合作/1万粉以下勿扰██████五年推广█邮件代发█
公司实力收引流软件渠道█拨号VPS服务器4元/天免费测试█无限收学生粉,宝妈,女性粉,游戏粉实力团队收网赚粉入群找管理寻引流高手合作/1万粉以下勿扰大量收微信扫码进群男粉2820301656
公司实力收引流软件渠道███高价收购任何粉QQ84888591█无限收学生粉,宝妈,女性粉,游戏粉实力团队收网赚粉入群找管理寻引流高手合作/1万粉以下勿扰高价收网吧量联系QQ1908886662
〓〓〓收粉〓〓〓工作室出-交友粉-速度快-产量高无限收学生粉,宝妈,女性粉,游戏粉实力出粉,诚心来谈,眼子勿扰寻引流高手合作/1万粉以下勿扰高价收网吧量家庭量q2221333978
出精准网赚粉兼职粉
出售QQ群fa网赚精准粉 QQ13395509
无限收学生粉,宝妈,女性粉,游戏粉出抖音热门WZ精准粉Q159907寻引流高手合作/1万粉以下勿扰常年出精准粉 认证空间粉 加群量
来上微信QQ粉了加Q5555650群fa短信 95达到率无限收学生粉,宝妈,女性粉,游戏粉每天大量出邮箱交友粉,求稳定客户我要租广告位集团超高价收量QQ: 7305830
查看: 15955|回复: 335
收起左侧

[易源码分享] 【原创】网页文章采集工具 ,六大步骤搞定文章采集

  [复制链接]

签到天数:8 天

结帖率:95% (41/43)
发表于 2017-2-21 17:07:23 | 显示全部楼层 |阅读模式
分享源码
界面截图:
是否带模块: 调用了模块
备注说明: -
本帖最后由 宇智波·佐助 于 2017-2-22 09:25 编辑

界面小展示:
GIF.gif

近日做项目需要采集很多文章,各种类型各种网站的文章都需要。这样也就出现了1个问题,不同的网站要写不同的采集规则,其实这也没什么捷径可言。
但是每次都要敲重复的代码,比如,文本_取中间 等等。这点就不效率了,而且特别浪费时间。
于是,小弟我就写了一款通用的采集软件,能支持绝大部分网站文章的采集。只需要填写规则即可,杜绝了重复代码的编写。
从原来写1个网站的文章要15分钟,现在只要5分钟就搞定了。岂不乐哉!

(源码)软件简介:
1、软件属于源码(HTML)抓取版
2、只支持二级目录的采集,即 列表页—> 文章页 。(绝大部分的网站文章都能在2级目录内获取到)
3、手动设置翻页(想采几页就采几页)
4、支持正文内容过滤(这个你可以自行修改使用)
5、自动生成TXT文件到桌面文件夹
6、自动判断UTF8返回文本
7、支持每个节点规则的测试返回

软件的话,基本上就是上面说的这样。已经可以很美丽的使用了,我也采集了N个网站,N万篇文章了。
新手们可以,拿去研究研究,软件特别的地方也没啥,说白了就是1个逻辑思路,如何去实现功能而已。
原理其实也很简单,就是循环取中间(从外往内,一层一层提取),再加点判断就完成了。
正要说特别的地方的话,就是标题的处理了,因为某些网页字符是写入不到本地的。嗯~~有兴趣的可以看看。
当然,二次开发的也是可以的,加入伪原创,加入分页采集,加入多级目录采集,加入HTML发布文本,加入数据库入库等等。
做成商业版的也没啥问题,只要你有时间,有精力去弄。(扯远了)

重点1:一定要按照六大步骤一步一步测试,全部通过就没问题了。(什么是通过?你可以参考自带的规则展示)

重点2:规则可以叠加,前面文本和后面文本相对应,从外往内,一层一层提取。也就是循环取中间文本。好用给点分把

ML Grab2.rar (154.05 KB, 下载次数: 971)

点评

大表哥,我已经开发完成了 批量 采集 伪原创 以及 入库的功能 希望合作qq84801619  发表于 2017-2-22 08:58

评分

参与人数 14好评 +9 精币 +24 收起 理由
握手就好了 + 1 精彩文章希望继续努力
xl2016 + 1 感谢分享,很给力!~
空中的鱼 + 1 + 2 支持开源~!感谢分享
逍遥滴风 + 1 感谢分享,很给力!~
1051496412 + 1 + 3 您老试试JS,更快,我就要两步~
千年io + 2 感谢发布原创作品,精易因你更精彩!
小白学习 + 1 + 2 支持开源~!感谢分享
编程唐少 + 1 + 2 真心感谢楼主 !
我是赌气才来的 + 1 感谢发布原创作品,精易因你更精彩!
tiantangmuxin + 1 + 1 支持开源~!感谢分享
精易客服 + 1 + 5 精彩文章希望继续努力
大飛 + 1 火车头,你值得拥有
冰点 + 1 + 3 支持开源~!感谢分享
阿蒙 + 1 火车头,你值得拥有

查看全部评分


您可以选择打赏方式支持楼主

本帖被以下淘专辑推荐:

签到天数: 15 天

发表于 2018-12-31 10:55:17 | 显示全部楼层
this is what i am looking for,thanks guy
回复

使用道具 举报

发表于 2018-12-16 16:11:13 | 显示全部楼层
感觉很强大了
回复

使用道具 举报

签到天数: 11 天

发表于 2018-11-30 11:01:01 | 显示全部楼层
强大的楼主,学习了
回复

使用道具 举报

发表于 2018-7-18 09:01:52 | 显示全部楼层
这个东西用来采集蛮爽,顶了!
回复

使用道具 举报

签到天数: 13 天

发表于 2018-6-23 16:16:32 | 显示全部楼层
看着很牛逼的样子
回复

使用道具 举报

发表于 2018-6-13 09:51:19 | 显示全部楼层
学习一下,谢谢分享
回复

使用道具 举报

发表于 2018-5-23 09:08:14 | 显示全部楼层
怎么下载后显示文件破坏  安装不了呢
回复

使用道具 举报

签到天数: 1 天

结帖率:53% (10/19)
发表于 2018-1-27 22:58:14 | 显示全部楼层
这个必须支持一下,正好需要
回复

使用道具 举报

结帖率:73% (8/11)
发表于 2018-1-27 22:12:19 | 显示全部楼层
这个功能强大的
回复

使用道具 举报

结帖率:0% (0/1)
发表于 2018-1-26 16:26:50 | 显示全部楼层
ddddddddddddddddd
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 注册

本版积分规则 致发广告者

关闭

精易论坛 - 有你更精彩上一条 /1 下一条

快速回复 收藏帖子 返回列表 按钮

sitemap|易语言源码|易语言教程|易语言论坛|诚聘英才|易语言模块|手机版|联系我们|精易论坛
拒绝任何人以任何形式在本论坛发表与中华人民共和国法律相抵触的言论,本站内容均为会员发表,并不代表精易立场!
揭阳精易科技有限公司申明:我公司所有的培训课程版权归精易所有,任何人以任何方式翻录、盗版、破解本站培训课程,我们必将通过法律途径解决!
公司简介:揭阳市揭东区精易科技有限公司致力于易语言教学培训/易语言学习交流社区的建设与软件开发,多年来为中小企业编写过许许多多各式软件,并把多年积累的开发经验逐步录制成视频课程供学员学习,让学员全面系统化学习易语言编程,少走弯路,减少对相关技术的研究与摸索时间,从而加快了学习进度!
防范网络诈骗,远离网络犯罪 违法和不良信息举报电话0663-3422125,QQ: 800073686,邮箱:800073686@b.qq.com
Powered by Discuz! X3.2 揭阳市揭东区精易科技有限公司 ( 粤ICP备12094385号-1) 粤公网安备 44522102000125

快速回复 返回顶部 返回列表