精易论坛

 找回密码
 注册

QQ登录

只需一步,快速开始

用微信号发送消息登录论坛

新人指南 邀请好友注册 - 论坛浏览速度太慢? 教你赚取精币 - 每日签到

谋生 求职/招聘- 论坛接单- 资源出售

论坛版规 总版规 - 建议/投诉 - 应聘版主 - 精华帖总集 积分说明 - 禁言标准 - 有奖举报

搜索
订阅<精易模块>源码若快打码 快速★准确★稳定★便宜2017年好项目,每月多挣好多钱██【免费网络验证】无需服务器█收购所有量,所有粉,有量的速度来██打码兔秒杀一切验证码██
全国PPTP秒换IP 动态IP仅35元/月
若快打码 快速★准确★稳定★便宜
2017年好项目,每月多挣好多钱
██【易卡发卡平台】无需服务器█
收购所有量,所有粉,有量的速度来█打码兔答题 速度快 极稳定█
★滴滴答题★8元万码★分成任加★火眼答题-韩文日文-高质量答题
██免费网络验证 收款即时到帐█
云速打码全天50%分成★稳定★快速收购所有量,所有粉,有量的速度来收购一切流量☞QQ:503830000☜
┏高价收各种量,运营商,分光等┓
Thewolf语音验证码接收平台可API大量收购一切流量  995799457
网吧加群空间转发逆向等qq;771112
收购所有量,所有粉,有量的速度来
收直播APP采集加Q:2381274905
┆       高价sp短信用户量       ┆
┏--长期收购各类成品引流软件--┓
集团重金收量
收网吧转发空间QQ:1513888885
收购所有量,所有粉,有量的速度来┏ °短信群发内容成功率百分百°┓
┆      收购各种游戏注册量     ┆
║ 长期收购针对性精准QQ人群 ║
集团重金收量
收网吧转发空间QQ:1513888885
收购所有量,所有粉,有量的速度来┃ °手机短信群发广告量找老板°┃
┆     联系qq:985013583    ┆
║    合作QQ:2665555557    ║
集团重金收量
┏██人傻钱多 QQ:753310██┓
收购所有量,所有粉,有量的速度来
┃ °短信内容不限制实力接单中°┃
┗------高价sp短信用户量-------┛
║ 长期诚聘各大引擎SEO合作  ║
集团重金收量
█ 收成品群/成品号/成品微信  █
收购所有量,所有粉,有量的速度来
┃  °一手卡发机房100%不扣量°┃
长期收购微信各种推广渠道
┗-收针对性人群引流加Q群流量┛
集团重金收量
█    收男粉/精准粉/网赚粉     █
收购所有量,所有粉,有量的速度来
┗低价出各类广告QQ:5690990┛
长期收购微信各种推广渠道
█适合国外团队 炒群转化高█
集团重金收量
█反正就是人傻钱多收各种活粉█
收购所有量,所有粉,有量的速度来
┏x58双路租机,模拟器24开  ┓
长期收购微信各种推广渠道
█稳定出25岁以上男性资源█
集团重金收量
┗██  菲律宾集团诚招合作 ██┛
收购所有量,所有粉,有量的速度来
┗单进程单IP,最低15元一天 ┛
长期收购微信各种推广渠道
█支持论坛中介 交易请放心█
集团重金收量
★熊猫人气★24小时自助平台★收购所有量,所有粉,有量的速度来┏实力收各种推广引流渠道和资源┓
长期收购微信各种推广渠道实力收微信引流各类推广渠道集团重金收量█NOW直播人气代挂Qq:5919620█收购所有量,所有粉,有量的速度来┃实力收各种推广引流渠道和资源┃
长期收购微信各种推广渠道
实力收微信引流各类推广渠道集团重金收量
找项目找资源就来晟博会点击加群
收购所有量,所有粉,有量的速度来┃实力收各种推广引流渠道和资源┃
长期收购微信各种推广渠道
实力收微信引流各类推广渠道集团重金收量
大量出售微信老号QQ907637
收购所有量,所有粉,有量的速度来┃实力收各种推广引流渠道和资源┃
长期收购微信各种推广渠道
实力收微信引流各类推广渠道
集团重金收量
常年收网吧/家庭量/人气号/独家项目
收购所有量,所有粉,有量的速度来
┃实力收各种推广引流渠道和资源┃
长期收购微信各种推广渠道
明年扩大规模
集团重金收量
常年收网吧/家庭量/人气号/独家项目收购所有量,所有粉,有量的速度来┃实力收各种推广引流渠道和资源┃
长期收购微信各种推广渠道
长期收各种引流资源
集团重金收量常年收网吧/家庭量/人气号/独家项目收购所有量,所有粉,有量的速度来┃实力收各种推广引流渠道和资源┃
长期收购微信各种推广渠道
急需作者一名
集团重金收量
常年收网吧/家庭量/人气号/独家项目收购所有量,所有粉,有量的速度来┃高价寻原生态APP开发上架高手┃
长期收购微信各种推广渠道
收各种引流思路
集团重金收量
常年收网吧/家庭量/人气号/独家项目收购所有量,所有粉,有量的速度来┃高价寻SEO优化高手介绍有红包┃
长期收购微信各种推广渠道
求贤若渴礼贤下士
集团重金收量大量租售各种qq小号 2892721932收购所有量,所有粉,有量的速度来┃实力收各种推广引流渠道和资源┃
长期收购微信各种推广渠道
国外财团诚邀引流技术大神合作集团重金收量
 ▇QQ实用软件技术▇不定时更新▇ 
收购所有量,所有粉,有量的速度来┃实力收各种推广引流渠道和资源┃
长期收购微信各种推广渠道
国外实力财团
集团重金收量
收微信粉 QQ联系:2286852884收购所有量,所有粉,有量的速度来┃实力收各种推广引流渠道和资源┃
长期收购微信各种推广渠道
长期收网赚/男粉/精准粉集团重金收量
█拨号VPS服务器4元/天免费测试█
收购所有量,所有粉,有量的速度来┃实力收各种推广引流渠道和资源┃
长期收购微信各种推广渠道
收各种引流思路集团重金收量收购所有量,所有粉,有量的速度来收购所有量,所有粉,有量的速度来┃实力收各种推广引流渠道和资源┃
长期收购微信各种推广渠道
招募各路引流大神集团重金收量收购所有量,所有粉,有量的速度来收购所有量,所有粉,有量的速度来┃实力收各种推广引流渠道和资源┃
长期收购微信各种推广渠道
收购所有量,所有粉,有量的速度来集团重金收量收购所有量,所有粉,有量的速度来收购所有量,所有粉,有量的速度来┗实力收各种推广引流渠道和资源┛
长期收购微信各种推广渠道
收购所有量,所有粉,有量的速度来集团重金收量收购所有量,所有粉,有量的速度来收购所有量,所有粉,有量的速度来收购所有量,所有粉,有量的速度来
长期收购微信各种推广渠道
收购所有量,所有粉,有量的速度来集团重金收量收购所有量,所有粉,有量的速度来收购所有量,所有粉,有量的速度来收购所有量,所有粉,有量的速度来
长期收购微信各种推广渠道
长期出网吧量QQ:526661【蚂蚁收发验证平台可专属对接】
无限收网吧量Q:345671
收购所有量,所有粉,有量的速度来出一手加群量转发量q45343882
长期收购微信各种推广渠道
█IP精灵█最强大的动态IP加速器
独家手机号转wxid,代加通讯录粉
收购手机充值卡·卡密Q75939058
收购所有量,所有粉,有量的速度来
☆收微信公众号粉丝.日结
☆收微信公众号粉丝.日结
OCR专业识别/通用文字/名片/手写
出微信老号加Q19551346
长期无限收购女性Q好友微信好友收购所有量,所有粉,有量的速度来王者转盘量+Q3006306
我要租广告位     
查看: 11330|回复: 328
收起左侧

[易源码分享] 【原创】网页文章采集工具 ,六大步骤搞定文章采集

  [复制链接]
结帖率:95% (42/44)
发表于 2017-2-21 17:07:23 | 显示全部楼层 |阅读模式
分享源码
界面截图:
是否带模块: 调用了模块
备注说明: -
本帖最后由 宇智波·佐助 于 2017-2-22 09:25 编辑

界面小展示:
GIF.gif

近日做项目需要采集很多文章,各种类型各种网站的文章都需要。这样也就出现了1个问题,不同的网站要写不同的采集规则,其实这也没什么捷径可言。
但是每次都要敲重复的代码,比如,文本_取中间 等等。这点就不效率了,而且特别浪费时间。
于是,小弟我就写了一款通用的采集软件,能支持绝大部分网站文章的采集。只需要填写规则即可,杜绝了重复代码的编写。
从原来写1个网站的文章要15分钟,现在只要5分钟就搞定了。岂不乐哉!

(源码)软件简介:
1、软件属于源码(HTML)抓取版
2、只支持二级目录的采集,即 列表页—> 文章页 。(绝大部分的网站文章都能在2级目录内获取到)
3、手动设置翻页(想采几页就采几页)
4、支持正文内容过滤(这个你可以自行修改使用)
5、自动生成TXT文件到桌面文件夹
6、自动判断UTF8返回文本
7、支持每个节点规则的测试返回

软件的话,基本上就是上面说的这样。已经可以很美丽的使用了,我也采集了N个网站,N万篇文章了。
新手们可以,拿去研究研究,软件特别的地方也没啥,说白了就是1个逻辑思路,如何去实现功能而已。
原理其实也很简单,就是循环取中间(从外往内,一层一层提取),再加点判断就完成了。
正要说特别的地方的话,就是标题的处理了,因为某些网页字符是写入不到本地的。嗯~~有兴趣的可以看看。
当然,二次开发的也是可以的,加入伪原创,加入分页采集,加入多级目录采集,加入HTML发布文本,加入数据库入库等等。
做成商业版的也没啥问题,只要你有时间,有精力去弄。(扯远了)

重点1:一定要按照六大步骤一步一步测试,全部通过就没问题了。(什么是通过?你可以参考自带的规则展示)

重点2:规则可以叠加,前面文本和后面文本相对应,从外往内,一层一层提取。也就是循环取中间文本。好用给点分把

ML Grab2.rar (154.05 KB, 下载次数: 840)

点评

大表哥,我已经开发完成了 批量 采集 伪原创 以及 入库的功能 希望合作qq84801619  发表于 2017-2-22 08:58

评分

参与人数 14好评 +9 精币 +24 收起 理由
握手就好了 + 1 精彩文章希望继续努力
xl2016 + 1 感谢分享,很给力!~
空中的鱼 + 1 + 2 支持开源~!感谢分享
逍遥滴风 + 1 感谢分享,很给力!~
1051496412 + 1 + 3 您老试试JS,更快,我就要两步~
千年io + 2 感谢发布原创作品,精易因你更精彩!
小白学习 + 1 + 2 支持开源~!感谢分享
编程唐少 + 1 + 2 真心感谢楼主 !
我是赌气才来的 + 1 感谢发布原创作品,精易因你更精彩!
tiantangmuxin + 1 + 1 支持开源~!感谢分享
精易客服 + 1 + 5 精彩文章希望继续努力
大飛 + 1 火车头,你值得拥有
冰点 + 1 + 3 支持开源~!感谢分享
阿蒙 + 1 火车头,你值得拥有

查看全部评分


您可以选择打赏方式支持楼主

本帖被以下淘专辑推荐:

结帖率:0% (0/2)
发表于 2018-1-27 22:58:14 | 显示全部楼层
这个必须支持一下,正好需要
回复

使用道具 举报

结帖率:43% (3/7)
发表于 2018-1-27 22:12:19 | 显示全部楼层
这个功能强大的
回复

使用道具 举报

签到天数: 4 天

发表于 2018-1-26 16:26:50 | 显示全部楼层
ddddddddddddddddd
回复

使用道具 举报

结帖率:100% (1/1)
发表于 2018-1-26 08:20:53 | 显示全部楼层
能不能配合多线程或者换代理IP哈,这样会更加牛逼
回复

使用道具 举报

签到天数: 12 天

发表于 2018-1-24 03:58:24 | 显示全部楼层
感谢分享,支持楼主!
回复

使用道具 举报

发表于 2018-1-17 08:15:15 | 显示全部楼层
谢谢分享  非常感激
回复

使用道具 举报

发表于 2018-1-11 18:42:19 | 显示全部楼层
下来学习一下
回复

使用道具 举报

签到天数: 20 天

发表于 2018-1-11 08:55:02 | 显示全部楼层
感谢分享。。。
回复

使用道具 举报

签到天数: 14 天

结帖率:0% (0/1)
发表于 2017-12-22 14:20:22 | 显示全部楼层
有没有能采集图片+标题+文本的,WORD格式的。
回复

使用道具 举报

签到天数: 2 天

发表于 2017-12-20 10:41:01 | 显示全部楼层
如果能加个带cookie就更牛啦
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 注册

本版积分规则 致发广告者

关闭

精易论坛 - 有你更精彩上一条 /1 下一条

快速回复 收藏帖子 返回列表

sitemap|易语言源码|易语言教程|易语言论坛|诚聘英才|易语言模块|手机版|联系我们|精易论坛
拒绝任何人以任何形式在本论坛发表与中华人民共和国法律相抵触的言论,本站内容均为会员发表,并不代表精易立场!
揭阳精易科技有限公司申明:我公司所有的培训课程版权归精易所有,任何人以任何方式翻录、盗版、破解本站培训课程,我们必将通过法律途径解决!
公司简介:揭阳市揭东区精易科技有限公司致力于易语言教学培训/易语言学习交流社区的建设与软件开发,多年来为中小企业编写过许许多多各式软件,并把多年积累的开发经验逐步录制成视频课程供学员学习,让学员全面系统化学习易语言编程,少走弯路,减少对相关技术的研究与摸索时间,从而加快了学习进度!
防范网络诈骗,远离网络犯罪 违法和不良信息举报电话0663-3422125,QQ: 800073686,邮箱:800073686@b.qq.com
Powered by Discuz! X3.2 ( 粤ICP备12094385号-1) 粤公网安备 44522102000125

快速回复 返回顶部 返回列表