开启辅助访问 切换到宽版

精易论坛

 找回密码
 注册

QQ登录

只需一步,快速开始

用微信号发送消息登录论坛

新人指南 邀请好友注册 - 我关注人的新帖 教你赚取精币 - 每日签到


求职/招聘- 论坛接单- 开发者大厅

论坛版规 总版规 - 建议/投诉 - 应聘版主 - 精华帖总集 积分说明 - 禁言标准 - 有奖举报

查看: 100827|回复: 788
收起左侧

[2018开源大赛(第三届)] [更新v4.6][鱼刺架构]通用多线程代理zc - 功能强大 通用 易上手 易扩展

    [复制链接]
发表于 2018-12-21 11:16:10 | 显示全部楼层 |阅读模式   河南省郑州市
鱼刺智能代理架构v4.6 - 通用代理注册

功能强大 通用 易上手 易扩展改造 模版界面友好
亲 你需要的我都想到了 快来拿护甲吧


*例程完美通用于代理注册(只要是代理注册基本都可以直接套用此模版)
*适合于新手(代码很容易看懂和修改扩展)
*稳定多线程(鱼刺线程池 你值得拥有)
*界面设计合理可扩展(*支持运行中修改配置参数 *暂停/继续 *中途停止 *日志输出和保存到本地)
*代理智能提取(代理快用完自动智能提取补充 工作不暂停极大提升效率)
*启动后依然可以继续修改配置文件`Config_Proxy.ini`里的参数 (你可以一边修改 一边观察效果)
*支持可设置提取的代理可以被获取多次 (一条代理可以被使用多少次)
*支持可设置提取的代理最长有效时间 (可避免提太多 用太慢 导致最后一部分代理全是过期的)

--------------------------------------------
_UI截图.jpg
--------------------------------------------
Config_Proxy.ini 配置说明
触发补充阀值         : 当前剩余代理小于这个数值会触发自动提取并验证补充代理(0=自动(本次提取数量\5+5且>=5))
提取地址             : 用于提取代理的API地址
提取分隔符           : 提取后用这个分隔符来分割成多条 默认=\\r\\n(换行符)有的linux服务器可能会\\n作为换行符 (本参数也支持正则匹配)
是否正则分割         : 是否使用正则匹配 1=使用正则匹配(正则必须包含两个子匹配项1为地址2为端口) 0=使用分割文本匹配
提取是否UTF8解码     : 提取代理返回的网页内容是否进行UTF8解码 1=解码 0=不解码(默认)
提取是否禁止重定向   : 提取代理时是否禁止HTTP重定向 1=禁止 0=允许(默认)
提取自定义附加协议头 : 提取代理时自定义附加的HTTP协议头 默认=空(默认协议头) 注意:如果要提供多行协议头请使用 \\r\\n 代替 #换行符 进行隔开
提取间隔             : 两次提取最小间隔(毫秒) 为了防止提取API接口限制提取频繁冻结 默认=1000(1秒)
----------------
验证地址             : 用于验证代理是否有效的url 比如IP138 又比如百度  |如果想不验证提取的代理直接使用 请设置为:不验证
验证特征             : 验证代理URL返回的内容里存在这个特征既是有效(比如验证地址是(百度) 特征可以是'百度一下')
验证是否UTF8解码     : 验证代理返回的网页内容是否进行UTF8解码 1=解码 0=不解码(默认)
验证是否禁止重定向   : 验证代理时是否禁止HTTP重定向 1=禁止 0=允许(默认)
验证自定义附加协议头 : 验证代理时自定义附加的HTTP协议头 默认=空(默认协议头) 注意:如果要提供多行协议头请使用 \\r\\n 代替 #换行符 进行隔开
验证超时             : 验证代理超时 默认=12 (秒)
尝试验证次数         : 尝试验证次数 默认=1 (次)
代理生命值           : 提取的代理能被获取几次 默认=1 (次)  (比如采集东西的时候就可以设置10-50次)
代理最长存活时间     : 提取的代理最长存活时间 0=不启用(默认) 大于0=启用(秒) 提取的代理过了这个时间后 将不会被提取直接被丢弃
--------------------------------------------
更新日志:
x4.6(2018-12-24)
支持设置是否禁止重定向
提取也支持了是否进行UTF8解码
优化代码缩小了核心体积
改善了配置项名称 补全了使用说明
x4.52(2018-12-21)
修正启用限制代理最长存活时间后 因鱼刺的马虎忘了递减剩余代理数量 而导致在特定情况下无法触发提取代理补充代理池而导致无限堵塞
PS: x4.5.2已由勤奋的小小小鱼全面细心测试 暂无任何BUG
x4.51(2018-12-12)
修正在特定情况下设置附加协议头会导致异常
修正在已启动代理提取架构的情况下修改配置项后有几率出现内存溢出(崩溃)
x4.5(2018-12-11)
支持设置提取的代理的最大存活时间 过时的代理会被丢弃(提取的代理也有超时 避免提太多用的慢导致代理失效)
x4.31(2018-11-11)
修正了因为修改配置项格式 导致了一处问题 会照成代理生命值异常(获取了代理 代理剩余数量不减少)
x4.3(2018-11-10)
提取和验证配置都支持自定义附加协议头
修正了一处问题
修改了配置项格式
使用黑月3.65重新编译
PS: x4.3应该是最后一个单提取API版本 x5.0将支持最多20个提取API提取代理 并支持带用户密码的代理
x4.2
修正了销毁机制 中途销毁智能代理架构速度在秒级内
移除了通讯组件选择配置
x4.1
支持配置自定义验证代理的超时值(默认15秒)用来过滤低速代理
x4.0
调整了验证代理线程调度机制 提高了验证代理速度
调整了销毁机制 中途销毁智能代理架构速度极大提升
x3.9
支持了提取的代理不用验证直接使用 (置配置项 '验证地址=不验证' 即可)
修正一处问题 会在特殊情况下照成正在验证数异常
x3.8
增加支持提取的代理使用正则匹配 (子匹配项1代理地址)(子匹配项2端口)
x3.7
解决了一处会照成崩溃的问题(开500线程3秒直接爆炸)
x3.6
提取代理分割特征支持\\r\\n来表示换行符(用来应对非windows默认换行符特征)
x3.5
支持了自定义提取代理后的分隔符
x3.4
优化了配置信息触发更新机制
x3.3
修正了因某API传参问题照成的崩溃问题
更新替换了新版本的 鱼刺类_多线程应用 模块
--------------------------------------------

设计者:Bints.鱼刺.小小小鱼
QQ:521573
QQ交流群:5560233.87555687


4.5版本因管理员操作失误删除,4.5下载次数为389次。客服2号留
源码例子回复下载:
通用架构_代理zcv4.6.zip (523.35 KB, 下载次数: 5828)
_UI截图.jpg

点评

鱼刺多线程 大佬,,感谢!!!!   广东省茂名市  发表于 2018-12-22 21:43

评分

参与人数 31好评 +27 精币 +54 收起 理由
倾风听雨声 + 1 + 2 支持开源~!感谢分享
ノ朽默℡ + 1 + 4 支持开源~!感谢分享
percher + 2 支持开源~!感谢分享
被封禁言 + 1 支持开源~!感谢分享
luoran + 2 支持开源~!感谢分享
LLJ + 1 + 1 支持开源~!感谢分享
huixin + 1 + 2 支持开源~!感谢分享
瑾年c + 1 + 2 大神,请收下我的膝盖
o132014 + 1 新技能已get√
h2995527 + 1 + 1 支持开源~!感谢分享
峰生水起之林 + 1 + 1 感谢分享,很给力!~
Aurora + 1 感谢发布原创作品,一定好好学习,天天向上
我是赌气才来的 + 1 + 2 感谢分享,很给力!~
hongjian + 1 + 2 支持开源~!感谢分享
alanyang001 + 1 支持开源~!感谢分享
我爱小黑屋 + 1 + 3 感谢发布原创作品,精易因你更精彩!
yikuaidao + 1 新技能已get√
yujiekuxiao + 1 + 2 感谢发布原创作品,精易因你更精彩!
日勿日勿 + 1 + 2 感谢分享,很给力!~
apswwx + 1 + 2 支持开源~!感谢分享
墓志铭 + 1 + 2 此处应该有鼓励~
小明无敌 + 1 + 3 支持开源~!感谢分享
流星暴雨 + 1 + 2 小鱼妹子真高产
已注销298940 + 1 感谢分享,很给力!~
yijian209 + 1 + 2 感谢发布原创作品,精易因你更精彩!
domingo + 1 + 2 支持开源~!感谢分享
登峰望岳 + 1 + 4 鱼刺牌,易语言界公认最强多线程,最强http,谁不服我第一个出来表演口吞长剑给你
六升臣 + 1 + 2 感谢分享,很给力!~
慕尚网 + 1 + 2 支持开源~!感谢分享
pnccm + 2 奉上小小红包希望笑纳
kyo9766 + 1 + 2 支持开源~!感谢分享

查看全部评分

本帖被以下淘专辑推荐:

发表于 2023-12-28 14:07:29 | 显示全部楼层   香港特别行政区*
支持开源~~~~~~~
回复 支持 反对

使用道具 举报

结帖率:100% (12/12)

签到天数: 25 天

发表于 2023-12-27 13:13:55 | 显示全部楼层   江苏省苏州市
膜拜大佬
回复 支持 反对

使用道具 举报

结帖率:100% (4/4)
发表于 2023-9-9 17:44:10 | 显示全部楼层   广东省东莞市
鱼刺多线程 大佬,,感谢
回复 支持 反对

使用道具 举报

结帖率:100% (2/2)

签到天数: 18 天

发表于 2023-9-9 07:57:44 | 显示全部楼层   江苏省南通市
#在这里快速回复#原先的搞没了,下新的去
回复 支持 反对

使用道具 举报

签到天数: 11 天

发表于 2023-8-27 07:59:17 | 显示全部楼层   河北省石家庄市
学习学习学习
回复 支持 反对

使用道具 举报

签到天数: 11 天

发表于 2023-8-27 07:58:55 | 显示全部楼层   河北省石家庄市
学习学习学习
回复 支持 反对

使用道具 举报

结帖率:0% (0/7)

签到天数: 20 天

发表于 2023-5-17 17:49:56 | 显示全部楼层   湖北省黄冈市
下载
回复 支持 反对

使用道具 举报

签到天数: 2 天

发表于 2023-5-10 19:50:14 | 显示全部楼层   湖南省株洲市
下载学习一下
回复 支持 反对

使用道具 举报

签到天数: 2 天

发表于 2023-5-10 19:49:55 | 显示全部楼层   湖南省株洲市
下载学习一下
回复 支持 反对

使用道具 举报

结帖率:67% (2/3)
发表于 2023-5-3 15:38:47 | 显示全部楼层   云南省曲靖市
下载学习一下
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 注册

本版积分规则 致发广告者

发布主题 收藏帖子 返回列表

sitemap| 易语言源码| 易语言教程| 易语言论坛| 诚聘英才| 易语言模块| 手机版| 广告投放| 精易论坛
拒绝任何人以任何形式在本论坛发表与中华人民共和国法律相抵触的言论,本站内容均为会员发表,并不代表精易立场!
论坛帖子内容仅用于技术交流学习和研究的目的,严禁用于非法目的,否则造成一切后果自负!如帖子内容侵害到你的权益,请联系我们!
防范网络诈骗,远离网络犯罪 违法和不良信息举报电话0663-3422125,QQ: 800073686,邮箱:800073686@b.qq.com
Powered by Discuz! X3.4 揭阳市揭东区精易科技有限公司 ( 粤ICP备12094385号-1) 粤公网安备 44522102000125 增值电信业务经营许可证 粤B2-20192173

快速回复 返回顶部 返回列表