精易论坛

 找回密码
 注册

QQ登录

只需一步,快速开始

用微信号发送消息登录论坛

新人指南 邀请好友注册 - 我关注人的新帖 教你赚取精币 - 每日签到


求职/招聘- 论坛接单- 资源出售

论坛版规 总版规 - 建议/投诉 - 应聘版主 - 精华帖总集 积分说明 - 禁言标准 - 有奖举报

2019年好项目,每月多挣好多钱┃ 服务器出租E3单路E5双路E5 ┃ 长期 包养全网交友粉大户实力公司大量收粉日吃8000+收一手零转化微信小群粉高价收购【全部行业精准粉】进群!
2019年好项目,每月多挣好多钱┃ 模拟器虚拟机多开! 单进程 ┃长期 包养全网交友粉大户交友粉 婚恋粉 各种活粉日吃8000+收一手零转化微信小群粉高价收购【全部行业精准粉】进群!
寻找有实力的短信群fa通道█长期大量收购各种活粉█长期 包养全网交友粉大户另收土豆社交APP活粉日吃8000+收一手零转化微信小群粉高价收购【全部行业精准粉】进群!
寻找有实力的短信群fa通道█ 长期收购各种引流软件 █长期 包养全网交友粉大户无限收交友粉 引流软件 qq7305830日吃8000+收一手零转化微信小群粉高价收购【全部行业精准粉】进群!
寻找有实力的短信群fa通道寻有实力的短信群fa通道加Q525253各种【活粉变现点这里】客服①无限收交友粉 引流软件 qq7305830日吃8000+收一手零转化微信小群粉高价收购【全部行业精准粉】进群!
寻找有实力的短信群fa通道寻有实力的短信群fa通道加Q525253各种【活粉变现点这里】客服①无限收交友粉 引流软件 qq7305830日吃8000+收一手零转化微信小群粉高价收购【全部行业精准粉】进群!
寻找有实力的短信群fa通道寻有实力的短信群fa通道加Q525253各种【活粉变现点这里】客服①无限收交友粉 引流软件 qq7305830日吃8000+收一手零转化微信小群粉高价收购【全部行业精准粉】进群!
星盟社群无限收各种引流资源寻有实力的短信群fa通道加Q525253各种【活粉变现点这里】客服②无限收交友粉 引流软件 qq7305830日吃8000+收一手零转化微信小群粉高价收购【全部行业精准粉】进群!
星盟社群无限收精准网赚资源寻有实力的短信群fa通道加Q525253各种【活粉变现点这里】客服②无限收交友粉 引流软件 qq7305830日吃8000+收一手零转化微信小群粉高价收购【全部行业精准粉】进群!
星盟社群免费帮对接担保交易实力收精准粉大量稳定加Q525253各种【活粉变现点这里】客服②无限收交友粉 引流软件 qq7305830日吃8000+收一手零转化微信小群粉高价收购【全部行业精准粉】进群!
星盟社群欢迎买卖方进群合作实力收精准粉大量稳定加Q525253┏┏ 全网大量收交友粉 ┓┓无限收交友粉 引流软件 qq7305830日吃8000+收一手零转化微信小群粉高价收购【全部行业精准粉】进群!
星盟社群免费帮对接渠道资源实力收精准粉大量稳定加Q525253〓 各种APP交友粉 〓无限收交友粉 引流软件 qq7305830日吃8000+收一手零转化微信小群粉高价收购【全部行业精准粉】进群!
█     高 收 益 项 目   █实力收精准粉大量稳定加Q525253〓  抖音 快手 火山  〓无限收交友粉 引流软件 qq7305830日吃8000+收一手零转化微信小群粉高价收购【全部行业精准粉】进群!
█      耗资巨大     █实力收精准粉大量稳定加Q525253〓   附 近 人    〓收男女粉+q53779879日吃8000+收一手零转化微信小群粉高价收购【全部行业精准粉】进群!
█      市场最牛     █★★★出售抖音网赚精准粉 Q317738〓 各论坛美拍部落 〓收男女粉+q53779879日吃8000+收一手零转化微信小群粉高价收购【全部行业精准粉】进群!
█   支 持     日 结   █★★★出售抖音网赚精准粉 Q317738〓各种活人粉实力对接〓收收收大量宝妈粉QQ289259高价收购【全部行业精准粉】进群!高价收购【全部行业精准粉】进群!
█   咨询QQ   880194   █【实力公司无限收各种思路引流活粉】〓大小量通吃欢迎来撩〓收收收.微信扫码进群.加QQ9703796高价收购【全部行业精准粉】进群!高价收购【全部行业精准粉】进群!
█公司实力寻引流高手商务合作█↑↑↑↑↑↑↑↑↑加QQ:575199999〓 稳定全年365天收 〓█★█长期收购网赚精准粉█★█高价收购【全部行业精准粉】进群!高价收购【全部行业精准粉】进群!
█公司实力寻引流高手商务合作███ 实力公司 长期有效 ██〓 无限 收交友粉 〓█★█长期收购网赚精准粉█★█高价收购【全部行业精准粉】进群!高价收购【全部行业精准粉】进群!
█公司实力寻引流高手商务合作███ 收收收收 引流软件 ██┗┗ 全网最高单价收粉 ┛┛高价收qq渠道,交友粉+q7042641高价收购【全部行业精准粉】进群!高价收购【全部行业精准粉】进群!
█公司实力寻引流高手商务合作███ 收收收收 引流脚本 ██◆大量收婚恋宝妈快手火山◆高价收qq渠道,交友粉+q7042641高价收购【全部行业精准粉】进群!高价收购【全部行业精准粉】进群!
█公司实力寻引流高手商务合作███ 收收收收 引流思路 ██◇稳定收交友粉,找我换钱◇鼎信社群高价收WZ各类热门资源高价收购【全部行业精准粉】进群!高价收购【全部行业精准粉】进群!
█ 公司 高价 收 引流 软件 渠道 ███ 收收收收 群fa软件 ██◆收快手火山虎牙找我换钱◆鼎信社万人对接基地高效出粉收粉高价收购【全部行业精准粉】进群!高价收购【全部行业精准粉】进群!
█ 公司 高价 收 引流 软件 渠道 ███ 收收收收 精准wz粉 ██◇长期收交友粉大小量通吃◇███ 鼎信社群 行业顶尖 ███高价收购【全部行业精准粉】进群!高价收购【全部行业精准粉】进群!
█ 公司 高价 收 引流 软件 渠道 ███ 收收收收 精准zy粉 ██◆ 婚恋/抖音/空间/快手 ◆鼎信社群欢迎各类 商人对接入驻高价收购【全部行业精准粉】进群!高价收购【全部行业精准粉】进群!
█ 公司 高价 收 引流 软件 渠道 ███ 收收收收 引流人才 ██◇ 优质有量的找我换钱 ◇鼎信社欢迎各类粉商精英对接交流高价收购【全部行业精准粉】进群!高价收购【全部行业精准粉】进群!
█ 公司 高价 收 引流 软件 渠道 ███ 收收收收 引流方式 ██◆ 实力大型公司收媒体量 ◆█收交友粉 价格美丽 只走担保█高价收购【全部行业精准粉】进群!高价收购【全部行业精准粉】进群!
全网最高单价收粉QQ420073██收收收收 易语言高手██◇ 大量资金 ,来一收代理 ◇█收交友粉 价格美丽 只走担保█高价收购【全部行业精准粉】进群!高价收购【全部行业精准粉】进群!
实力收购各种粉加QQ420073██ 收收收收 软件定制 ██◆ 无限收交友粉交友粉 ◆█收交友粉 价格美丽 只走担保█高价收购【全部行业精准粉】进群!高价收购【全部行业精准粉】进群!
收购精准兼职粉加QQ420073██ 加qq群:839661627 ██◇ 各种活人粉实力对接 ◇█收交友粉 价格美丽 只走担保█高价收购【全部行业精准粉】进群!高价收购【全部行业精准粉】进群!
收购精准网赚粉加QQ420073██进群找管理 备注引流██全网大量收各种APP交友粉,日引1000+精准粉求包养QQ10917高价收购【全部行业精准粉】进群!高价收购【全部行业精准粉】进群!
收购软件渠道思路QQ420073██进群找管理 备注引流██包养全网交友粉大户日引1000+精准粉求包养QQ10917高价收购【全部行业精准粉】进群!高价收购【全部行业精准粉】进群!
████收购微信收租量QQ55698545大量收微信进群粉联系q584121900全网大量收各种APP交友粉,日引1000+精准粉求包养QQ10917高价收购【全部行业精准粉】进群!高价收购【全部行业精准粉】进群!
████收购微信收租量QQ55698545出微信qq交友粉网赚粉精准粉兼职包养全网交友粉大户日引1000+精准粉求包养QQ10917高价收购【全部行业精准粉】进群!高价收购【全部行业精准粉】进群!
长期出QQ群QQ号微信精准粉网挣粉大量出各类精准用户粉,全行业私信全网大量收各种APP交友粉,日引1000+精准粉求包养QQ10917高价收购【全部行业精准粉】进群!高价收购【全部行业精准粉】进群!
出QQ群微信QQ号交友粉网赚粉兼职粉限时限量出售高精准网赚粉包养全网交友粉大户★工作室长期出抖音WZ粉Q159907高价收购【全部行业精准粉】进群!高价收购【全部行业精准粉】进群!
大量出QQ网赚粉微信粉Q群精准活粉高价收网吧终端量联系Q1908886662全网大量收各种APP交友粉,█网站统计█I引流系统█I高价收购【全部行业精准粉】进群!高价收购【全部行业精准粉】进群!
Q群粉及交友一手资源Q:4925442249██████出精准网赚粉兼职粉包养全网交友粉大户高价收微信进群活跃男粉Q858529686高价收购【全部行业精准粉】进群!高价收购【全部行业精准粉】进群!
公司高价收购流量服务器出租E3-E5-单进程全网大量收各种APP交友粉,软件开发商实力出QQ网赚粉兼职粉高价收购【全部行业精准粉】进群!高价收购【全部行业精准粉】进群!
出游戏粉 游戏粉加Q245014016出Q群微信直播粉联系Q2604720501包养全网交友粉大户出兼职粉有实力的来高价收购【全部行业精准粉】进群!我要租广告位
查看: 10171|回复: 31
收起左侧

[CC教程] 第二课,深度学习相关基本概念

[复制链接]
发表于 2017-6-20 16:10:29 | 显示全部楼层 |阅读模式
本帖最后由 宇智波·佐助 于 2017-6-21 09:10 编辑



视频地址:
https://share.weiyun.com/14885e04050da9f53f7670532acb782c

http://pan.baidu.com/s/1skDzV5N
http://cloud.video.taobao.com/play/u/144304055/p/1/e/6/t/1/50010974167.mp4

ppt地址:
http://www.zifuture.com/fs/10.tutorial/2.jibenjieshao.pptx
大纲总览
深度学习下的验证码识别教程 点我查看


1.深度学习

深度学习Deep Learning,简称DL,又称DNN,即深度神经网络Deep Natural Networks。
在此之前有BP神经网络,即Back Propgation,反向传播神经网络。
通常我们会认为,BP或者其他隐层少的网络属于浅层神经网络,而隐层很多的网络称之为DNN,这里的多是没有具体定义的,如图所示即是。

而DNN又是个比较宽泛的词,DNN里面又包括有CNN卷积神经网络、RNN循环神经网络、LSTM长短期记忆网络、GANs对抗网络等几大类型,本文我们默认DL指CNN即可,相关意义可以查询百度。

图片1.png      
浅层神经网络

图片2.png
深层神经网络


图片3.png
CNN


2.GPU
GPU:图形处理单元,即显卡。以前GPU多为了加速显示帧率等,最近被用在超级计算上,以支持大量密集运算的需求,比如DL的训练过程就是。而显卡又分为三类,即Intel出的集成显卡、AMD系列、NVIDIA系列,被简称集显、A卡、N卡对于DL的GPU支持,必须是N卡,而且还要能够支持CUDA,因为旧版的显卡是不能支持CUDA的,可以下载GPU-Z查看型号和支持情况

显存:显卡的内存,由于DL的计算同时也需要消耗很大的显存空间,所以这个指标也影响着DL的训练和使用。GPU-Z里面查看的Memory Size即是显存大小,而Sensors里面的GPU Load是显卡使用率

对于使用CPU训练,会特别慢,使用GPU训练一般会比CPU快10-30倍甚至更多,所以使用GPU训练是很必要的事情。但是目前很长时间内,GPU的训练一直都是困扰很多人的问题,因为坑太多了,这里我们就详细讲讲关于GPU的那点事~

CUDA:NVIDIA出的一个GPU加速开发工具包,用来做GPU加速开发的支持,CUDA有版本的区分,所以CC库的编译和使用也就依赖着编译时候的版本,目前CC库提供有CUDA8.0、CUDA7.5的编译版本,那么对于使用GPU的你而言必须下载安装对应的CUDA版本和对应的CC版本才行。记得安装完CUDA后,在环境变量里面加入CUDA的目录,否则会提示找不到dll。

CUDA下载地址:

CUDA是不支持Win32的,也就是说,CC框架也不能支持Win32下的GPU相关操作

3.Protocol buffer
称为protobuf,简称PB,是由google开发的一套数据交互的协议栈库,他是一个库,也提供一种协议语法,语法结构跟JSON很相似。你可以使用任何语言解析编码为protobuf格式的协议数据或者文件,我们后期训练使用的模型和网络定义,全部是以protobuf的格式存储的。

图片4.png
协议约定文件

图片5.png
协议数据文件

caffe主要采用google protobuf格式描述网络配置文件,定义DL的各个层参数、训练时候的超参数和二进制的模型权重,所以caffe的训练是不需要写任何代码来实现的,只有调用caffe模型实现任务的时候需要写代码,主要完成训练任务的是caffe.exe程序

相关资料:
http://blog.csdn.net/menuconfig/article/details/12837173

4.LMDB
lmdb是openLDAP项目开发的嵌入式(作为一个库嵌入到宿主程序)存储引擎。其主要特性有:
瓜拉呱啦~。。。,参考:http://www.jianshu.com/p/yzFf8j
在CC中,lmdb是为了加速训练的需要,所以把图片文件通过convert_imageset.exe程序存放到一个lmdb数据库中,然后caffe.exe则读取该lmdb的数据作为训练数据,lmdb一般是在一个文件夹里面,有data.mdb和lock.mdb,如下图:
图片6.png

5.数据集
这里我们指训练时候指定的数据集,有train数据集、val数据集、test数据集
通常我们会把train和val数据集制作为lmdb数据库,即:
图片7.png
而test数据集,我们只需要保持label-test.txt就好了

这三个数据集的意义是:
train:用来训练的数据集,推荐占全部样本比重95%
val:用来训练时候做验证的数据集,推荐占全部样本比重4%
test:用来自己写代码测试训练结果模型的数据集,推荐占比1%

这三个数据集是完全不重叠的,就是说,他们之间是没有重复的图片文件。

6.LOSS
损失、误差
神经网络的训练,是通过正向传播求loss,然后回传loss调整权重完成的。loss就是当前训练进展的主要指标,当loss足够小的时候,表示网络基本训练完成。至于多小,取决于当前任务,一般是0.01以下

7.学习率
lr
learningrate,学习率
神经网络的训练,是通过正向传播求loss,然后回传loss调整权重完成的。这时候调整权重是根据loss计算然后乘以学习率,就是最终的调整量,所以学习率是控制调整强度的值,也是学习力度的控制,一般我们会给0.01、0.001等值去训练。学习率控制不好,会导致训练过程失败(即loss不下降或者精度不能达标)
图片9.png

8.过拟合、欠拟合
图片10.jpg
欠拟合                      完美                        过拟合

欠拟合:学习的还不够,表达能力不够好
过拟合:学习过头了,等于把样本全背下来记下来了,而没有学习应该学的知识,对新样本而言,泛化能力不好。泛化能力即扩展能力,在新样本上表现的效果的能力
中间这个:就是我们想要的数据表达模型被正确学习到的时候,这时候模型泛化能力最好,效果最好

9.迭代
指数据传入网络后进行一次前向运算的过程,称为一次迭代

10.Batch
批次
训练时候,通常会一次一批样本去训练他,综合起来调整loss。这时候迭代一次是用了一批图片

11.数据集转换
图片11.png


12.训练
图片12.png

13.迁移学习
finetune
又叫模型微调,利用已经训练好的模型,初始化一个新的训练任务。就是说,新任务根据这个旧模型开始学习,这样的学习就有一个很好的起点,就会很快得到好的结果。比如我们会在大数据集上训练一个模型(ImageNet数据集),然后新的小任务数据集上识别的时候,基于该模型去训练,将会很容易得到好的效果。若不这么做,我们新的训练任务通常需要非常大量的样本才能得到好效果。所以这个技术非常有用和关键。称做微调,是因为做迁移学习的时候学习率会比从头训练的学习率要低,表示根据已有模型以低的学习率来微调模型权重,训练新的任务。形象的说,一个模型因为见过很复杂的数据,那么他能够通过微微的调整来适应小的新数据,而且做到很好的效果。

主要的就是--weights这个参数指定的模型

14.暂停恢复
resume
训练过程允许中断然后调整参数,然后使用保存的快照继续训练,就是所谓的resume
主要是--snapshot参数指定的solverstate快照实现继续训练

15.使用模型
图片13.png







点评

感谢分享,很给力!~  发表于 2017-6-21 13:26

评分

参与人数 6好评 +5 精币 +36 收起 理由
j7ok7f + 1 这么厉害!必须给个红包鼓励下~
luckfish45 + 1 + 2 很好很强悍,坚持下去哦~
小8style + 1 + 2 赶来支持小哥
冯古屋 + 1 + 1 除了点赞,啥都不会
Cand + 1 + 20 感谢分享,很给力!~
单身汪 + 1 + 10 终于等到你,我的第二课

查看全部评分

您可以选择打赏方式支持楼主

本帖被以下淘专辑推荐:

  • · 鱼木|主题: 848, 订阅: 73

签到天数: 5 天

结帖率:50% (1/2)
发表于 2018-9-7 01:56:09 | 显示全部楼层
挺好的 不错不错 支持了
回复

使用道具 举报

签到天数: 16 天

结帖率:60% (3/5)
发表于 2018-7-19 17:40:48 | 显示全部楼层
挺好的 不错不错 支持了
回复

使用道具 举报

签到天数: 19 天

结帖率:86% (6/7)
发表于 2018-4-15 02:09:07 | 显示全部楼层
新技能已get√
回复

使用道具 举报

结帖率:0% (0/1)
发表于 2018-2-20 23:09:59 | 显示全部楼层
太引人入胜。科普大大~!
回复

使用道具 举报

发表于 2018-1-31 11:53:00 | 显示全部楼层
        很好很强悍,坚持下去哦~
回复

使用道具 举报

结帖率:67% (2/3)
发表于 2017-11-10 19:21:18 | 显示全部楼层
支持原创  加油
回复

使用道具 举报

签到天数: 16 天

结帖率:86% (6/7)
发表于 2017-9-3 13:18:32 | 显示全部楼层
楼主真好!授人以渔
回复

使用道具 举报

 楼主| 发表于 2017-7-14 13:06:49 | 显示全部楼层
本帖最后由 hopef 于 2017-7-14 13:08 编辑
wangbinahaoai 发表于 2017-7-10 23:42
楼主声音沙哑,我看了第一节课 就没看了 连音乐在加上说话 闹着玩呢》接着没事又看了第二节课,说话声音基 ...

是的呀,就是闹着玩的呢,我高兴就好了
回复

使用道具 举报

签到天数: 17 天

发表于 2017-7-14 12:43:12 | 显示全部楼层
学习学习
回复

使用道具 举报

结帖率:57% (4/7)
发表于 2017-7-10 23:42:38 | 显示全部楼层
楼主声音沙哑,我看了第一节课 就没看了 连音乐在加上说话 闹着玩呢》接着没事又看了第二节课,说话声音基本听的太模糊 浪费时间
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 注册

本版积分规则 致发广告者

发布主题 收藏帖子 返回列表 按钮

sitemap|易语言源码|易语言教程|易语言论坛|诚聘英才|易语言模块|手机版|联系我们|精易论坛
拒绝任何人以任何形式在本论坛发表与中华人民共和国法律相抵触的言论,本站内容均为会员发表,并不代表精易立场!
揭阳精易科技有限公司申明:我公司所有的培训课程版权归精易所有,任何人以任何方式翻录、盗版、破解本站培训课程,我们必将通过法律途径解决!
公司简介:揭阳市揭东区精易科技有限公司致力于易语言教学培训/易语言学习交流社区的建设与软件开发,多年来为中小企业编写过许许多多各式软件,并把多年积累的开发经验逐步录制成视频课程供学员学习,让学员全面系统化学习易语言编程,少走弯路,减少对相关技术的研究与摸索时间,从而加快了学习进度!
防范网络诈骗,远离网络犯罪 违法和不良信息举报电话0663-3422125,QQ: 800073686,邮箱:800073686@b.qq.com
Powered by Discuz! X3.2 揭阳市揭东区精易科技有限公司 ( 粤ICP备12094385号-1) 粤公网安备 44522102000125

快速回复 返回顶部 返回列表