精易论坛

 找回密码
 注册

QQ登录

只需一步,快速开始

用微信号发送消息登录论坛

新人指南 邀请好友注册 - 论坛浏览速度太慢? 教你赚取精币 - 每日签到

谋生 求职/招聘- 论坛接单- 资源出售

论坛版规 总版规 - 建议/投诉 - 应聘版主 - 精华帖总集 积分说明 - 禁言标准 - 有奖举报

搜索
订阅<精易模块>源码2018年好项目,每月多挣好多钱大型收粉卖粉交流群 798257678收抖音火山王者引流:1513888885寻求有项目的大神合作██打码兔秒杀一切验证码██
若快打码 快速★准确★稳定★便宜2018年好项目,每月多挣好多钱大型收粉卖粉交流群 798257678收抖音火山王者引流:1513888885寻求有项目的大神合作█打码兔答题 速度快 极稳定█
若快打码 快速★准确★稳定★便宜全国PPTP秒换IP 动态IP仅35元/月无限收高质量活粉/精准粉★滴滴答题★8元万码★分成任加★寻求有项目的大神合作火眼答题-韩文日文-高质量答题
┏█收购一切流量Q:503830000█┓云速打码全天50%分成★稳定★快速无限收高质量活粉/精准粉▇QQ新科技软件▇随时更新▇寻求有项目的大神合作Thewolf语音验证码接收平台可API
大量收微信粉扫码进群Q1737956887诺宾混拨动态vps/PPTP多地区换IP无限收高质量活粉/精准粉█IP精灵█最强大的动态IP加速器寻求有项目的大神合作┏ °短信qun发内容成功率百分百°┓
┏无限收各种推广资源,一手流量┓┏ 12核24线程,模拟器24开 ┓无限收高质量活粉/精准粉集团重金收购微信各种引流方式寻求有项目的大神合作┃°短信qun发内容成功率百分百°┃
┃  收小视频引流,直播平台粉    ┃┃ 单进程单IP,最低15元一天 ┃无限收高质量活粉/精准粉集团重金收购微信各种引流方式寻求有项目的大神合作┃°手机短信qun发广告量找老板°┃
┃   收交友粉/网赚粉/精准粉   ┃┗新增E3/16G/750TI最低10元┛无限收高质量活粉/精准粉集团重金收购微信各种引流方式寻求有项目的大神合作┃°手机短信qun发广告量找老板°┃
┃收短信.邮件qun发通道/百度开户┃██实力寻各种短信qun发通道██无限收高质量活粉/精准粉集团重金收购微信各种引流方式寻求有项目的大神合作┃ °短信内容不限制实力接单中°┃
┗无限收-所有量,QQ群/微信推广┛██  0062、0085、106、 ██无限收高质量活粉/精准粉集团重金收购微信各种引流方式寻求有项目的大神合作┃ °短信内容不限制实力接单中°┃
┏公司实力收引流软件自己消化┓██    邮箱qun发    ██无限收高质量活粉/精准粉实力工作室:出高质量交友男粉寻求有项目的大神合作┃ °一手卡发机房100%不扣量° ┃
┃公司实力收引流软件自己消化┃██    QQ:9011168   ██无限收高质量活粉/精准粉出国内微信1-7年私人老号混合出寻求有项目的大神合作┃ °一手卡发机房100%不扣量° ┃
┃公司实力收引流软件自己消化┃██收各种软件qun发引流资源██无限收高质量活粉/精准粉高价收购任何微信QQ粉寻求有项目的大神合作┃低价出各类广告QQ:5968282┃
┃公司实力收引流软件自己消化┃┏国外财团诚邀引流技术大神合作┓无限收高质量活粉/精准粉高价收购任何微信QQ粉寻求有项目的大神合作┗低价出各类广告QQ:5968282┛
┃公司实力收引流软件自己消化┃┃ 长期大量收购 男粉女粉交友粉 ┃无限收高质量活粉/精准粉高价收购任何微信QQ粉寻求有项目的大神合作┃     寻求各种项目合作入股    ┃
┃公司实力收引流软件自己消化┃┃大量收购一切精准流与推广模式┃无限收高质量活粉/精准粉高价收购任何微信QQ粉寻求有项目的大神合作┃     寻求各种项目合作入股    ┃
┃公司实力收引流软件自己消化┃┃ 另招聘技术大牛享受入股分红 ┃无限收高质量活粉/精准粉高价收购任何微信QQ粉寻求有项目的大神合作┃     寻求各种项目合作入股    ┃
┃公司实力收引流软件自己消化┃┗--------实力收购一切活跃量-------┛无限收高质量活粉/精准粉高价收购网吧量QQ:36288寻求有项目的大神合作┃   收网赚粉/精准粉/兼职粉   ┃
┃公司实力收引流软件自己消化┃█收微信粉及各种资源█无限收高质量活粉/精准粉高价收购网吧量QQ:36288寻求有项目的大神合作┃   收网赚粉/精准粉/兼职粉   ┃
┃公司实力收引流软件自己消化┃█ 长期收引流技术 █无限收高质量活粉/精准粉█每天大量产国内安卓微信账号█寻求有项目的大神合作┃   收网赚粉/精准粉/兼职粉   ┃
┃公司实力收引流软件自己消化┃██ 当天处Q 三无Q 带售后 ██无限收高质量活粉/精准粉█接关注授权各种活动链接提取█寻求有项目的大神合作┃   收网赚粉/精准粉/兼职粉   ┃
┃公司实力收引流软件自己消化┃██ 当天处Q 三无Q 带售后 ██无限收高质量活粉/精准粉█大量出国内当天隔天安卓账号█寻求有项目的大神合作┃ 收快手火山抖音小视频引流 ┃
┃公司实力收引流软件自己消化┃██ 当天处Q 三无Q 带售后 ██无限收高质量活粉/精准粉
收男粉扫码微群QQ3863588
寻求有项目的大神合作┃ 收快手火山抖音小视频引流 ┃
┃公司实力收引流软件自己消化┃◤重要的事情说N遍,收微信代加◥无限收高质量活粉/精准粉
收网赚附近K歌 QQ3863588
寻求有项目的大神合作┃ 收快手火山抖音小视频引流 ┃
┗ 公司实力收引流软件自己消化┛
➊收微信代加微信代加八元起收█
无限收高质量活粉/精准粉██全网收微信代加骗子请靠边██寻求有项目的大神合作┃收购地区跳转量跳转量跳转量┃
出网赚粉-交友粉-宝妈粉+Q7688880
➋收微信代加微信代加量大可谈█
无限收高质量活粉/精准粉██ 高质量微信代加10元起收 ██寻求有项目的大神合作┃收购地区跳转量跳转量跳转量┃
出网赚粉-交友粉-宝妈粉+Q7688880
➌收购广东跳转量跳转量跳转量█
无限收高质量活粉/精准粉██ 高质量微信代加量大可谈 ██寻求有项目的大神合作┃收购地区跳转量跳转量跳转量┃
长期收购 跳转 加粉 微信 QQ量
◣长期收各种量联系3628000◢无限收高质量活粉/精准粉重金招聘SEO专员Q741188920寻求有项目的大神合作*全行业各渠道高返点开户运营合作*
QQ: 198819199
大量租售各种qq小号 2892721932无限收高质量活粉/精准粉长期出QQ群QQ号微信精准粉网挣粉寻求有项目的大神合作*大量出一切精准流资源与推广模式*
大量收微信男粉QQ 2820301656出粉.精准粉网赚粉交友粉无限收高质量活粉/精准粉诚聘█APP上架、引流、易语言大牛寻求有项目的大神合作* 实力各种项目意向高质量精准粉 *
----活手机QQ小号----大量收微信男粉QQ 1289624992无限收高质量活粉/精准粉出网赚粉+进群粉+精准粉+招中介寻求有项目的大神合作*男科、减肥、丰胸、祛斑、祛痘等*
出网赚粉,价低 量大 可论坛担保长期大量收购私人微信号 无限收高质量活粉/精准粉出男粉加Q群和出网赚跟各种精准粉寻求有项目的大神合作*自由选择合作方式+Q:422286342*
█收微信扫码或邀请进群质量粉█收网赚粉,各种引流软件Q972921418███引流神器,日引十万███长期出微信漂流瓶回复/Q334853531寻求有项目的大神合作大量出男粉,微盘粉Q2189460197
出微信粉网赚粉/QQ群量寻网吧端,下载站,各种端合作长期出售引流软件Q792466325出转发 加群 邀请 关注量QQ950092寻求有项目的大神合作高价收购网吧量QQ2059209021
大量收(带拉)qq群成员█拨号VPS服务器4元/天免费测试█锐眼云控免费招代理,大量收VX站街号出高质量金融粉加QQ:1610978925寻求有项目的大神合作一手号商 南唐QQ网
出活跃男粉-高转化精准高质量男精准引流量有限
大量收微信男粉QQ249813919
出微信qq交友粉网赚粉精准粉兼职 我要租广告位 
查看: 6937|回复: 29
收起左侧

[CC教程] 第二课,深度学习相关基本概念

[复制链接]
发表于 2017-6-20 16:10:29 | 显示全部楼层 |阅读模式
本帖最后由 宇智波·佐助 于 2017-6-21 09:10 编辑



视频地址:
https://share.weiyun.com/14885e04050da9f53f7670532acb782c

http://pan.baidu.com/s/1skDzV5N
http://cloud.video.taobao.com/play/u/144304055/p/1/e/6/t/1/50010974167.mp4

ppt地址:
http://www.zifuture.com/fs/10.tutorial/2.jibenjieshao.pptx
大纲总览
深度学习下的验证码识别教程 点我查看


1.深度学习

深度学习Deep Learning,简称DL,又称DNN,即深度神经网络Deep Natural Networks。
在此之前有BP神经网络,即Back Propgation,反向传播神经网络。
通常我们会认为,BP或者其他隐层少的网络属于浅层神经网络,而隐层很多的网络称之为DNN,这里的多是没有具体定义的,如图所示即是。

而DNN又是个比较宽泛的词,DNN里面又包括有CNN卷积神经网络、RNN循环神经网络、LSTM长短期记忆网络、GANs对抗网络等几大类型,本文我们默认DL指CNN即可,相关意义可以查询百度。

图片1.png      
浅层神经网络

图片2.png
深层神经网络


图片3.png
CNN


2.GPU
GPU:图形处理单元,即显卡。以前GPU多为了加速显示帧率等,最近被用在超级计算上,以支持大量密集运算的需求,比如DL的训练过程就是。而显卡又分为三类,即Intel出的集成显卡、AMD系列、NVIDIA系列,被简称集显、A卡、N卡对于DL的GPU支持,必须是N卡,而且还要能够支持CUDA,因为旧版的显卡是不能支持CUDA的,可以下载GPU-Z查看型号和支持情况

显存:显卡的内存,由于DL的计算同时也需要消耗很大的显存空间,所以这个指标也影响着DL的训练和使用。GPU-Z里面查看的Memory Size即是显存大小,而Sensors里面的GPU Load是显卡使用率

对于使用CPU训练,会特别慢,使用GPU训练一般会比CPU快10-30倍甚至更多,所以使用GPU训练是很必要的事情。但是目前很长时间内,GPU的训练一直都是困扰很多人的问题,因为坑太多了,这里我们就详细讲讲关于GPU的那点事~

CUDA:NVIDIA出的一个GPU加速开发工具包,用来做GPU加速开发的支持,CUDA有版本的区分,所以CC库的编译和使用也就依赖着编译时候的版本,目前CC库提供有CUDA8.0、CUDA7.5的编译版本,那么对于使用GPU的你而言必须下载安装对应的CUDA版本和对应的CC版本才行。记得安装完CUDA后,在环境变量里面加入CUDA的目录,否则会提示找不到dll。

CUDA下载地址:

CUDA是不支持Win32的,也就是说,CC框架也不能支持Win32下的GPU相关操作

3.Protocol buffer
称为protobuf,简称PB,是由google开发的一套数据交互的协议栈库,他是一个库,也提供一种协议语法,语法结构跟JSON很相似。你可以使用任何语言解析编码为protobuf格式的协议数据或者文件,我们后期训练使用的模型和网络定义,全部是以protobuf的格式存储的。

图片4.png
协议约定文件

图片5.png
协议数据文件

caffe主要采用google protobuf格式描述网络配置文件,定义DL的各个层参数、训练时候的超参数和二进制的模型权重,所以caffe的训练是不需要写任何代码来实现的,只有调用caffe模型实现任务的时候需要写代码,主要完成训练任务的是caffe.exe程序

相关资料:
http://blog.csdn.net/menuconfig/article/details/12837173

4.LMDB
lmdb是openLDAP项目开发的嵌入式(作为一个库嵌入到宿主程序)存储引擎。其主要特性有:
瓜拉呱啦~。。。,参考:http://www.jianshu.com/p/yzFf8j
在CC中,lmdb是为了加速训练的需要,所以把图片文件通过convert_imageset.exe程序存放到一个lmdb数据库中,然后caffe.exe则读取该lmdb的数据作为训练数据,lmdb一般是在一个文件夹里面,有data.mdb和lock.mdb,如下图:
图片6.png

5.数据集
这里我们指训练时候指定的数据集,有train数据集、val数据集、test数据集
通常我们会把train和val数据集制作为lmdb数据库,即:
图片7.png
而test数据集,我们只需要保持label-test.txt就好了

这三个数据集的意义是:
train:用来训练的数据集,推荐占全部样本比重95%
val:用来训练时候做验证的数据集,推荐占全部样本比重4%
test:用来自己写代码测试训练结果模型的数据集,推荐占比1%

这三个数据集是完全不重叠的,就是说,他们之间是没有重复的图片文件。

6.LOSS
损失、误差
神经网络的训练,是通过正向传播求loss,然后回传loss调整权重完成的。loss就是当前训练进展的主要指标,当loss足够小的时候,表示网络基本训练完成。至于多小,取决于当前任务,一般是0.01以下

7.学习率
lr
learningrate,学习率
神经网络的训练,是通过正向传播求loss,然后回传loss调整权重完成的。这时候调整权重是根据loss计算然后乘以学习率,就是最终的调整量,所以学习率是控制调整强度的值,也是学习力度的控制,一般我们会给0.01、0.001等值去训练。学习率控制不好,会导致训练过程失败(即loss不下降或者精度不能达标)
图片9.png

8.过拟合、欠拟合
图片10.jpg
欠拟合                      完美                        过拟合

欠拟合:学习的还不够,表达能力不够好
过拟合:学习过头了,等于把样本全背下来记下来了,而没有学习应该学的知识,对新样本而言,泛化能力不好。泛化能力即扩展能力,在新样本上表现的效果的能力
中间这个:就是我们想要的数据表达模型被正确学习到的时候,这时候模型泛化能力最好,效果最好

9.迭代
指数据传入网络后进行一次前向运算的过程,称为一次迭代

10.Batch
批次
训练时候,通常会一次一批样本去训练他,综合起来调整loss。这时候迭代一次是用了一批图片

11.数据集转换
图片11.png


12.训练
图片12.png

13.迁移学习
finetune
又叫模型微调,利用已经训练好的模型,初始化一个新的训练任务。就是说,新任务根据这个旧模型开始学习,这样的学习就有一个很好的起点,就会很快得到好的结果。比如我们会在大数据集上训练一个模型(ImageNet数据集),然后新的小任务数据集上识别的时候,基于该模型去训练,将会很容易得到好的效果。若不这么做,我们新的训练任务通常需要非常大量的样本才能得到好效果。所以这个技术非常有用和关键。称做微调,是因为做迁移学习的时候学习率会比从头训练的学习率要低,表示根据已有模型以低的学习率来微调模型权重,训练新的任务。形象的说,一个模型因为见过很复杂的数据,那么他能够通过微微的调整来适应小的新数据,而且做到很好的效果。

主要的就是--weights这个参数指定的模型

14.暂停恢复
resume
训练过程允许中断然后调整参数,然后使用保存的快照继续训练,就是所谓的resume
主要是--snapshot参数指定的solverstate快照实现继续训练

15.使用模型
图片13.png







点评

感谢分享,很给力!~  发表于 2017-6-21 13:26

评分

参与人数 6好评 +5 精币 +36 收起 理由
j7ok7f + 1 这么厉害!必须给个红包鼓励下~
luckfish45 + 1 + 2 很好很强悍,坚持下去哦~
小8style + 1 + 2 赶来支持小哥
冯古屋 + 1 + 1 除了点赞,啥都不会
Cand + 1 + 20 感谢分享,很给力!~
单身汪 + 1 + 10 终于等到你,我的第二课

查看全部评分

您可以选择打赏方式支持楼主

本帖被以下淘专辑推荐:

  • · 鱼木|主题: 684, 订阅: 53

签到天数: 21 天

结帖率:100% (2/2)
发表于 2018-4-15 02:09:07 | 显示全部楼层
新技能已get√
回复

使用道具 举报

签到天数: 15 天

结帖率:0% (0/1)
发表于 2018-2-20 23:09:59 | 显示全部楼层
太引人入胜。科普大大~!
回复

使用道具 举报

发表于 2018-1-31 11:53:00 | 显示全部楼层
        很好很强悍,坚持下去哦~
回复

使用道具 举报

结帖率:67% (2/3)
发表于 2017-11-10 19:21:18 | 显示全部楼层
支持原创  加油
回复

使用道具 举报

签到天数: 9 天

结帖率:67% (4/6)
发表于 2017-9-3 13:18:32 | 显示全部楼层
楼主真好!授人以渔
回复

使用道具 举报

 楼主| 发表于 2017-7-14 13:06:49 | 显示全部楼层
本帖最后由 hopef 于 2017-7-14 13:08 编辑
wangbinahaoai 发表于 2017-7-10 23:42
楼主声音沙哑,我看了第一节课 就没看了 连音乐在加上说话 闹着玩呢》接着没事又看了第二节课,说话声音基 ...

是的呀,就是闹着玩的呢,我高兴就好了
回复

使用道具 举报

签到天数: 20 天

发表于 2017-7-14 12:43:12 | 显示全部楼层
学习学习
回复

使用道具 举报

签到天数: 2 天

结帖率:57% (4/7)
发表于 2017-7-10 23:42:38 | 显示全部楼层
楼主声音沙哑,我看了第一节课 就没看了 连音乐在加上说话 闹着玩呢》接着没事又看了第二节课,说话声音基本听的太模糊 浪费时间

点评

是的呀,就是闹着玩的呢  详情 回复 发表于 2017-7-14 13:06
回复

使用道具 举报

结帖率:100% (1/1)
发表于 2017-7-9 23:26:30 | 显示全部楼层
谢谢谢谢,学习学习
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 注册

本版积分规则 致发广告者

快速回复 收藏帖子 返回列表 按钮

sitemap|易语言源码|易语言教程|易语言论坛|诚聘英才|易语言模块|手机版|联系我们|精易论坛
拒绝任何人以任何形式在本论坛发表与中华人民共和国法律相抵触的言论,本站内容均为会员发表,并不代表精易立场!
揭阳精易科技有限公司申明:我公司所有的培训课程版权归精易所有,任何人以任何方式翻录、盗版、破解本站培训课程,我们必将通过法律途径解决!
公司简介:揭阳市揭东区精易科技有限公司致力于易语言教学培训/易语言学习交流社区的建设与软件开发,多年来为中小企业编写过许许多多各式软件,并把多年积累的开发经验逐步录制成视频课程供学员学习,让学员全面系统化学习易语言编程,少走弯路,减少对相关技术的研究与摸索时间,从而加快了学习进度!
防范网络诈骗,远离网络犯罪 违法和不良信息举报电话0663-3422125,QQ: 800073686,邮箱:800073686@b.qq.com
Powered by Discuz! X3.2 揭阳市揭东区精易科技有限公司 ( 粤ICP备12094385号-1) 粤公网安备 44522102000125

快速回复 返回顶部 返回列表