卷积神经网络CNN

1. 简介

历史:

=> LeNet(1998) => DeepLearing概念提出(2006) => AlexNet(2012-8层) 第一个使用价值 => VGG(2014-19层) => GoogleNet(2014-22层) => ResNet(2015-1000+层)

应用场景:

  • 分类

  • 定位识别

    车辆类型

    人脸识别 => Deepface

  • 姿态估计

    image-20220804173523269
  • AI游戏

    强化学习的方式

    王者荣耀

  • OCR

    图片中文字的识别

  • 总结:

示例:

image-20220804174324552

2. Bath Normalization

数据经过标准化后,使得数据过于集中,丧失了激活函数的意义;

Bath Normalization就是将标准化后的数据再进行一个线性变换,使得数据区分开

image-20220805163730307

3. 核卷积

小卷积核做若干次来做特征提取。常用:3*3

卷积核中的值是迭代中学习到的。

  1. 原始图像MN,卷积核3 * 3,正常卷积结构是 (M-2)(N-2),但一般会对原图像padding2层,使卷积结果图像也是M * N
  2. 另外,一般情况下步长是1,也可以步长是2,结果会缩小

4. 激活函数

ReLU与Softplus挺接近,ReLu在卷积神经网络中应用最广

sigmoid: h(z) = 1/(1+e^(-z)),在卷积中用的比较少

softPlus: ln(1+ e^x)

激活函数借鉴神经元的特性,神经元只有才刺激达到一定程度时才会进行反应。

它常常跟在卷积之后,过滤掉无效(如ReLU所有负值变为0)的刺激。

5. Pooling(池化)

池化有2个用处:1. 锁小图像;2. 提取关注点。

缩小图像会降低输出规模,增加可解释性,同时光滑数据,避免丢失过多信息。

提取关注点:根据池化核不同,提取不同的关注点,如MaxPooling、Min、Mean、Random。

image-20220805161944252

第11节1:41:00代码

卷积与Pooling的关系,Pooling相当于滤波,Pooling之后再卷积,相对于对原图做2倍尺度的卷积。

6. 全连接

全连接其实就是感知机,线性模型:Y = WX + b

全连接与前边的卷积不同,它是将所有局部特征最后综合起来,去进行判断

image-20220804174615309

本质上就是一个线性变换,最后得到结果

Softmax:指数归一化

一般是卷积神经网络的最后一层

7. 防止过拟合手段:Dropout

这里主要是防止过拟合的手段

  1. 在原损失函数中增加 L1/L2 norm

    通过惩罚参数,防止过拟合

  2. 在训练过程汇总,对样本或权重增加噪声

  3. Dropout,训练过程中保持部分网络的连接,扔掉部分的权重

    dropout之后,参数减少,效果还变好了

    dropout有点意思,全面考虑的效果小于局部考虑的效果。

8. 总结

卷积神经网络一般架构

image-20220805163942149

参考

9. 交叉熵损失

image-20220807092059498

评论

Your browser is out-of-date!

Update your browser to view this website correctly. Update my browser now

×