几种卷积神经网络

1. LeNet

  • 采用5*5的卷积核,没有使用padding

  • Subsampling采样等价于pooling

  • 如何看待第2次卷积?

    得到1张图,需要6组5*5的卷积核;选在16租主要的数据,形成16个通道的输出。

    每一张输出,都是前边6组的卷积聚合

    5 * 5 * 6 * 16 = 2400个参数

    注: 3维的卷积

  • 全连接,先把图变成向量,然后再进行全连接,知道最后output,output是分类的个数。

2. AlexNet(2012)

第一个实用化的模型。

AlexNet结构

  • 输入图像224*224

  • 第一层卷积核 11 * 11,每次滑动4个,结果就是224/4 - 1 左右的大小

    第一层从原来深度是3,变为48;3通道应用了16个卷积核

    11 * 11 * 3 * 48 = 17424

  • 第一层pooling使用了5 * 5的卷积核,pooling的同时,通道也增加到了128

    5 * 5 * 48 * 128

  • 第二层pooling采用3 × 3 的卷积核

  • 全连接参数

    13 * 13 * 128 * 4096 = 8860 4672

卷积与全连接算层数,pooling与softmax不算层数。softmax是指数归一化过程。

这样AlexNet看做5层的深度模型。

3. VGGNet(2014)

2014

VGGNet16的模型如下:

采用的卷积核都是3*3的

全连接层的参数:7 * 7 * 512 * 4096 = 1 0276 0448 = 100M的参数

全连接是系数直接相乘的。

为了减少全连接的系数,在最后采用 1 * 1 * 系数 来降低通道数

比如最后在经过 1 * 1 * 64 的pooling(瓶颈 bottleNeck),最后结果是 7 * 7 * 64 * 4096 = 12.8M

卷积神经网络既费CPU又费内存

4. GoogLeNet(2014)

Inception结构:Network within a Network,同时做 3 * 3 与 5 * 5卷积

image-20220806110126721

  1. 同时做1 *1 、3 * 3、5 * 5卷积,以及3 * 3的max pooling,并使它们输出相同。
  2. 1 × 1的卷积,降低通道数,bottleNeck,从而减少参数

这些网路为什么是这样?有数据依据,还是仅仅是偶然得到

image-20220806110938948

GoogleNet结构如下:

image-20220806110808879

理论上层数越深,卷积能表达的越好。

一层的神经网络等价于线程变换,多层相当于多项式,从这个角度,神经网络有点像泰勒展开。

更深的卷积层会发现什么?在实践中,深的卷积层反而会变差,可能由于更深的模型更难优化,相同迭代次数下,误差而大的缘故。

5. ResNet(2015)

残差网络

image-20220806111834300

用 前边的网络 y = W*X ,相当于 y = F(x)

这里 增加x回路,使得 y = F(x) + x , 即:F(x) = y - x,神经网络学习的是差值。

使用BottleNeck

image-20220806112448904

6. 对比

ResNet还是不错的

  • 深度
  • 宽度
  • 残差
  • 并行

7. 发展

NiN: Network in Network(2014)

Mlpconv层在每个卷积层中使用一个micronetwork计算更加抽象的局部特征。

做法是在卷积中添加全连接

image-20220806113230653

GoogleNet借鉴了这种思路

WideResNet(2016)

使用更宽的宽度,而不是更深的深度

使用F * k个卷积核,而非F个。

image-20220806113745305

ResNetXt(2016)

结构NiN与残差概念的神经网络

image-20220806113939901

FractalNet(2017)

既深且浅的网络,ResNet的发展

image-20220806114505484

DenseNet(2017)

ResNet的发展

并非每层至于相邻层连接

  • 减轻梯度小时
  • 加强特征传递
  • 鼓励特征复用

image-20220806114749464

线性 与 创新

UNet

反卷积

y = Ax => B = (A'A)*(-A') x = B *y

image-20220807090833283

上采样

左侧是从图像到特征,右侧是从特征到图像

8. 结合

支持向量网SVN

image-20220807092535845

  • 决策函数被描述为两层的神经网络
  • 都是系数模型,部分连接

CNN For NLP

image-20220807092834808

如,正向或负向;

想一个办法,将数据变成矩阵或图像的形式,就可以使用CNN

问答

  • 样本数据不多,如何使用卷积网络

    加入更多先验知识

  • 对比卷积网络、SVM、随机森林

  • 如果将网络的某个层次增强,将得到什么

感想

  1. 卷积网络很像泰勒基数,深度等价于多项式的次幂,越深表征能力越强,但越容易算不出

  2. 卷积网路是在空域上对数据提取特征,数据在相邻数据点之间存在相关性,与特征越接近越容易选中

    这种特性的使用领域;

image-20220807093316954

评论

Your browser is out-of-date!

Update your browser to view this website correctly. Update my browser now

×