一、LeNet

1. 1998年LeCun 推出了LeNet 网络，它是第一个广为流传的卷积神经网络。

   

2. LeNet 网络包含了卷积层、池化层、全连接层，这些都是现代CNN 网络的基本组件。

   • 输入层：二维图像，尺寸为32x32。

   • C1、C3、C5 层：二维卷积层。

     其中C5 将输入的 feature map（尺寸 16@5x5 ）转化为尺寸为120x1x1 的 feature map，然后转换为长度为120 的一维向量。

     这是一种常见的、将卷积层的输出转换为全连接层的输入的一种方法。

   • S2、S4 层：池化层。使用sigmoid 函数作为激活函数。

     后续的 CNN 都使用ReLU 作为激活函数。

   • F6 层：全连接层。

   • 输出层：由欧式径向基函数单元组成。

     后续的CNN 使用softmax 输出单元。

     下表中，@ 分隔了通道数量和feature map 的宽、高。

     网络层	核/池大小	核数量	步长	输入尺寸	输出尺寸
     INPUT	-	-	-	-	1@32x32
     C1	5x5	6	1	1@32x32	6@28x28
     S2	2x2	-	2	6@28x28	6@14x14
     C3	5x5	16	1	6@14x14	16@10x10
     S4	2x2	-	2	16@10x10	16@5x5
     C5	5x5	120	1	16@5x5	120@1x1
     F6	-	-	-	120	84
     OUTPUT	-	-	-	84	10