, E: C; X, O( d% q
大概建模一年多了吧，准备趁着这个暑假，把建模的东西整理一下，留个笔记和纪念，万一哪天不会了还能翻翻笔记。众所周知，建模这东西入门不难，网上各种教程一大把一大把，人家写的也很专业，我写的东西基本登不了大雅之堂，跟人家没法比就写点下里巴人的东西吧。 9 n5 @' ~1 H* t6 b* ~! Z: e. m) U8 F
1.1.概念引入2 Q7 D. t3 s( Q; [( Z
# Z, f" c5 l! k7 f9 M% a7 {) C 1.11.1 图像处理中的卷积运算。看个图生动形象的理解一下下： + B8 u/ i/ z% I" k0 P. b. h- c1 a* v! S% }, o
9 l5 |7 \! S# n, D+ g: Z6 B/ O' o5 F 在设置好矩阵之后，又该如何运算呢，来，看下面的动图。矩阵对应相乘相加得到卷积的结果。比如，对于左上角的元素4而言，它的运算方式就是：1×1+0×1+1×1+0×0+1×1+0×1+1×0+0×0+1×1=41×1+0×1+1×1+0×0+1×1+0×1+1×0+0×0+1×1=4 % u) i' N: Y6 f! |$ n . Q8 r7 k; i! @! r: e 1.21.2 填充padding。上面的操作看着貌似很好，但是有没有缺陷呢？当然有，第一个问题，5×55×5的矩阵和3×33×3的矩阵的卷积结果会得到3×33×3的输出矩阵，也就是原始图像在提取特征的过程中被缩小了，一直卷积的话图像会被一直缩小到一个像素，显然不是想要的结果；第二个问题，原始图像左上角的像素只参与一次运算，而他右边的像素参与了两次运算，是不是不公平？是的。那么如何解决这两个问题呢？ 7 r( C% O6 o( H2 L6 N! g- H0 p8 t/ ^' h& J8 [$ ~: W5 k
不失一般性，设原始图像为n×nn×n的矩阵，卷积核为f×ff×f的矩阵，那么输出结果就是(n−f+1)×(n−f+1)(n−f+1)×(n−f+1)的矩阵。言归正传，怎么解决上面的问题呢？答案是填充。在imange矩阵的周围在添加一层像素，使其变成(n+1)×(n+1)(n+1)×(n+1)的矩阵，而填充内容是随意的，如果添加pp层像素，原始图像就会变为(n+2p)×(n+2p)(n+2p)×(n+2p)的矩阵，为了使输出矩阵和原始矩阵的维度相同，就要满足下面的等式：* L9 c0 n1 ^) q. N: J
2 y, R' J* S) L# ]3 v( m
n+2p−f+1=n⇒p=(f−1)/2; c, z4 Q! N# a7 p6 a/ B+ I
n+2p−f+1=n⇒p=(f−1)/2 : J. C3 _: R# \* H# O5 ]) r" M 1.31.3 卷积步长stride。上面的例子中，卷积的移动步长是1，当移动步长s=2s=2的时候呢，7×77×7和3×33×3的矩阵卷积输出的结果是3×33×3的矩阵(自己脑补，就不画图了)，于是又得到一个规律，卷积输出结果的维度是(n+2p−fs+1)×(n+2p−fs+1)(n+2p−fs+1)×(n+2p−fs+1)。 ' Q2 o; _+ ]0 N, r: d $ O2 W7 {7 t$ m! F! I 1.41.4 卷积步长stride。上面的例子中，卷积的移动步长是1，当移动步长s=2s=2的时候呢，7×77×7和3×33×3的矩阵卷积输出的结果是3×33×3的矩阵(自己脑补，就不画图了)，于是又得到一个规律，卷积输出结果的维度是(n+2p−fs+1)×(n+2p−fs+1)(n+2p−fs+1)×(n+2p−fs+1)。9 s: b& k. H" N! k+ \+ S
( H$ ?# ?" u: j4 F9 Z- R D2.2.立体卷积与多特征输出- Z0 ^/ Z1 B5 \2 U& ?4 N5 e
: p* _: Y% U/ P1 s' I; v# f 2.12.1 立体卷积。其实感觉立体卷积这个名字不好，确切的说应该是RGB图像的卷积，容我解释一下应该就能理解的更加透彻了。众所周知，RGB图像有三个通道，也就是意味着RGB图像是n×n×3n×n×3的矩阵，那么怎么对这个立方体进行卷积呢？' N- K& R6 ~( ]" d1 L" Q
9 Q7 j% I7 y7 ~+ A9 A; c # H/ j" F! W5 f, i# C' V+ o( W0 _2 `7 O
看上图，左边是RGB三色通道下的图5×5×35×5×3，黄色的是卷积核3×3×33×3×3，当卷积步长s=1s=1时，最右边是输出图像4×4×14×4×1，具体是怎么运算的呢，同二维卷积，卷积核与原图像相乘相加，第一层卷积核和R做二维卷积，第二层卷积核和G做二维卷积，第三层卷积核和B做卷积，(卷积层数和输入的层数保持一致)将三者的结果相加求和，得到输出的第一个元素，以此类推，得到输出矩阵。 % Z+ z' s4 e& W9 P& b) z, _9 ?9 |
2.22.2 多特征输出。先乱入一个重点，关于卷积核提取水平特征，竖直特征等特征的方法，可以先看看我的这个博客，介绍的比较简单。卷积核。在了解了如何提取想要的特诊之后，那么如何同时输出这些特征呢？看下图。通过设置多个卷积核来提取不同的特征，每增加一个卷积核，输出图像的维度就会加一，比如，有xx个卷积核，输出的图像就是n×n×xn×n×x的矩阵。 9 x+ P n& H( q. `6 U! M " P( N2 K6 f5 k$ c/ p8 G9 j7 z% ]' O, P: X, g! _
. R$ ^3 S8 F* F+ L+ f
3.3.单层卷积网络9 L8 N+ i: r# ]$ K
( H' H0 m# n8 [& z! [
3.13.1 激活函数与偏向。偏向可能翻译的不好，他的英文表达是bias，可能看了英文就理解的更生动吧。用最简单的形式介绍下激活函数和偏向。假设有一个输入xx，x+bx+b即为所求的输入加偏向，bb是随机常数。然后对x+bx+b进行激活，激活函数有很多种，举一个例子说明，看下图sigmoid的函数，(就是高中生物的那个S型增长曲线)。当输入的x+bx+b在[−∞,0][−∞,0]内，得到的yy在[−1,0][−1,0]之间；当输入的x+bx+b在[0,+∞][0,+∞]之间时，得到的yy在[0,1][0,1]之间，因此激活函数可以理解为一种映射关系，将输入的xx映射为yy。 / w4 w& P' Z- ], I$ l7 N5 @ # }$ `# H% e" t# C1 d' I& [" k2 Z3 O& T+ E' e, S! `
3.23.2 偏向、激活函数在卷积中的应用。 ( \/ d, ^6 p0 O3 l# U& F. a* Q$ V
: y4 {( H. O g, P 如上图所示，承接上文，在得到卷积的输出之后，对输出的每一个像素做偏向、激活的操作，得到新的输出结果。 - k) Z) i3 _" W; d $ t. v1 l, [3 e. @ 3.33.3 第一个卷积神经网络。接着看上面那个图，一次卷积之后会得到三个4×44×4的输出矩阵，将输出矩阵的元素排列成一个48×148×1的向量，在导入lofistic、softmax中去判断，你输入的图片是一只猫还是一只狗。当然还可以有多个卷积层，除了卷积层(conv)之外还可以有池化层(pool)和全连接层(FC)，接下来介绍池化层和全连接层。" d. n/ E6 D+ i1 m/ r2 G6 G
4 O( Z1 z+ J: r2 b3 s8 z4 a
4.4. 池化层 W. K% @. y- g2 r3 v- D , X5 f" Z; ], k; _5 r: j0 L 4.14.1 最大池化。(用的比较广泛)。可以理解为取出特征值最大的做为输出或者取其平均值作为输出。 6 e" ]1 b+ L" J0 t2 D' p
0 } C1 J0 P6 E: s! Z 4.24.2 平均池化 6 e p+ L5 y/ `% k- F7 r$ b! A5 T& g# x+ ?( R3 ]( S3 m
5.5. 含有常见模块的最简单的卷积神经网络$ N* H- ^/ D2 Q5 {! D7 s
$ ?# }1 e/ E* N |9 [* b
$ ?$ Q3 ^2 O* b; e7 S' o6 ~1 r0 ]3 m5 _) @, s2 `* J
结构很简单，首先是32×32×332×32×3的图像输入，第一层的内容是卷积，池化；第二层的内容是卷积，池化，第三层是全连接，全连接的形式和普通的神经网络一样，嗯，起码得有一丢丢神经网络的基础。然后得到最终的输出。 - B. P7 O0 E" Q1 N9 {5 c- m# l. o( K: I/ T% K \! p* _
6.6.python实践2 W4 U! I& R- B. o+ g. o ?
) j4 m1 B% }! p7 }
k+ A7 f6 X: n& P" Z$ _