网易云课堂卷积神经网络第一周

た入场券 2023-06-15 07:14 11阅读 0赞

--------------------

# **[人工智能 个人学习笔记（不定时更新）][Link 1]**  #

--------------------

# **卷积神经网络 ** #

1.计算机视觉
    	1.例子1：给出一张64x64图片，让计算机去分辨这是一只猫
    	2.例子2：目标检测。比如在一个无人驾驶项目中，不一定非得识别出图片中的物体是车辆，但只需要计算出其他车辆的位置，以确保能够避开他们，
    		所以在目标检测项目中，首先需要计算出图中有哪些物体，比如汽车还有图中的其他东西，再将它们模拟成一个个盒子，
    		或者用一些其他的技术识别出它们在图片中的位置。注意在这个例子中同时存在多台车辆，每辆车相对与你来说都有一个确切的距离。
    	3.例子3：神经网络实现的图片风格迁移。比如说你有一张图片，但你想将这张图片转换成另外一种风格，所以叫做图片风格迁移，就是你有一张满意的图片和一张风格图片。
    		比如左边是人像，右边这幅图是毕加索的画作，然后利用神经网络将两张图片融合到一起，描绘出一张全新的图片。合成的新图片的整体轮廓来自于左图人像，
    		但风格却是右图风格，创造出了新的艺术风格。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70][]

4.在应用计算机视觉时要面临一个挑战，就是数据的输入可能会非常大。一般操作的都是64x64小图，实际上它的数据量是64x64x3，因为每张图片都有3个RGB颜色通道。
    	  比如得知数据量是12288，所以特征向量X的维度是12288，因为64x64真的是很小的一张图片所以这还好，但是如果要操作更大的图片，比如1000x1000的图片，
    	  它足足有1M那么大，但是特征向量X的维度就达到了1000x1000x3，因为有3个RGB颜色通道，所以数字会是三百万。
    	  如果要输入三百万的数据量，这就意味着特征向量X的维度高达三百万，所以在第一个隐藏层中你也许会有1000个隐藏单元，而所有的权值组成了矩阵W^[1]，
    	  如果你使用了标准的全连接网络，这个矩阵W^[1]的大小将会是1000乘以三百万即30亿，因为现在特征向量X的维度是三百万，这便意味着矩阵W^[1]会有30亿个参数，
    	  这是一个非常巨大的数字，在参数如此大量的情况下难以获取足够的数据来防止神经网络发生过拟合和竞争需求，要处理包含30亿个参数的神经网络，
    	  巨大的内存需求让人不太能接受。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70 1][]

--------------------

2.边缘检测示例
    	1.卷积运算是卷积神经网络的最基本的组成部分。下面使用边缘检测作为入门案例。神经网络的前几层是如何检测边缘的，然后有些后面的层可能检测到物体的部分，
    	  更靠后面的一些的层可能检测到完整的物体。
    	2.下面的例子中就是人脸，探讨如何在一张图片中检测边缘，如图1 让电脑去搞清楚这张图片中有什么物体，
    	  此时可能做的一件事是 如图2 进行检测图片中的垂直边缘，比方说在这张图片中的栏杆就对应垂直线，与此同时，这些行人的轮廓线某种程度上也是垂直线，
    	  这些线都是垂直边缘检测器的输出，如图2。
    	3.如图3 检测水平边缘，比方说这些栏杆就是水平线，他们便被检测到，结果便在图3。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70 2][]

4.而要如何在图像中检测到这些边缘，看下面的例子，这是一个6x6的灰度图像，因为这是一个灰度图像，所以这还是一个6x6x1的矩阵，而不是6x6x3的矩阵，
    	  因为灰度图像并没有RGB三通道。而为了检测图像中的垂直边缘，首先构造一个3x3的矩阵，这个3x3矩阵被称为过滤器/滤波器，在论文中有时他会被称为核，
    	  而不是被称为过滤器/滤波器。这个3x3矩阵负责进行对这个6x6的灰度图像进行卷积运算，如下图中使用“*”号表示，在数学中“*”号就是卷积的标准标志，
    	  但在python中这个“*”号还常常被用来表示乘法或者元素乘法，所以这个“*”号有多层含义，他是一个重载符号。
    	  这个构造出来的3x3矩阵(滤波器)是按照如下图中排列的，第一列为1、1、1，第二列为0、0、0，第三列为-1、-1、-1。
    	  如图中 6x6矩阵与3x3矩阵(滤波器)进行卷积运算并输出一个4x4矩阵表示为：6x6矩阵 * 3x3矩阵(滤波器) = 4x4矩阵。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70 3][]

5.是如何通过 6x6矩阵与3x3矩阵(滤波器)进行卷积运算并输出一个4x4矩阵 的呢，流程图如下图。
    		1.要计算得出结果4x4矩阵中的第一个元素：
    			首先把3x3矩阵(滤波器)覆盖到6x6矩阵中最左上角的3x3区域上，如下图所示，
    			然后3x3覆盖区域上的两个矩阵之间进行元素的乘法运算，然后把每个相乘的积进行相加求和。
    			比如第一列到第三列分别是 3*1+1*1+2*1+0*0+5*0+7*0+1*(-1)+8*(-1)+2*(-1) = -5。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70 4][]

2.要计算得出结果4x4矩阵中的第二个元素
    			首先把3x3矩阵(滤波器)覆盖到6x6矩阵中第一行第二列开始的3x3区域上，如下图所示，
    			然后3x3覆盖区域上的两个矩阵之间进行元素的乘法运算，然后把每个相乘的积进行相加求和。
    			比如第一列到第三列分别是 0*1+5*1+7*1+1*0+8*0+2*0+2*(-1)+9*(-1)+5*(-1) = -4

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70 5][]

3.要计算得出结果4x4矩阵中的后面每个元素，按照以上规则计算以此类推

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70 6][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70 7][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70 8][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70 9][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70 10][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70 11][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70 12][]

6.通过下图例子中通过讲解明亮像素、灰色像素、黑色像素之间是如何切割的，便知道为什么滤波器可以做垂直边缘检测。
    		1.左图：为一个6x6图像，而6x6图像中的左边一半的像素值是10，右边一半的像素值是0，那么便可以把6x6图像分开两边看，
    		        6x6图像可以可视化成 左边像素值为10的代表明亮像素，右边像素值为0的代表比较暗的灰色像素，那么6x6图像便有了一个明显的垂直边缘，
    		        这条垂直线便是从明亮像素到灰像素的过渡线。
    		2.中图：为一个3x3矩阵滤波器。3x3矩阵滤波器可以可视化成 第一列像素值为1的代表明亮像素，第二列像素值为0的代表灰色像素，
    		        第三列像素值为-1的代表黑色像素。
    		3.右图：为一个4x4图像，第一列和第四列像素值为0的代表灰色像素，第二列和第三列像素值为30的代表明亮像素。
    		4.在这个例子中，很好地检测出输出图像中的垂直边缘，第二列和第三列为明亮像素表示有一个特别明显的垂直边缘，卷积运算方便发现图像中的垂直边缘。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70 13][]

--------------------

3.更多边缘检测内容
    	下面例子中探讨如何区分正边和负边，实际就是由亮到暗与由暗到亮的区别，也就是边缘的过渡。
    	1.图1 展示的是一个6x6图像，其左边较亮而右边较暗，表明这是由亮到暗的过渡，将他与垂直边缘检测滤波器进行卷积，垂直边缘检测输出的图像如图1中的右图所示。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70 14][]

2.图2 展示的是一个6x6图像，其左边较暗而右边较亮，表明这是由暗到亮的过渡，然后与垂直边缘检测滤波器进行卷积，最后得出的垂直边缘检测输出的图像如图2中的右图所示，
    	  输出图像的第一列和第四列均为灰色像素，第二列和第三列均为黑色像素。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70 15][]

3.下图图3中的左边的3x3垂直边缘检测滤波器可以检测出垂直的边缘，他的第一列的元素值均为1，代表明亮像素则相对较亮，而第三列的元素值均为-1，代表黑暗像素则相对较暗。
    	  下图图3中的右边的3x3水平边缘检测滤波器可以检测出水平的边缘，他的第一行的元素值均为1，代表明亮像素则相对较亮，而第三行的元素值均为-1，代表黑暗像素则相对较暗。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70 16][]

4.下图图4中使用一个3x3的水平边缘检测滤波器对一个6x6的图像进行卷积运算，该6x6的图像的左上方和右下方的3x3区域的像素为明亮像素，
    	   卷积运算后输出的4x4图像中，其第二行和第三行分别从左到右的图像显示是从明亮到黑暗的过渡，元素值从大到小的过渡。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70 17][]

5.不管是水平边缘检测滤波器还是垂直边缘检测滤波器，其元素值的排列有多种数字的组合
    		1.比如有叫做Sobel滤波器的数字排列组合。下图中便展示的是一个Sobel的垂直边缘检测滤波器，其数字排列为第一列1、2、1，第二列0、0、0，第三列-1、-2、-1，
    		  他的优点就是在第一列第二行和第三列第二行的元素值上增加了权重，也就是说位于图像中央的像素点总体上增加了权重，这会使得结果的鲁棒性会更高一些。
    	  	2.比如有叫做Scharr滤波器的数字排列组合。下图中便展示了一个Scharr的垂直边缘检测滤波器，其数字排列为第一列3、10、3，第二列0、0、0，第三列-3、-10、-3，
    		  它有着和其他垂直边缘检测滤波器完全不同的特性。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70 18][]

6.下图中所讲解的3x3滤波器中，可以把矩阵中的9个数字当成9个参数，并且在之后可以使用反向传播算法，其目标就是去理解这9个参数。
    	   在后面的知识讲解中将会介绍把这9个数字当成参数的滤波器，通过反向传播可以学习到Sobel垂直/水平边缘检测滤波器、Scharr垂直/水平边缘检测滤波器等多种滤波器。
    	   还有一种特别的滤波器对于数据的捕捉能力甚至可以胜过任何之前这些手写的滤波器，相比单纯的垂直/水平边缘检测滤波器，他可以检测出比如45度、70度、73度等
    	   任何角度的边缘。所以将矩阵中的所有数字都设置成参数，然后通过数据反馈让神经网络自动去学习他们。我们会发现神经网络可以学习一些低级的特征。
    	   其中所应用的反向传播算法能够让神经网络学习任何它所需的3x3滤波器，它可以通过卷积检测出任何特征，不管是垂直/水平边缘还是任何角度的边缘。
    	   后面的知识讲解将还会介绍到如何使用反向传播算法来让神经网络学习这9个参数的3x3滤波器。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70 19][]

--------------------

4.Padding（填充）
    	一个基本的卷积操作就是Padding（填充）。
    	1.下面图中例子介绍一个3x3矩阵滤波器卷积一个6x6矩阵图像输出一个4x4矩阵图像，那么在6x6矩阵图像中只可能有4x4种可能的位置。
    	  比如说有一个nxn矩阵的输入图像，用一个fxf矩阵的过滤器做卷积，那么输出图像的矩阵维度便为（n-f+1）x（n-f+1）。
    	  因此根据（n-f+1）x（n-f+1）的规则便得下面图中的输出图像的矩阵维度便为4x4。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70 20][]

2.但上述的这种方式的话会有两个缺点：
    		1.第一个缺点：
    			每次做完卷积操作后，其输入图像都会缩小后再输出成输出图像，如该例子中从6x6的输入图像缩小后再输出成4x4矩阵图像，
    		  	那么经过多次卷积后输出的图像将会变得很小，可能会缩小到只有1x1的大小，可不想让图像在每次识别边缘或识别其他特征后都缩小。
    	  	2.第二个缺点：
    			输入图像中角落边的最外一层的像素(比如第一行第一列的像素点)，这种角落边的像素点在做卷积时，只会被滤波器覆盖一次，即只会被使用计算一次，
    			而非角落边的最外一层的像素点都可以被滤波器覆盖2次或2次以上，也即这种像素点可以卷积计算2次或2次以上。
    			比如输入图像中间的像素点甚至可以被覆盖很多次，也即这种像素点可以卷积计算很多次。
    			那么导致在角落边缘的最外几层的像素点在输出中都采用较少，而越往图像靠内的像素点则可以被采用较多，意味着会丢掉图像边缘位置的许多信息。
    		3.综上所述的两个缺点，一是输出缩小，每进行一步卷积后图像都会缩小，比如有100层深层的网络，如果图像每经过一层都输出缩小的话，
    		  那么经过100层网络之后，将会得到一个很小的图像。二是图像边缘的大部分信息都丢失了。
    
    	3.为了解决上述两个缺点，方式是在做卷积操作之前，在输入图像的最外层四周向外再填充多几层像素点。
    	  	1.比如在6x6的输入图像最外层四周向外再拓展填充多一层像素点，那么6x6的原始图像填充成8x8的输入图像，然后再用3x3滤波器对这个8x8输入图像进行卷积操作，
    	  	  那么得出的输出图像便不再是4x4的，根据（n-f+1）x（n-f+1）的规则得出的而是一个6x6的输出图像，那么便得到一个“和输入原始图像相同尺寸”的输出图像。
    	  	2.一般习惯上，使用0来作为填充层的像素值。
     		3.比如用符号p 代表填充的层数的话，那么此处例子中四周填充了一层像素点，即p=1，那么填充后的图像输出公式即是（n+2p-f+1）x（n+2p-f+1），
    		  2p代表的是行数和列数实际分别都要增加2p的数量，比如四周增加填充一层像素点，那么行数和列数实际分别都要增加2。
    		  所以变成了输出图像的维度为（6+2*1-3+1）x（6+2*1-3+1），最终得出6x6的输出图像。
    		4.通过上述填充的方式这样一来，那么输入图像角落边缘信息发挥作用较小的这一个缺点就被削弱了。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70 21][]

4.至于选择四周填充多少层像素，通常有两个选择，分别叫做Valid卷积和Same卷积。
    		1.Valid卷积：表示不填充，那么代表nxn输入图像和fxf滤波器做卷积后的输出图像的矩阵维度便为（n-f+1）x（n-f+1）。
    			    比如6x6的输入图像和3x3的滤波器做卷积后的输出图像的矩阵维度便为4x4。
    		2.Same卷积：表示填充，那么代表输入图像填充一定层数之后再和滤波器做卷积，最终得出的输出图像和原始输入图像的维度大小是一样的。
    			   那么代表nxn原始输入图像四周向外填充p层像素点之后，再和fxf滤波器做卷积后的图像输出公式便是（n+2p-f+1）x（n+2p-f+1）。
    			   要求输出图像的维度n+2p-f+1 和 原始输入图像的维度n 相同的话，便可以得出 n+2p-f+1 = n 这个等式用以求解p值。
    			   公式分解过程：n+2p-f+1=n => 2p-f+1=0 => p=(f-1)/2。
    			   所以当滤波器的维度f是一个奇数的时候，根据p=(f-1)/2便得知要填充的层数p是多少，那么便可以得到“和原始输入图像的维度大小”相同的输出图像。
    			   比如3x3的滤波器，那么需要给输入图像的四周填充的层数p为(3-1)/2=1，又比如5x5的滤波器，那么需要给输入图像的四周填充的层数p为(5-1)/2=2。
    		3.习惯上滤波器fxf中的维度f通常都是奇数，很少看到一个维度f为偶数的滤波器，在计算机视觉里这样使用的原因一般认为有两个。
    			也许下面的理由都不是“滤波器维度f通常都是奇数的”充分理由，但是一般的卷积论文中经常会看到3x3、5x5、7x7等奇数的滤波器。
    			后面的知识讲解中也会涉及到1x1的滤波器以及什么时候它是有意义的，但是习惯上一般只推荐使用奇数维度的滤波器。
    			也许使用偶数维度的滤波器可能会得到不错的表现，如果遵循计算机视觉的惯例，通常使用奇数值维度的滤波器
    
    			1.第一个原因：
    				如果滤波器的维度f为偶数的话，那么便只能使用一些不对称填充。只有滤波器的维度f为奇数时，Same卷积才会有自然的填充，
    			  	才可以以同样数量填充原始输入图像的四周，而不是左边填充多点右边填充少点的这样不对称的填充。
    			2.第二个原因：
    				当有一个奇数维度的滤波器时，比如3x3或5x5的奇数维度的滤波器才有一个中心像素点。有时在计算机视觉里，
    				如果有一个中心像素点会更方便，便于指出滤波器的位置。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70 22][]

--------------------

5.卷积步长
    	卷积中的步幅是构建卷积神经网络的基本操作
    	1.之前的例子中都默认使用步长为1来进行讲解，那么表示3x3滤波器在输入图像上进行卷积后，3x3滤波器向左移动到下一列，向下移动到下一行。
    	  比如3x3滤波器覆盖在输入图像上的1到3列，卷积后然后向左移动到下一列，即移动到输入图像上的2到4列。
    	  比如3x3滤波器覆盖在输入图像上的1到3行，卷积后然后向下移动到下一行，即移动到输入图像上的2到4行。
    	2.下面图中例子使用3x3滤波器卷积7x7输入图像，同时把步长设置为2，那么表示3x3滤波器在输入图像上进行卷积后，3x3滤波器向左移动到下两列，向下移动到下两行。
    	  比如3x3滤波器覆盖在输入图像上的1到3列，卷积后然后向左移动到下两列，即移动到输入图像上的3到5列。
    	  比如3x3滤波器覆盖在输入图像上的1到3行，卷积后然后向下移动到下两行，即移动到输入图像上的3到5行。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70 23][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70 24][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70 25][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70 26][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70 27][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70 28][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70 29][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70 30][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70 31][]

3.一个nxn输入图像卷积一个fxf滤波器，padding(填充)为p，步长为s，输出图像的维度为 (n+2p-f)/s+1 X (n+2p-f)/s+1。
    	  在上述例子中，7x7输入图像卷积3x3滤波器，padding(填充p)为0，步长s为2，输出图像的维度(n+2p-f)/s+1 为 (7+2*0-3)/2+1 = 3，输出图像即为3x3。
    
    	4.问题1：如果公式 (n+2p-f)/s+1 其中的 (n+2p-f)/s 的商不为整数的话怎么办？
    	  回答：这种情况下可以向下取整，也被称为“地板除”，这就意味着 (n+2p-f)/s+1 向下取整到最近的整数。
    	        这个原则所实现的方式是滤波器只能覆盖在输入图像的范围之内，如果滤波器所覆盖的区域越过了输入图像的范围的话，则滤波器和输入图像之间不进行卷积操作。
    	        比如滤波器所覆盖到输入图像上的区域超过了输入图像范围的一列或一行以上，那么该滤波器和输入图像之间不进行卷积操作，即不进行像素值之间的乘积求和。
    	        只有滤波器所覆盖到输入图像上的区域完全在输入图像范围之内，该滤波器和输入图像之间才可以进行卷积操作，即进行像素值之间的乘积求和。
    	        因此正确计算输出图像的维度的方法是向下取整，以免 (n+2p-f)/s 的商不是整数。
    	
    	5.总结1：
    		向上取整, 运算称为 Ceiling，用数学符号 ⌈⌉  （上有起止，开口向下）表示，取比自己大的最小整数。
    		向下取整, 运算称为 Floor，用数学符号 ⌊⌋ （下有起止，开口向上）表示，取比自己小的最大整数。
    		四舍五入：更接近自己的整数； 把小数点后面的数字四舍五入。
    			 即如被舍去部分的头一位数字小于五，则舍去；如大于等于五，则被保留部分的最后一位数字加1。
    		注意，向上取整和向下取整是针对有浮点数而言的;  若整数向上取整和向下取整， 都是整数本身。
    
    	6.总结2：
    		如果有一个nxn矩阵(输入图像)与一个fxf矩阵(滤波器)进行卷积的话，padding(填充)为p，步长为s，输出图像的尺寸(维度大小)的计算公式如下图所示。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70 32][]

7.关于“互相关”和卷积的技术性建议，这并不会影响到构建卷积神经网络的方式，但取决于读的是数学教材还是信号处理教材，在不同的教材里面符号可能不一样。
    	  如果看的是一本典型的数学教科书，那么在做卷积之前，也就是在做元素乘积求和之前，实际上还有一个步骤首先要做。
    	  	1.下面图中例子，介绍一个6x6矩阵(输入图像)和一个3x3矩阵(滤波器)进行卷积之前，首先要将3x3矩阵(滤波器)沿水平方向和垂直方向同时翻转。
    	  	  比如下图中一个3x3矩阵(滤波器)，其第一列(3、1、-1)变成了第三行(-1、1、3)，其第二列(4、0、9)变成了第二行(9、0、4)，
    	  	  其第三列(5、2、7)变成了第一行(7、2、5)，相当于在水平方向和垂直方向同时翻转，也可以说3x3矩阵(滤波器)做了个镜像。
    		2.然后把翻转后的镜像作为一个3x3矩阵(滤波器)与6x6的输入图像进行卷积，如下图中所示，翻转后的镜像3x3矩阵(滤波器)与6x6的输入图像进行乘积求和，
    		  计算出一个4x4矩阵(输出图像)。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70 33][]

3.我们在之前的介绍卷积运算的例子时，都没有“翻转矩阵(滤波器)作为新滤波器的”这步操作，从技术上讲，在之前例子中“不存在这步操作的”卷积运算，
    		  有时并不是被称为卷积，而是有时被称为“互相关”。但在深度学习文献中，按照惯例，我们仍将这“不存在这步操作的”卷积运算称为卷积。
    		  总结来说，按照机器学习的惯例，我们通常都不进行“翻转矩阵(滤波器)作为新滤波器的”这步操作，从技术上讲，这步操作可能反而叫做“互相关”更好。
    		  而大部分的深度学习文献中，都把不进行“翻转矩阵(滤波器)作为新滤波器的”这步操作叫做卷积运算，因此，将在以后的讲解中继续使用这个约定。
    		  事实证明，在信号处理或某些数学分支中，在做卷积的定义中包含了“翻转矩阵(滤波器)作为新滤波器的”这步操作，
    		  使得“卷积运算符”拥有这个性质，即(A*B)*C=A*(B*C)，这在数学中被称为结合律，这对于一些信号处理应用来说很好，但对于深度神经网络来说，
    		  “翻转矩阵(滤波器)作为新滤波器的”这步操作真的不重要，因此都省略了这步操作，简化了代码并使神经网络照样也能正常工作。
    		  根据惯例，我们大多数人都把它叫做卷积，尽管数学家们更喜欢把它称之为互相关，但这并不会影响我们进行卷积操作。

--------------------

6.卷积为何有效
    	不仅仅可以在二维图像上做卷积，还可以在三维立体上做卷积。
    	1.下图例子中，不仅想检测灰度图像的特征，也还想要检测RGB彩色图像的特征。彩色图像如果大小是6x6，那么维度即有6x6x3，6x6指宽x高，
    	  3指的是RGB(红绿蓝)三个通道，可以想象成3个6x6矩阵的图像堆叠。
    	  为了检测6x6x3彩色图像的边缘或者一些其他的特征，并不是再把6x6x3彩色图像和普通的3x3滤波器做卷积，
    	  而是和一个三维的3x3x3滤波器做卷积，这个维度为3x3x3的滤波器有三层/三个通道，即3个3x3矩阵的堆叠，每个3x3的矩阵分别对应彩色图像的RGB(红绿蓝)三个通道。
    	  根据上述分析得出，彩色输入图像的通道数必须和滤波器的通道数相同，最终两者经过卷积之后输出一个4x4x1矩阵的图像，即只有一个通道的宽x高为4x4的图像。
    	  按照计算机视觉的惯例，输入图像的宽x高可以和滤波器的宽x高的值相同或不相同，但是输入图像的通道数和滤波器的通道数必须相同。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70 34][]

2.下面为了方便讲解分析，所以把3x3x3的滤波器不画成3个矩阵的堆叠，而是画成一个三维的立方体，这个3x3x3滤波器一共有27个数值，即3的立方就是27个参数。
    	  卷积过程（3x3x3滤波器和RGB三通道的6x6x3彩图的卷积过程）：
    		1.第一步：
    			先把三维立方体的3x3x3滤波器放到RGB三通道的6x6x3彩图的最左上角的位置，滤波器中的27个数值和“RGB三通道彩图上被滤波器所覆盖区域上的”27个数值
    			进行乘积求和。比如滤波器的第一层的9个数字分别和红色图层的9个数字相乘，滤波器的第二层的9个数字分别和绿色图层的9个数字相乘，
    			滤波器的第三层的9个数字分别和蓝色图层的9个数字相乘，可以理解成3x3x3滤波器中的第一层3x3图像对应红色通道图层，第二层3x3图像对应绿色通道图层，
    			第三层3x3图像对应蓝色通道图层，而最终滤波器中的27个数值和“RGB三通道彩图上被滤波器所覆盖区域上的”27个数值进行相乘后的
    			乘积数值进行求和，计算得出的这一个输出值作为4x4二维图像中的第一个像素值。
    		2.第二步：
    			三维立方体的3x3x3滤波器在RGB三通道的6x6x3彩图上向右移动一列，然后滤波器中的27个数值和“RGB三通道彩图上被滤波器所覆盖区域上的”27个数值
    			继续进行乘积求和，两者卷积的输出结果值继续作为4x4二维图像中的第二个像素值。
    		3.第三步：以此类推，直到RGB三通道的6x6x3彩图上的每个像素值都进行过卷积后，才输出完成一个4x4的二维图像。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70 35][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70 36][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70 37][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70 38][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70 39][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70 40][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70 41][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70 42][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70 43][]

3.3x3x3滤波器中的第一层3x3图像对应红色通道图层，第二层3x3图像对应绿色通道图层，第三层3x3图像对应蓝色通道图层。
    	  理论上，滤波器只需要关注红色通道图层或者只关注绿色和蓝色通道图层就可以了的。
    	  如果仅想要检测RGB三通道彩图中的红色通道图层的垂直/水平边缘信息，那么可以把3x3x3滤波器设置成如下图，那么便可以只检测红色通道图层的垂直/水平边缘信息：
    		1.3x3x3滤波器的第一层3x3图像：
    			可以定义为3x3的垂直边缘检测滤波器。比如第一列为1、1、1，第二列为0、0、0，第三列为-1、-1、-1。
    			可以定义为3x3的水平边缘检测滤波器。比如第一行为1、1、1，第二行为0、0、0，第三行为-1、-1、-1
    		2.3x3x3滤波器的第二层3x3图像：9个像素值均为0
    		3.3x3x3滤波器的第三层3x3图像：9个像素值均为0

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70 44][]

4.创建可以检测任意颜色通道图像里面的垂直/水平边缘信息，那么可以设置3x3x3滤波器中的每一层图像都为垂直边缘检测滤波器/水平边缘检测滤波器。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70 45][]

5.如果不仅只是想要单纯检测垂直/水平边缘信息，而且还想要同时检测垂直和水平两者的边缘信息，同时还加上检测任意角度倾斜的边缘信息，
    	  换句话说，就是想要同时使用多个不同类型的滤波器，用以同时检测垂直、水平、任意角度倾斜的边缘信息的话，那需要怎么做呢？
    	  下面的例子如下图，用以解决同时检测三通道的输入彩色图像的垂直、水平两者的边缘信息：
    		1.第一步：6x6x3 RGB三通道的输入彩色图像和3x3x3垂直边缘检测滤波器进行卷积，输出一个4x4的包含垂直边缘信息的图像
    		2.第二步：6x6x3 RGB三通道的输入彩色图像和3x3x3水平边缘检测滤波器，输出一个4x4的包含水平边缘信息的图像
    		3.第三步：把4x4的包含垂直边缘信息的图像 和 4x4的包含水平边缘信息的图像 两者进行重叠合成一个4x4x2的图像，相当于4x4x2的立方体。
    			 4x4x2的图像便同时包含了输入彩色图像的垂直、水平两者的边缘信息。同时使用多少个滤波器，那么输出图像就同时有多少层。
    	  总结1：可以同时检测两个特征，比如垂直+水平特征，也可以同时检测10个或128个或几百个不同的特征，并且输出图像的重叠层数等于同时要检测的特征数量，
    	         即等于同时使用的滤波器的数量。通道数也可被称为深度。
    	  总结2：一个n*n*n_c的输入图像，然后卷积上一个f*f*n_c的滤波器，n_c均代表通道数目，按照惯例要求，n*n(宽x高)和f*f(宽x高) 两者之间可以相同也可以不相同，
    	        但是要求输入图像的通道数目n_c和滤波器的通道数目n_c 两者之间必须数目相同。两者卷积的结果输出一个（n-f+1）X（n-f+1）X n_c'，
    	        n_c'代表输出图像的层数，也可以说是滤波器数目，因为同时使用多少个滤波器决定了输出图像重叠的层数有多少。
    	        我们图中例子就是使用了一个6x6x3 RGB三通道的输入彩色图像 同时分别和 3x3x3水平边缘检测滤波器、3x3x3垂直边缘检测滤波器进行卷积，
    	        最终输出一个4x4x2的图像。此处使用默认的步长为1，没有padding填充，如果使用了不同的步长或使用了padding填充的话，那么输出图像的维度n-f+1的数值将会变化。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70 46][]

[Link 1]: https://blog.csdn.net/zimiao552147572/article/details/88867161
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20190619224156301.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20190619224201225.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/20190619224224295.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70 3]: https://img-blog.csdnimg.cn/2019062114090115.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70 4]: https://img-blog.csdnimg.cn/20190621140910870.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70 5]: https://img-blog.csdnimg.cn/20190621140929797.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70 6]: https://img-blog.csdnimg.cn/20190621140942685.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70 7]: https://img-blog.csdnimg.cn/20190621140946517.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70 8]: https://img-blog.csdnimg.cn/20190621140949924.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70 9]: https://img-blog.csdnimg.cn/20190621140953693.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70 10]: https://img-blog.csdnimg.cn/20190621140957730.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70 11]: https://img-blog.csdnimg.cn/20190621141001703.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70 12]: https://img-blog.csdnimg.cn/20190621141005555.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70 13]: https://img-blog.csdnimg.cn/20190621141019232.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70 14]: https://img-blog.csdnimg.cn/20190621141033325.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70 15]: https://img-blog.csdnimg.cn/2019062114104554.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70 16]: https://img-blog.csdnimg.cn/20190622140442195.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70 17]: https://img-blog.csdnimg.cn/20190622140453767.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70 18]: https://img-blog.csdnimg.cn/20190622140508691.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70 19]: https://img-blog.csdnimg.cn/20190622140516510.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70 20]: https://img-blog.csdnimg.cn/20190622171919305.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70 21]: https://img-blog.csdnimg.cn/20190622171932264.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70 22]: https://img-blog.csdnimg.cn/20190622171945848.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70 23]: https://img-blog.csdnimg.cn/2019062221110277.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70 24]: https://img-blog.csdnimg.cn/20190622211106586.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70 25]: https://img-blog.csdnimg.cn/2019062221111028.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70 26]: https://img-blog.csdnimg.cn/20190622211113990.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70 27]: https://img-blog.csdnimg.cn/20190622211117483.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70 28]: https://img-blog.csdnimg.cn/20190622211121399.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70 29]: https://img-blog.csdnimg.cn/20190622211125728.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70 30]: https://img-blog.csdnimg.cn/20190622211130149.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70 31]: https://img-blog.csdnimg.cn/20190622211134680.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70 32]: https://img-blog.csdnimg.cn/20190622211156391.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70 33]: https://img-blog.csdnimg.cn/20190622211206990.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70 34]: https://img-blog.csdnimg.cn/20190623215606530.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70 35]: https://img-blog.csdnimg.cn/20190623215617163.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70 36]: https://img-blog.csdnimg.cn/20190623215620490.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70 37]: https://img-blog.csdnimg.cn/20190623215629175.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70 38]: https://img-blog.csdnimg.cn/20190623215808530.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70 39]: https://img-blog.csdnimg.cn/20190623215812405.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70 40]: https://img-blog.csdnimg.cn/20190623215815751.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70 41]: https://img-blog.csdnimg.cn/20190623215819825.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70 42]: https://img-blog.csdnimg.cn/20190623215823118.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70 43]: https://img-blog.csdnimg.cn/20190623215826676.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70 44]: https://img-blog.csdnimg.cn/20190623215843395.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70 45]: https://img-blog.csdnimg.cn/20190623215852773.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70 46]: https://img-blog.csdnimg.cn/2019062321590651.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg==,size_16,color_FFFFFF,t_70