卷积神经网络综述.docx

《卷积神经网络综述.docx》由会员分享，可在线阅读，更多相关《卷积神经网络综述.docx（7页珍藏版）》请在第一文库网上搜索。

1、卷积神经网络综述作者：刘健袁谦吴广喻晓来源：计算机时代2018年第11期摘要：卷积神经网络作为深度学习的一种经典而广泛应用的结构，克服了过去人工智能中被认为难以解决的一些问题。卷积神经网络的局部连接、权值共享及下采样操作等特性使之可以有效地降低网络的复杂度，减少训练参数的数目，使模型对平移、扭曲、缩放具有一定程度的不变性，并具有强鲁棒性和容错能力，也易于训练和优化。文章介绍了卷积神经网络的训练方法，开源工具.及在图像分类领域中的一些应用，给出了卷积神经待解决的问题及展望。关键词：深度学习；卷积神经网络；网络结构；训练方法中图分类号：TP183文献标志码：A文章编号：1006-8228(2018

2、)11-19-04Abstract:Asac1assica1kindofwide1yusednetworkstructureindeep1earning,convo1utiona1neura1networkshassuccessfu11yso1vedsomeprob1emswhichwereconsidereddifficu1ttoso1veinartificia1inte11igenceinthepast.Thecharacteristicssuchas1oca1connections,sharedweights,under-samp1ingetc.canreducethecomp1exit

3、yofnetworksandthenumberoftrainingparameters,andcana1somakethemode1creatinginvariancetotrans1ation,distortionandzoomandhavingstrongrobustnessandfau1tto1erance.Soitiseasytotrainandoptimizeitsnetworkstructure.Thispaperintroducesthetrainingmethods,opensourcetoo1sofconvo1utiona1neura1networksanditsapp1ic

4、ationsinthefie1dofimagec1assification,theprob1emsandprospectsoftheconvo1utiona1neura1networktobeso1vedaregivena1so.Keywords：deep1earning；convo1utiona1neura1networks；networkstructure；trainingmethod0引言人工神经网络(Artificia1Neura1Network,ANN)是对生物神经网络的一种近似模拟，是由大量神经元通过相互连接而构成的自适应非线性动态网络系统。1943年，心理学家MCCU1k)Ch和

5、数理逻辑学家PittS提出了第一个神经元数学模型，称为MP模型。他们通过MP模型提出了神经元的形式化数学描述和网络结构方法，证明了单个神经元能执行逻辑功能，从而开创了人工神经网络研究的时代。60年代，RoSenbIa1t在MP模型基础上提出了单层感知器模型，但是单层感知器网络模型不能够处理线性不可分问题。直到1986年，RUmeIhart3等人提出了BP算法解决了单层感知器不能解决的问题，掀起了神经网络在机器学习中的研究热潮C神经网络中的大量参数，容易发生局部最优、过拟合、训练时间长的缺陷。2006年，HintOn4等在Science上提出了深度学习，这篇文章的两个主要观点是：多隐层的人工神经

6、网络具有优异的特征学习能力，学习到的数据更能反映数据的本质特征，有利于可视化或分类；深度神经网络在训练上的难度，可以通过逐层无监督训练有效克服。Beng沁系统地介绍了深度学习所包含的网络结构和学习方法。目前，常用的深度学习模型有深度置信网络(DeepBe1iefNetwork,DBN)5-6s层叠自动去噪编码机(StackedDenoisingAutoencoders1SDA)7-8x卷积神经网络(Convo1utiona1neura1network,CNN)9-10等O1 CNN概述神经网络包括输入层、隐藏层和输出层，如图1所示。卷积神经网络是一种带有卷积结构的深度神经网络，卷积结构可以减少

7、深层网络占用的内存量，也可以减少网络的参数个数，缓解模型的过拟合问题。卷积神经网络中隐藏层是重要组成部分。经典的CNN由输入层、卷积层、下采样层(也称池化层)、全连接层及输出层组成。典型的1eNet-59是经典的CNN结构，如图2所示。卷积层和下采样层一般会取若干个，采用卷积层和下采样层交替设置，即一个卷积层连接一个下采样层，下采样层后再连接一个卷积层，依此类推。由于卷积层中输出特征面的每个神经元与其输入进行局部连接，并通过对应的连接权值与局部输入进行加权求和再加上偏置值，得到该神经元输入值，该过程等同于卷积过程，CNN也由此而得名9。1卷积层卷积核是卷积层的重要组成部分。特征提取器是卷积核的

8、本质，其主要作用是自动提取输入信号的深层信息。卷积层由多个特征面组成，每个特征面由多个神经元组成，它的每一个神经元通过卷积核与上一层特征面的局部区域相连。上一层的特征图被一个可学习的卷积核进行卷积，然后通过一个激活函数，就可以得到输出特征图。每个输出特征图可以组合卷积多个特征图的值11：其中，Wj称为卷积层1的第j个通道的净激活，它通过对前一层输出特征图Xi1-I进行卷积求和与偏置后得到，X1j是卷积层1的第j个通道的输出。f()称为激活函数，通常可使用SigmOid和tanh等函数。Mj表示用于计算UIj的输入特征图子集，kjij是卷积核矩阵，Mj是对卷积后特征图的偏置C对于一个输出特征图x

9、J,每个输入特征图XiI-I对应的卷积核kjij可能不同，“*”是卷积符号。影响CNN性能有3个因素：层数、特征面的数目及网络组织C使用9种结构的CNN进行中文手写体识别实验，通过统计测试结果得到具有较小卷积核的CNN结构的一些结论：增加网络的深度能够提升准确率；增加特征面的数目也可以提升准确率；增加一个卷积层比增加一个全连接层更能获得一个更高的准确率。Bengio等人12指出深度网络结构具有两个优点：可以促进特征的重复利用；能够获取高层表达中更抽象的特征，由于更抽象的概念可根据抽象性更弱的概念来构造，因此深度结构能够获取更抽象的表达。He等人13探讨了在限定计算复杂度和时间上如何平衡CNN网

10、络结构中深度、特征面数目、卷积核大小等因素的问题C该文献首先研究了深度与卷积核大小间的关系，通过实验结果表明网络深度比卷积核大小更重要；当时间复杂度大致相同时，具有更小卷积核且深度更深的CNN结构，比具有更大卷积核同时深度更浅的CNN结构能够获得更好的实验结果,其次，该文献也研究了网络深度和特征面数目间的关系，实验结果表明，深度越深，网络性能越好；然而随着深度的增加，网络性能也逐渐达到饱和。此外，该文献还通过固定网络深度研究了特征面数目和卷积核大小间的关系，通过实验对比发现特征面数目和卷积核大小的优先级差不多，其发挥的作用均没有网络深度大。1.2 下采样层下采样层用来实现对特征图的采样处理，在

11、减少数据量的同时保留有用的信息，使CNN具有抗畸变的能力。下采样层将每个输入特征图通过下面的公式下采样输出特征图：其中，U1j称为下采样层1的第j通道的净激活，它由前一层输出特征图Xi1-I进行下采样加权、偏置后得到，。是下采样层的权重系数，b1j是下采样层的偏置项。符号down(.)表示下采样函数，它通过对输入特征图Xj11通过滑动窗口方法划分为多个不重叠的nxn图像块，然后对每个图像块内的像素求和、求均值或最大值，于是输出图像在两个维度上都缩小了n倍。下采样层旨在通过降低特征面的分辨率来获得具有空间不变性的特征。下采样层起到二次提取特征的作用，它的每个神经元对局部接受域进行采样操作。常用的

12、方法有最大下采样即取局部接受域中值最大的点、均值下采样即对局部接受域中的所有值求均值、随机下采样U4-15。1.3 全连接层全连接层一般位于网络尾端，对前面逐层变换和映射提取的特征进行回归分类等处理。将所有二维图像的特征图拼接为一维特征作为全连接网络的输入。全连接层1的输出可通过对输入加权求和并通过激活函数的响应得到：其中，u1称为全连接层1的净激活，它由前一层输出特征图x1-1进行加权和偏置后得到的。W1是全连接网络的权重系数，b1是全连接层1的偏置项。为了提升CNN网络性能，全连接层每个神经元的激励函数一般采用Rc1U函数16。最后一层全连接层的输出值被传递给一个输出层，可以采用Softm

13、aX逻辑回归进行分类，该层也可称为Softmax层。2 CNN训练方法及开源工具2.2 训练方法神经网络用于模式识别的主流是有监督训练17,无监督训练更多的是用于聚类分析。对于有监督训练，根据同类样本在空间的分布及不同类样本之间的分离程度找一种适当的空间划分方法，使得不同类样本分别位于不同的区域内。卷积网络在本质上是一种输入到输出的映射，它能够学习大量的输入与输出之间的映射关系，而不需要任何输入和输出之间的精确的数学表达式，只要用已知的模式对卷积网络加以训练，网络就具有输入输出对之间的映射能力。卷积网络通过BP算法进行有监督训练。在开始训练前，采用一些不同的小随机数对网络中的所有的权值和偏置值

14、进行初始化，“小随机数用来保证网络不会因权值过大而进入饱和状态，从而导致训练失败；“不同”用来保证网络可以正常地学习。随机初始化的权值和偏置值的范围可为H)50.5J或者-1,1(或者是其他合适的区间)口8。在实际应用中,无标注的数据远多于有标注的数据，同时对数据进行人工标注也需要耗费较大的人力。但是为了使有监督CNN得到充分的训练并获得较好的泛化能力，又需要大量有标注的训练样本，这一定程度上制约了CNN在实际中的应用。2.3 开源工具深度学习能够广泛应用于众多研究领域，离不开许多优秀的开源深度学习仿真工具。目前常用的深度学习仿真工具有Caffe19、Torch、Theano20x以及TenS

15、orF1OW等。Caffc是一个基于C+语言且关于CNN相关算法的架构。Caffe可以在CPU及GPU上运行，它支持MAT1AB和PythOn接口。Caffe提供了一个完整的工具包，用于训练、测试、微调及部署模型。Caffe允许用户对新数据格式、网络层和损失函数进行拓展；它的运行速度也很快，但是灵活性较差。Torch是一个支持机器学习算法的科学计算框架。它是采用1ua脚本语言和C语言编写的。TorCh为设计和训练机器学习模型提供了一个灵活的环境，它还可支持iOS、Andrc)id等嵌入式平台，但TorCh没有Python接口。TheanO是一个允许用户定义、优化并评价数学表达式的PythOn库

16、。提供了NUmPy的大部分功能.可在GPU上运行。此外，ThCano能够自动求微分，它尤其适用于基于梯度的方法。Theano能够很容易且高效地实现递归神经网络(RecurrentNeura1Network,RNN)o然而Theano的编译过程很慢，导入Theano也需要消耗时间。TenSorFIOW是Goog1e开源的一款深度学习框架，可以在CPU和GPU上运行，支持C+和Python编程语言，因此可以在不同的计算机上自由运行代码，程序比Thean。编译时间短。TenSorFIOW不仅支持深度学习，还有支持强化学习和其他算法的工具CTenSorFIOW的计算图是纯Python的，因此速度较慢C3 CNN应用近年来，CNN已被广泛应用于图像处理领域中。KriZheVSky等人21第1次将CNN用于1SVRC-12竞赛中，通过加深CNN模