卷积神经网络发展进程.docx
《卷积神经网络发展进程.docx》由会员分享,可在线阅读,更多相关《卷积神经网络发展进程.docx(3页珍藏版)》请在第一文库网上搜索。
1、卷积神经网络发展进程卷积神经网络的发展,最早可以追溯到1962年,HUbeI和WieSeI对猫大脑中的视觉系统的研究。1980年,一个日本科学家福岛邦彦(KunihikoFUkUShinIa)提出了一个包含卷积层、池化层的神经网络结构。在这个基础上,Yann1eCUn将BP算法应用到这个神经网络结构的训练上,就形成了当代卷积神经网络的雏形。其实最初的CNN效果并不算好,而且训练也非常困难。虽然也在阅读支票、识别数字之类的任务上有一定的效果,但由于在一般的实际任务中表现不如SVM,Boosting等算法好,因此一直处于学术界的边缘地位。直到2012年,ImageNet图像识别大赛中,Hinton
2、组的A1exNet引入了全新的深层结构和Dropout方法,一下子把errorrate从25%降低到了15%,这颠覆了图像识别领域。AIeXNet有很多创新,尽管都不是很难的方法。其最主要的结果是让人们意识到原来那个福岛邦彦提出的、Yann1eCun优化的1eNet结构原来是有很大改进空间的:只要通过一些方法能够加深这个网络到8层左右,让网络表达能力提升,就能得到出人意料的好结果。顺着A1exNet的思想,1eCun组2013年提出了一个DropConnect,把errorrate降低到了11%o而NUS的颜水成组则提出了一个重要的NetworkinNetWOrk(NIN)方法,NIN的思想是
3、在原来的CNN结构中加入了一个1*1ConV层,NIN的应用也得到了2014年InIagine另一个挑战图像检测的冠军。NetworkinNetwork更加引发了大家对CNN结构改变的大胆创新。因此,两个新的架构InCePtiOn和VGG在2014年把网络加深到了20层左右,图像识别的errorrate(越小越好)也大幅降低到6.7%,接近人类错误率的5.1%02015年,MSRA的任少卿、何恺明、孙剑等人,尝试把Identity加入到卷积神经网络中提出ReSNet。最简单的Identity却出人意料的有效,直接使CNN能够深化到152层、1202层等,errorrate也降到了3.6%o后来
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 卷积 神经网络 发展 进程