基于FPGA器件实现CNN加速系统的硬件设计.docx

《基于FPGA器件实现CNN加速系统的硬件设计.docx》由会员分享，可在线阅读，更多相关《基于FPGA器件实现CNN加速系统的硬件设计.docx（8页珍藏版）》请在第一文库网上搜索。

1、基于FPGA器件实现CNN加速系统的硬件设计引言随着近些年逢度迪的迅速发展和广泛的应用，卷积神经网络(CNN)已经成为检测和识别领域最好的方法，它可以自动地从数据集中学习提取特征,而且国络层数越多，提取的特征越有全局性。通过局部连接和权值共享可以提高模型的泛化能力，大幅度提高了识别分类的精度。并且随着物联网的发展,部署嵌空端的卷积神经网络要处理大量的数据，这将会消耗大量的资源与能量，而嵌入式设备通常用电池维持工作，频繁更换电池将会提高成本，因此对于推断阶段的运算加速以及低功耗设计有重要实际意义。CNN的不同卷积核的运算之间是相互独立的，而且全连接层的矩阵乘法不同行之间也是独立的，因此神经网络的

2、推断在CPU平台上串行计算的方式是非常低效的。GPU可以通过流处理器实现一定的并行性,但是缺乏对于网络并行结构的深度探索，不是最优的方案。而基于国人的神经网络可以更好地实现网络并行计算与资源复用，因此本文采用FPGA加速卷积神经网络运算。此前已有一些基于FPGA的卷积神经网络加速器，WANGD设计了流水线卷积计算内核;宋宇鳏等人针对激活函数进行设计优化；王昆等人通过FPG软便件协同设计的异构系统加速神经网络;张榜通过双缓冲技术与流水线技术对卷积优化。本文针对卷积神经网络的并行性以及数据与权值的稀疏性，对卷积层和全连接层进行优化，根据卷积核的独立性设计单指令多数据(SingIeInstrucHo

3、nMu1tip1eData,迎MD)的卷积与流水线结构，提高计算速度与资源效率，利用全连接层数据极大的稀疏性，设计稀疏矩阵乘法器减少计算冗余，然后对模型参数定点优化，最后将实验结果与CPU、GPU平台以及基准设计进行比较分析。1、CNN模型与网络参数1.1CNN模型CNN是基于多层感知机的神经网络结构，典型的CNN模型由输入层、卷积层、全连接层、输出层和分类层组成，如图1所示。由输入层读取图像数据，由卷积层通过多个卷积核分别和输入图卷积生成多个特征图，再由池化层降维提取特征图信息。经过几个卷积层后，再将特征图展开成向量，输入给全连接层，经过全连接层与输出层的矩阵运算得到输出，然后再通过SOft

4、maX分类层得到分类概率输出。全连接层本文CNN模型结构如图2所示，该结构包含两个卷积层、两个池化层、一个全连接层，一个输出层、一个使用SOftmaX的分类层，其中激活函数不算作一层，共7层的网络结构。其中两个卷积层的输出特征图个数分别为16、32,卷积核大小为3X3,移动步长为1,输出尺寸与输入相同，系统使用线性修正单元(ReCtified1inearUnits,Re1U)作为激活函数。全连接层和输出层分别有1024和40个神经元。由图2计算得权值与偏置的数量，本文模型共4765416个参数，其中全连接层占了99%的参数。输入层输入(45,45,1)输出(45,45,1)二维卷积输入(45,

5、45,1)输出(45,45,16)二维卷枳输入(23,23,16)输出(23,23,32)激活函数输入(45,45,16)输出(45,45,16)I激活函数输入(23,23,32)输出(23,23,32)最大池化输入(45,45,16)输出(23,23,16)最大池化输入(23,23,32)输出(12,12,32)A全连接层输入(4608)输出（1024）1输出层输入（1024）瑜出（40）图2本文CNN网络模型结构由于分类层是用输出层的值通过SOftmaX函数求得每个分类的概率，而SOftmaX函数的运算消耗大量的运算资源，而且对结果没有影响，这是不必要的运算开销，因此用输出值来判别即可。1

6、. 2CNN网络参数根据所选的网络结构，本文使用TCnSorF1oW框架搭建模型,学习率设置为0.0001,使用自适应学习率优化算法国am加速模型收敛，训练选择Re1U激活函数增加模型参数的稀疏性，使用交叉端作为损失函数，加入12正则化项减小过拟合。训练了50轮后，模型在郎1人脸数据库的正确率达到95%,满足实际应用需要。神经网络模型推断降低一定的精度不会影响准确率，而且在FPGA上定点数比起浮点数的计算更有效率，所以将模型参数由32bit浮点数量化为16bit定点数，由深度压缩6中的方法，将16bit的定点数权值再用8bit的索引表示，索引表的值共28=256个，然后通过反向传播算法7更新索

7、引表后，将索引和索引表存在外部存储器中。2、CNN系统硬件设计本系统针对CNN模型结构以及数据与参数的特点进行设计和优化，卷积同一层内不同特征图的计算有天然的并行性，不同层之间因为不是独立的，无法同时进行计算，而全连接层和输出层都可以使用卷积层的PE来完成乘法运算。系统设计如图3所示。片外存储(输入数据)片外存储(Rfi)小百二内存按门输入缓存权值缓存J;处理单元卷积层处理单元池化层全连接层稀疏矩阵乘法器输出层控制器特征图缓存图3CNN系统硬件结构J首先通过控制器从外部存储器DDR3中读取图像数据到输入缓冲区，输入缓冲区通过移位寄存器设计,通过固定窗口读取数据。读取权值索引到权值缓冲区，然后由

8、索引读取权值输入给卷积的处理单元(PrOCeSSingEIement,PE),经过每层的卷积后加上偏置，用Re1U函数激活，再经过池化操作降维，然后特征图经过非零检测模块统计稀疏性，读取对应的非零神经元的权值，然后由稀疏矩阵乘法器(SParSeMatrix-VectorMu1tip1ication,SPMV)完成矩阵乘法，加上偏置后输出给输出层。输出层复用卷积层丽E完成矩阵乘法，然后遍历输出值求出最大值对应的神经元序号即为预测值。2.1卷积层硬件设计优化如图4所示，卷积层采用移位寄存器作为输入缓存，本文卷积层的卷积核尺寸为3X3,每次读取9个权值，使用9个定点小数乘法器，然后使用4层加法树结构

9、将结果与偏置相加。然后通过Re1U函数激活，该函数表达式为y=max(0,x),因此只要判断输入数据的符号位即可，使用一个数据选择器即可完成运算，消耗一个时钟。第一层卷积的不同卷积核是独立计算的，所以使用16个PE同时计算，然后通过流水线技术，可以在一个时钟周期内产生16个卷积输出，输出数据的延迟包括读取数据延迟和加法树的延迟。图4PE结构权值缓存Ho-o5i2. 2池化层设计优化池化层用于对输入特征图降低维度和提取信息，池化分为平均值池化和最大值池化，本文使用最大值池化，池化尺寸为2X2,步长为2。池化层使用比较蛰得到最大值，经过两次比较得到结果。经研究发现，池化操作不影响卷积操作，因此设计

10、了池化与卷积的并行计算，如图5所示。并行操作节省了池化运算的时间，加快了网络的计算速度。卷积层1池化层1卷枳层2JoiUU1UUiO卷积层2池化层2密全连按层图5系统时序图2.3全连接层与输出层的设计与优化2. 3.1全连接层全连接层将所有输入特征图和输出向量相连接，每个神经元的值由卷积层特征图加权求和得到。本文多次实验发现全连接层有大量为零的神经元，如图6所示。因此可以利用神经元的稀疏性减少乘法的操作，设计如图7所示稀疏矩阵乘法器。首先通过非零元检测模块，得到不为零的神经元，然后复用卷积层的PE来计算非零神经元与权值的乘加操作。这样可以重复利用运算资源，并大大降低运算的时间复杂度，提高运算速

11、度。图6全连接层神经元零值分布II：零神经q7摘入缓存f)X11Un00全连接U神经元O非零检测权值缓存偏置缓存图7稀疏矩阵乘法器(SPMV)2.3.2输出层输出层对全连接层神经元做矩阵运算，然后通过Softmax层得到所有分类的概率。但是由于SoftmaX函数含有指数运算，需要消耗大量运算资源和时间，而且对结果没有影响，因此将SoftmaX层移除，直接使用输出层值的大小来分类。本文多次实验发现输出层没有稀疏性，大部分神经元不为零，输出层的计算复用SPMV的第二个部分进行计算，由PE与串行加法器组成，分别计算输出层的40个分类的值，40个运算单元共用一路数据输入，采用滑动窗口读取数据，多路PE

12、同时计算，由串行加法器输出结果。最后遍历求得输出值最大值，并输出分类结果。3、数据量化与模型压缩本文模型使用了两个卷积层、一个全连接层、一个输出层的结构，使用参数量由前文所述有476万参数，而全连接层又占了99%的参数，因此主要针对全连接层进行数据压缩。对于所有层的参数进行数据量化，从原本模型64bit浮点数量化为16bit定点数，然后用8bit的索引，共256个共享的权值，然后通过反向传播算法7修正原始权值与共享权值的差值。压缩率公式如下：nb/1、rHb其中，n为参数量，b为量化的比特数，k为bbit能表示的类数(256类)。式(1)代入数据求得压缩率大约为4倍。4、实验结果系统设计使用X

13、i1inx公司的ZYNQ-7000xc7z020c1g400-1芯片作为实验平台，该芯片内部有85OOO个逻辑单元、4.9MB的B1OCkRAM220个DSP48单元、1GB片外邂此满足本系统所需。CPU平台使用Corei59400f,主频为2.9GHz,GPU平台使用GTX1060,GPU主频为15GHz,显存带宽为160GB/so将实验结果与CPU、GPU平台以及基准设计5对比，资源使用情况如表1所不，实验结果如表2所不。表1资源使用量资源类别1I1TFFBRAMDSP消耗资源353523746118208比例/%66.535.2.j表2不同硬件平台算法运行比较平台时间ms功耗/W问题复杂

14、度/GOPS性能/(GO1i5-94fCPU32628.10.88400NVIDIAGTX1060GPU98250.88400原有设计XC7Z020492.610.884本文设计XC7ZO2O0.271.950.7492.719.0217.7827.74本文硬件平台的工作频率为IOOMHz,识别每张图片时间为0.27ms,功耗为195W,性能达到了27.74GOPSs,分别是CPU、GPU平台的10.24倍、3.08倍，以及基准设计的1.56倍，能效比优于CPU、GPU平台以及基准设计5。在数据量化为16bit定点数之后，识别率达到95%,没有造成精度损失。5、结论本文设计了一种基于FPGA的卷积神经网络加速系统。首先使用OR1人脸数据库，在卷积神经网络模型1eNet-5上训练，然后用短定点数对神经网络进行量化，再使用索引与索引表的方式进一步压缩模型的全连接层，最终压缩率达到了4倍。同时，从并行结构设计、流水线技术、时序合并等方式增加系统并行性，通过对模型稀疏性的利用，极大地加速了模型运算。本文使用的CNN模型压缩方法和利用稀疏性加速的方法理论上也适用于其他的硬件平台，在嵌入式终端部署更具有优势。在与CPU、GPU平台以及相关文献的设计的对比分析后，本文设计在性能和能耗比上都优于此前的方案。责任gt