浪潮发布全球首个完整方案的FPGA高效AI计算框架.docx

浪潮发布全球首个完整方案的FPGA高效A1计算框架（消费日报网）在北京举行的2019人工智能计算大会人ICC2019）上,浪潮宣布开源发布基于FPGA的高效AI计算框架TF2,这一框架的推理引擎采用全球首创的DNN移位计算技术,结合多项最新优化技术,可实现通用深度学习模型基于FPGA芯片的高性能低延迟部署,这也是全球首个包含从模型裁剪、压缩、量化到通用模型实现等优化篁法的完整方案的FPGA上AI开源框架,项目开源网址为TF2-EngineTF2o据悉目前己有快手、上海大学、华大智造、远鉴科技、睿视智觉、华展汇元等多家公司或研究机构加入TF2开源社区,社区将共同推动基于可定制芯片FPGA的A1技术的开源开放合作发展,降低高性能A1计算技术门槛,帮助AI用户和开发者缩短开发周期。当前,可定制、低延迟、高性能功耗比的FPGA技术成为很多A1用户部署推理应用的选择,但FPGA开发难度大、周期长,难以适应快速迭代的选度学习算法应用需求。TF2可快速实现基于主流AI训练软件和深度神经网络模型DNN的FPGA线上推理,帮助用户最大限度的发挥FPGA计算能力，实现FPGA的高性能、低延迟部署。同时TF2计算架构也可以快速实现AI芯片级设计和性能验证。TF2由两部分组成。第一部分是模型优化转换工具TF2TransformKit,可将经过PyTOrCh、TenSOrFIow、Caffe等框架训练得到的网络模型数据进行压缩、裁剪、8位量化等操作,减少模型计算量。如对于ReSNet50模型,通过压缩32位浮点模型为4位整数模型、通道裁剪,可将模型文件裁剪掉93.75%,几乎无精度损失并保持原始模型的基本计算架构。DDRFeature1oaderA1ter1oaderFeatureWriterPArraySchedu1erContro11erPoO11NEhwiseFeatureBufferActivationsBatchNormIOXVX）MMM第二部分是FPGA皙能运行引擎TF2RuntimeEngine,可将已优化转换的模型文件自动转化为FPGA目标运行文件,通过创新的DNN移位计算技术大幅提升FPGA做推理计算的性能,并有效降低其实际运行功耗。TF2已完成在ResNet50>FaceNetGoog1eNetSqUeeZeNet等主流DNN模型上的测试验证。在浪潮F1OAFPGA卡上采用FaceNet模型对TF2进行的测试（BatChSiZe=D表明,运行TF2后单张图片的计算耗时为0.612ms,提速12.8倍。同时,浪潮开源的项目中还包括TF2的软件定义的可重构芯片设计架构。此架构完整支持当前CNN网络模型的开发,并可快速移植使其支持Transformer1STM等网络模型开发。以此架构为基础,可进一步实现还芯片开发原型设计。（责任fqj）