NVIDIA发布Triton 推理服务器重大更新全球超过25000余家公司部署NVIDIA AI推理平台.docx
《NVIDIA发布Triton 推理服务器重大更新全球超过25000余家公司部署NVIDIA AI推理平台.docx》由会员分享,可在线阅读,更多相关《NVIDIA发布Triton 推理服务器重大更新全球超过25000余家公司部署NVIDIA AI推理平台.docx(4页珍藏版)》请在第一文库网上搜索。
1、NVIDIA发布Triton推理服务器重大更新,全球超过25000余家公司部署NVIDIAAI推理平台Capita10neMicrosoft、SamsungMediSOn、SiemensEnergy、SnaP等全球行业领导者都在使用该平台。加利福尼亚州圣克拉拉市-2023年11月9日-NVID1A今日宣布其此推理平台的重大更新,目前CaPita1OneMicrosoftSamsungMediSon、SiemensEnergySnap等25000多家客户都在使用该平台。这些更新包括开源NV1D1ATritoi1推理服务器软件的新功能,该软件为所有AI模型和框架提供跨平台推理;同时也包含对NVID
2、IATensorRT的更新,该软件优化A1模型并为NV1D1A些上的高性能推理提供运行时优化。NVIDIA还推出了NVID1AA2TensorCoreGPU,这是一款用于边缘A1推理的低功耗、小尺寸的加速器,其推理性能比空1高出20倍。NVIDIA副总裁兼加速计算总经理IanBuck表示:“NVIDIAAI推理平台正在推动各行各业的突破,包括医疗健康、金融服务、零售、制造和超级计算。无论是提供更望能的建议,发挥对话式A1的力量,还是推进科学发现,NVIDIA推理平台都能以简单易用的方式提供低延迟、高吞吐及多种性能组合的服务,为全球关键的A1新应用赋能。”关键的软件优化Triton推理服务器的主
3、要更新包括: Triton模型分析器-这款新工具可以自动化地从数百种组合中为AI模型选择最佳配置,以实现最优性能,同时确保应用程序所需的服务质量。 多GPU多节点功能-这一新功能支持基于Transformer的大规模语言模型,例如Megatron530B,在多个GPU和服务器节点上运行并提供实时推理性能,而不是在单个GPU上运行。 RAPIDSFI1-这一针对随机森林和梯度提升决策树模型GPU或CPU推理的新后端为刃如使用Triton进行深度学习和传统机器学习提供了一个统的部署引擎。 AmazonSageMaker集成-这种无缝集成让客户能够在SageMaker(AWS完全托管的AI服务)中使
4、用Triton轻松部署多框架的模型,并实现高推理性能。 支持AnnCPU-除了NVIDIAGPU和x86CPU夕卜,Triton后端现在还支持在ArmCPU上优化AI推理工作负载。Triton支持在云、数据中心、企业边缘和嵌式设备等环境中对GPU和CPU进行AI推理,并与WSGoog1eC1oudMicrosoftAzure阿里云PAI-EAS等平台集成。此外,NVIDIAAIEnterprise也集成了Triton。NVIDIAIEnterprise是一款经NVIDIA优化、因和支持的用于开发和部署AI的端到端软件套件,客户可利用它在本地数据中心和私有云的主流服务器上运行AI工作负载。除了T
5、riton外,TensorRT现在还与TenSorF1ow和PyTOreh集成,只需一行代码就能提供比框架内推理快3倍的性能。这使得开发人员采用极为简化的工作流程就可以体会TensorRT的强大功能。NVIDIATensorRT8.2是SDK的最新版本,可加速高性能的深度学习推理,在云端、本地或边缘提供高吞吐和低延迟。有了最新的性能优化,数十亿个参数的语言模型可实现实时运行。行业领导者支持NVIDIAAI平台推理全球众多行业领导者都正在使用NVIDIAAI推理平台改进业务运营并为客户提供新的A1赋能服务。MicrosoftAZUre认知服务为高品质AI模型提供基于云的API,以创建智能应用程序
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- NVIDIA发布Triton 推理服务器重大更新,全球超过25000余家公司部署NVIDIA AI推理平台 NVIDIA 发布 Triton
链接地址:https://www.001doc.com/doc/947334.html