Groq发布全球首款每秒1000万亿次运算的AI加速卡.docx

《Groq发布全球首款每秒1000万亿次运算的AI加速卡.docx》由会员分享，可在线阅读，更多相关《Groq发布全球首款每秒1000万亿次运算的AI加速卡.docx（4页珍藏版）》请在第一文库网上搜索。

1、1250MHz205TF1OPS1000TOPS220MBN/A300W14nm725mm2Groq发布全球首款每秒1000万亿次运算的AI加速卡2016年底，谷歌TPU团队的十位核心开犬者中的八位悄悄离职，创办了一家名为Groq的机器学习系统公司,是进军M加速卡的第100家、是商业化推向市场的第2家，是首家达到每秒IOOO万亿次运算的公司。如果做对比，那么它是当前NVIDIA最强大显卡性能的四倍。TheGroqTensorStreamingProcessor(TSP)要求每个内核达到300W,而且他们己经丽丽!来了。而且更幸运的是，已将其从劣势转变为TSP的最大优势。这款TSP是一块巨大的硅

2、处理番，几乎只有矢量和矩阵处理单元以及高速缓存，因此没有任何控制器或后端,编译器具有直接控制权。TSP分为20个超级通道。超级通道按从左到右的顺序构建：矩阵单元(320MAC),交换单元，存储单元(5.5MB),矢量单元(16A1U),存储单元(5.5MB),交换单元，矩阵单元(320个MAC)oGroqTSPCoresMaximumFrequencyFP16TF1OPSINT8TOPSChipCache(11)BoardMemoryBoardPower(TDP)ProcessDieArea指令流（只有一个）被馈送到超通道O的每个组件中，其中矩阵单元有6条指令，开关单元有14条指令，存储单元有

3、44条指令，向量单元有16条指令。每个时钟周期,单元执行操作，并将数据移到超通道内的下一个位置。每个组件都可以从其相邻邻居发送和接收512B0超级通道的操作完成后，它将所有内容传递到下一个超级通道，并接收上方的超级通道（或指令控制器）拥有的所有内容。指令始终在超级通道之间垂直向下传递，而数据仅在超级通道内水平传输。在ReSNet-50中，它可以在任何批处理大小下每秒执行20,400个推理（I/S）,推理延迟为0.05毫秒。NVidia的TeSIavIOo可以以128的批量大小执行7,907I/S,或者以1的批量大小执行1,156I/S0ResNet-50In5,000COMPETITION但有

4、了Groq的硬件和软件,编译器就可以准确地知道划!的工作方式以及执行每个计算所需的时间。编译器在正确的时间将数据和指令移动到正确的位置，这样就不会有延迟。到达硬件的指令流是完全编排好的，使得处理速度更快，而且可预测。开发人员可以在Groq芯片上运行相同的模型100次，每次得到的结果都完全相同。对于安全和准确性要求都非常高的应用来说（如自动驾驶汽车）,这种计算上的准确性至关重要。另外，使用Groq硬件设计的系统不会受到长尾延迟的影响，A1系统可以在特定的功率或延迟预算内进行调整。这种软件优先的设计（即编译器决定硬件架构）理念帮助Groq设计出了一款简单、高性能的架构，可以加速推理流程。该架构既支持传统的机器学习模型，也支持新的计算学习模型，目前在x86和非x86系统的客户站点上运行。根据官方发布的新闻稿，该TSP已经作为NimbiXCIoUd的加速器面向部分客户开放。来源：cnBeta