计算机行业算力租赁市场分析.docx
《计算机行业算力租赁市场分析.docx》由会员分享,可在线阅读,更多相关《计算机行业算力租赁市场分析.docx(8页珍藏版)》请在第一文库网上搜索。
1、计算机行业算力租赁市场分析AI算力需求空间测算训练规模突破临界值,大模型“智慧涌现”大模型训练规模与参数量、数据量及训练轮数等紧密相关。当模型规模突破阙值,即出现“智慧涌现”。迈入A1智能时代,计算芯片依赖已从CPU转向GPUA1时代离不开机器学习,而神经网络训练及推理需要进行大量的矩阵运算和卷积运算,具有强并行运算与浮点计算能力的GPU逐渐成为计算主力军。大模型训练侧GPU需求测算2023年,英伟达、斯坦福联合微软研究院共同训练出了万亿级参数的GPT,比1746亿参数的GPT-3还高出了一个量级;论文中的测试基于DGXAIOo-80GB集群完成。对于最大的IT规模的模型,一共使用了384台8
2、卡DGX-AIOO服务器,服务器内部各GPU间使用超高速NV1ink和NVSwitch互联,每台机器装有8个200Gbps的InfiniBand网卡;GPU利用率=单张GPU训练时吞吐量/单张GPU峰值吞吐量,论文使用了数据并行、流水线模型并行、张量模型并行、服务器通信优化等加速技术提高GPU利用率。训练过程中,英伟达A100卡使用数量的变化范围为32,3072,GPU利用率随参数量增加而增长,变化范围为44%,52%。根据Simi1arweb数据,2023年8月ChatGPT的月度访问量为14亿(包括直接访问、外链等),平均访问时长为7分钟。假设1:ChatGPT访客平均每次访问提问数为10
3、个,每个问题加上其回答的Token数量平均为IoO0;假设2:ChatGPT访客来自全球各地,假设在每日24小时内平均分配访问量和计算量;假设3:在推理侧,大模型运算更为简单,我们仍保守假设GPU利用率为45%。推理过程中,每个参数只需执行1次乘法运算和1次加法运算,以GPT-3的参数量1750亿带入以下测算。推理前一般采用量化等技术将模型优化到Int8精度,在此精度下,每张A100的峰值吞吐量(非稀疏)为624TOPSo未来每家龙头大模型厂商推理侧A100需求有望达到十万张量级2023年9月25日,ChatGPT进行重大更新GPT-4和GPT-3.5都具有了基于图像进行分析和对话的能力。我们
4、认为,当模型参数增长至万亿级且具有多模态能力,能承担更多生成、分析等任务时,将吸引更多用户,ChatGPT月度访问量将高增(2023年8月,谷歌月度访问量为860亿,约为ChatGPT的70倍)。在以下三点假设下,长期来看,我们推测未来ChatGPT推理侧A100需求将超过70万张。假设1:我们采用外媒SemiAna1ySiS给出的数据,即使用GPT-4时每次推理只需使用2800亿个参数;假设2:多模态能力与更强大的分析能力将使得用户更加依赖大模型,推理侧每日问答的Token平均数量达到30000甚至更多;假设3:随着大模型技术发展,假设未来ChatGPT的月度访问量翻20倍,达到300亿。2
5、023年9月21日,微软宣布基于GPT-4的Copi1ot将全面开放:微软全球版Copi1ot于2023年9月26日随更新的Windows11以初期版本形式推出,融入到画图、照片、C1iPChamP等应用程序中;全球版MiCrOSoft365COPiIOt将于2023年11月1日起面向企业用户提供服务,融入Teams、Out1ookWord、ExceK1oop、OneNOte和OneDrive等应用程序中,同时微软将推出A1助手MiCroSOft365Chat。大模型推理侧GPU需求测算Copi1ot+Microsoft365微软曾在FY20Q1电话会议上披露,OffiCe365(现已更名为M
6、icrosoft365)商业版的月度活跃用户突破2亿,而根据微软的季报及年报数据,商业版用户数量年增速保持在15%左右,我们推测Microsoft365企业用户数目前已突破3亿。假设Microsoft365中CoPi1Ot使用率为15%80%,企业用户使用CoPi1ot时,输入和输出的平均Token数量为2000-30000o驱动A1发展的关键引擎,英伟达A1OO&H100供不应求自年初以来,英伟达AIOO一直处于供不应求的状态,而其他加速卡由于性能、生态等方面与英伟达存在较大差距,大部分场景无法实现替代,尤其在训练侧,AIOo与H1OO具有极大的优势与较高的技术壁垒。现阶段,大模型技术突破遭
7、遇瓶颈,算力资源短缺为重要原因之一。OPenA1表示GPU供应不足阻碍了其研发计划的推进,例如模型微调和划拨专用容量等受到影响。OpenAI联合创始人AndrejKarpathy曾转发了一篇博客文章。这篇文章认为训练大语言模型的初创企业、云服务供应商及其他大公司需要拥有超过IoOO张H100或A100oA100方面:GPT-4可能在10000-25000张A100上进行了训练,Meta拥有约21000张A100,特斯拉拥有约7000张A1O0,StabiIityAI拥有约5000张AIO0,Fa1COn-40B在384张A1oO上进行了训练。H1OO方面:a)OpenAI可能需要50000张,
8、Inf1ection可能需要22000张,Meta可能需要25000张。大型云厂商可能每家都需要30000张(AZUre、谷歌、AWS、Orac1e)o1ambdaCoreWeave以及其他私有云厂商可能总共需要10万张,CoreWeave预订的H100数量约为35000-40000张,而AnthrOPic、He1Sing、MistrakCharaCter等每家可能需要IOOOo张b)1nf1ection在其GPT-3.5等效模型中使用了3500张HIO0。GCP拥有大约25000张HIOO。微软Azure和OraCIe可能有10000-40000张H1O0。发展趋势大模型训练中的故障与中断问
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 计算机 行业 租赁 市场分析