迈向智能世界白皮书-数据存储.docx

《迈向智能世界白皮书-数据存储.docx》由会员分享，可在线阅读，更多相关《迈向智能世界白皮书-数据存储.docx（45页珍藏版）》请在第一文库网上搜索。

1、迈向智能世界白皮书2023数据存储数据新范式，释放A1新动能,世界展望一08A1大模型展望二19大数据序言O1目录03执行摘要05展望三24分布式数据库展望四28云原生33非结构化数据新安全新技术新技术展望六37存储内生安全42全场景闪存普惠新技术绿色节熊展望九49A1赋能存储展望十54存储绿色节能展望八46以数据为中心的架构附录63执行摘要A1大模型已超出人类想象的速度，将我们带入智能世界。算力、算法、数据构成了AI的三要素。算力、算法是A1大模型时代的工具，数据的规模和质量才真正决定了A1智能的高度。数据存储将信息变为语料库、知识库，正在和计算一起成为最重要的A1大模型基础设施。以A1大模

2、型为代表的企业智能化应用，正在和经典数据库应用形成并驾齐驱乃至超越之势。每一次应用的变革，都伴随着数据基础设施架构的演进。高可靠、高性能、共享的数据存储，成为以Orade为代表的数据库的最佳数据基础设施。新的企业智能化应用从量变进入质变阶段，正在形成新的数据范式。面向未来，我们对企业数据存储进行了如下展望：QA1大模型将A1带入新的发展阶段。A1大模型需要更高效的海量原始数据收集和预处理，更高性能的训练数据加载和模型数据保存，以及更加及时和精准的行业推理知识库。以近存计算、向量存储为代表的A1数据新范式正在蓬勃发展。大数据应用经历了历史信息统计、未来趋势预测阶段，正在进入辅助实时精准决策、智能

3、决策阶段。以近存计算为代表的数据新范式，将大幅提升湖仓一体大数据平台的分析效率。以开源为基础的分布式数据库，正在承担越来越关键的企业应用，新的分布式数据库+共享存储的高性能、高可靠架构正在形成。Q多云成为企业数据中心新常态，企业自建数据中心和公有云形成有效互补。云计算的建设模式从封闭全栈走向开放解耦，从而实现应用多云部署、数据/资源集中共享。以容器为基础的云原生应用，从无状态应用走向有状态应用，数据存储一方面要提升资源发放效率，更重要的要承载全新的云原生应用。存储即服务的商业模式，正在从公有云走向企业数据中心。80%的企业新增数据是非结构化数据，A1大模型正在加速海量非结构化数据进入生产决策系

4、统，全闪分布式存储成为海量非结构数据最佳数据基础设施。QA1大模型应用聚集海量企业私域数据，数据安全风险剧增。构建包括存储内生安全在内的完整数据安全体系，迫在眉睫。Q全闪存存储以高性能、高可靠、更优的TC。，不仅实现对高性能机械硬盘的替代，也将实现对大容量机械盘的替代，从而打造全闪存数据中心。A1大模型推动数据中心的计算、存储架构从以CPU为中心走向以数据为中心，新的系统架构、生态正在重新构建。A1技术正在越来越多地融入在数据存储产品及其管理，从而大幅改善数据基础设施的S1A水平。绿色节能从产业牵引进入实施执行阶段，占数据中心能耗30%的数据存储,能耗指标正在纳入建设标准。面向以A1大模型为代

5、表的企业智能化新应用，新的数据基础设施架构也正在逐渐形成。为了构建大模型时代最佳的数据基础设施，我们建议：O企业数字化从以应用创新为主，转向应用和数据基础设施的协同创新，充分发挥数据潜力。针对AI、大数据、分布式数据库、云原生应用，建设新应用和数据存储的联合设计团队，共同打造最佳的数据基础设施。坚定不移地推进新应用的存算分离架构，充分发挥应用、存储的专业能力,实现强强联合。探索以数据为中心的新存储系统架构；构建新的数据范式，推动数据存储支持近存计算、新的数据格式、新的数据访问协议、高性能应用数据缓存。新架构和新范式的组合优化，将大幅提升数字化新应用的效率，让新应用拥有更高的S1A,并尽量降低传

6、统应用的改造成本。Q企业核心的竞争力应用部署在企业自建数据中心，不确定性创新业务根据需要可以尝试公有云。云的建设模式逐渐向应用多云部署、数据/资源集中共享的分层解耦模式演进。面向容器为基础的云原生应用，联合应用开发团队和数据存储团队，构建云原生应用最佳实践。依据企业的战略、经营情况、未来预测，不盲从，综合对比、选择合适的商业模式，并选择合适的MSP、存储厂商合作伙伴。Q加速全闪存存储的应用，采用以数据为中心的新架构存储、高密硬件、数据缩减、系统融合、海量非结构化数据治理等技术，降低海量数据的TCO,打造绿色低碳的数据中心。Q将数据存储团队加入数据安全联合团队，制定数据存储内生安全标准，构建数据

7、安全的最后一道防线。Q积极尝试A1使能的数据存储产品及其管理，提升团队人员A1技能，从而大幅改善数据基础设施的S1A水平。新应用展望一A1大模型缺数据，无A1随着GPU算力、A1算法的迅猛发展，以生成式A1为代表的A1大模型时代已经来临。其在对话、知识反馈等方面已远超过普通人类水平，更将颠覆互联网、制造、金融、媒体等千行百业。当前，A1大模型的第一波浪潮已经开始，作为企业IT建设的决策者，需要正视并主动拥抱变化，探索企业如何利用好大模型赋能生产、提升效率。趋势A1的发展远超过预期2023年末，当OPenA1发布ChatGPT时，没有人能想到，A1大模型接下来将为人类社会带来历史性变革。其拐点已

8、经出现：2023年以前，A1还是一个面向专用领域以“感知世界、理解世界”的小众工具，例如计算机视觉、互联网推荐。当前，它已经成长为面向通用领域以“生成创造世界”的全能发明家，懂学习知识、会理解思考，在社交、办公、编程、决策、创意生成中掀起生产力的巨浪。举例来说，同年发布的的生成式绘图A1软件MidjOUmey在I分钟内,便可根据描述创造出不逊于人类顶尖设计师的作品。MidjOUrney基于GPT大模型，实现了在33个设计领域均实现应用落地，例如，在文创设计领域的毛线编织、手机壳、盲盒公仔、冰箱贴、贺卡、玩具，在视觉设计领域的卡通头像、公司1og。、徽标、电影海报，甚至在家装设计领域的地毯纹路、

9、瓷砖图案、家具造型大模型正在从基础大模型走向企业自建的行业大模型A1基础大模型已逐渐普及，正在加速向各个行业渗透。过去，A1在不同场景下需要开发和训练不同的模型，不仅投入大、效率低，而且是从最基础的模型开始开发，技术门槛极高。而如今，大模型很大程度上打破了A1通用化、行业化的瓶颈，为上层应用提供更多通用性的基础能力，企业不再需要按场景从零开始开发和训练独立的基础模型，仅需在较成熟的基础大模型上融入企业生产业务沉淀而来的私域数据，即可进一步实现大模型的专业训练，满足特定领域对准确度、安全性等方面的诉求。根据华为分析,预计95%的中大型企业未来将基于专属数据自建行业大模型，依赖如银行的企业账户与个

10、人财务信息、车企的自动驾驶影像记录、医疗集团的用户健康数据。其次，我们也发现，企业对于使用公开的大模型，是非常谨慎的。数据是企业的核心资产，企业无法接受在大模型使用中导致企业核心机密泄露。据CyberhaVer1对覆盖160万名来自各行业员工的调研，2.3%的员工曾将公司数据复制到ChatGPT,且其中机密数据占II%。而根据Gartr1er报告显示，沃尔玛、亚马逊和微软等公司已经通知员工不要在ChatGPT或类似生成式应用中输入任何机密信息，而摩根大通、花旗集团、德意志银行和美国银行直接禁止员工使用ChatGPT。Verizon也禁止员工从公司系统访问ChatGPT,原因是VeriZor1认

11、为如果将客户信息、源代码或知识产权等内容放置在A1平台上，这些信息最终将转化为这些平台的资产，从而失去对数据流转的控制。数据决定A1智能的高度A1大模型三要素是数据、算力、算法。随着A1技术快速成熟，各企业所能够使用的算力已逐渐趋同，均是以英伟达、昇腾为代表的GPU硬件；而各企业采用的算法也同样逐渐收敛简化，均采用Transformer模型基础架构和PytorchTenSorFIOw、MindSpore开发框架。因此，真正决定A1智能高度的是数据，企业需要思考怎样才能用好数据。首先，训练数据的规模至关重要。我们发现，同样是大语言模型，Meta开发的11aMA拥有650亿参数和4.5TB训练数据

12、，而OPenA1的GPT-3.5拥有1750亿参数和570GB训练数据，尽管11aMA在参数规模上仅不到GPT-3.5的一半，但其表现能力在大部分基准上均超过后者。不仅如此，11aMA更是与来自DeePMind的700亿参数模型ChinChi1ia、来自谷歌的5400亿参数模型Pa1M在表现上旗鼓相当。由此可见,相较于模型参数规模，训练数据的体量对提升AI精度的效果更能起决定性作用。其次，数据的质量同样重要。A1大模型生成不正确、有歧义、无意义或不真实的结果，根本原因就是缺乏具备规范性、完整性、时效性的高质量数据源支撑。对于基础大模型，主要基于厂商从公开渠道所获取数据的质量。而对于行业大模型的

13、训练及细分场景推理应用，模型效果取决于行业专属的私域数据的质量，这包含了企业原有数据，与实时更新的增量数据，也就是行业知识库。作为数据载体，数据存储成为A1大模型的关键基础设施作为数据载体，数据存储成为A1大模型的关键基础设施。数据存储是A1大模型数据收集、预处理、训练、推理的关键一环，决定了能保存的数据容量、训练及推理的数据读取效率、数据的可靠性以及数据安全。首先，海量原始数据的归集效率。这个阶段需要通过跨地域、跨线上线下的方式对数据进行归集汇总，进行如数据中心、边缘、云间不同协议格式数据的交互。据统计，PB级数据的归集通常花费35周，耗时占据整个A1大模型全流程时长的30%。为了加速数据归

14、集、减少后续分析的等待时间，需要存储具备高效汇聚、协议互通、海量按需扩容的能力。其次，数据的预处理效率。通过收集、爬取的原始数据是无法直接用于模型训练的，PB级原始数据会在这个阶段被CPU与GPU再次读取，进行解析、清洗、去重等工作，包含至少3次全量数据读取与搬迁，所消耗的CPU、GPU、网络、内存资源占据30%以上，然后最终生成训练样本用于后续训练。我们分析，企业在这个阶段耗时超过50天，占据A1大模型全流程时长的40%以上。为了保证数据处理的效率、减少资源的浪费，需要存储提供对数据的就近处理能力。第三，模型训练阶段的数据访问效率。在模型训练启动阶段，GPU服务器会随机读取数万个小文件，读取

15、完毕后才能启动训练。为了避免GPU等待训练数据的加载时间过长，需要数据存储提供千万级IoPS能力。此外，在模型训练的过程中，GPU服务器硬件的故障率较高，譬如业界模型训练平均每2.8天故障一次，如果每次均从头重新训练，将永远无法完成训练任务。因此，在过程中一般会设定数十次、甚至上百次的周期性CheC1point操作，保存中间过程数据，让发生故障后可以断点续训。在这个期间，GPU将会暂停，等待数据完整保存后才可继续运转。为了减少GPU的空置时长，需要存储提供数百GBPS级的读写带宽。此外，应用推理阶段的实时性和精准性。当大模型用于推理时，为避免大模型出现答非所问、内容杜撰等问题,需要将企业不断产生的私有数据联接到大模型。如果将这些全新的数据再次进行训练或微调，会耗费很长时间,且成本高昂。业界正在研究大模型旁外挂一个可容纳增量数据、并且实时动态更新的行业知识库，这其实就需要一个能够快速检索关键信息的新型存储。最后，在A1大模型全周期漫长的数据链条中，通常攻击的手段归结为两类,一类是传统的数据窃取，以获取勒索赎金。据统计，2023年平均每II秒就发生一次数据勒索事件，企业不仅面临赎金损失，还会面临商誉、商业机会、法律诉讼、人力和时间成本等损失，这些连带损失甚至是赎金损失的23倍以上。而另一类是新型的数据攻击，主