深度解析数据存储技术发展趋势.docx

《深度解析数据存储技术发展趋势.docx》由会员分享，可在线阅读，更多相关《深度解析数据存储技术发展趋势.docx（10页珍藏版）》请在第一文库网上搜索。

1、深度解析数据存储技术发展趋势目录1.序言1?AI大模型2?大数据4?分布式数据库5?云原生5?非结构化数据7?存储内生安全7?全场景闪存8?以数据为中心的架构9?AI赋能存储10?存储绿色节能101.序言A1大模型已超出人类想象的速度，将我们带入智能世界。算力、算法、数据构成了A1的三要素。算力、算法是A1大模型时代的工具，数据的规模和质量才真正决定了A1智能的高度。数据存储将信息变为语料库、知识库，正在和计算一起成为最重要的AI大模型基础设施。本文来自“迈向智能世界白皮书2023版（合集）高可靠、高性能、共享的数据存储，成为以OraC1e为代表的数据库的最佳数据基础设施。面向未来,对企业数据

2、存储进行了如下展望：AI大模型将AI带入新的发展阶段。A1大模型需要更高效的海量原始数据收集和预处理，更高性能的训练数据加载和模型数据保存，以及更加及时和精准的行业推理知识库。以近存计算、向量存储为代表的A1数据新范式正在蓬勃发展。大数据应用经历了历史信息统计、未来趋势预测阶段，正在进入辅助实时精准决策、智能决策阶段。以近存计算为代表的数据新范式，将大幅提升湖仓一体大数据平台的分析效率。以开源为基础的分布式数据库，正在承担越来越关键的企业应用，新的分布式数据库+共享存储的高性能、高可靠架构正在形成。多云成为企业数据中心新常态，企业自建数据中心和公有云形成有效互补。云计算的建设模式从封闭全栈走向

3、开放解耦，从而实现应用多云部署、数据/资源集中共享。A1大模型应用聚集海量企业私域数据，数据安全风险剧增。构建包括存储内生安全在内的完整数据安全体系，迫在眉睫。AI大模型推动数据中心的计算、存储架构从以CPU为中心走向以数据为中心，新的系统架构、生态正在重新构建。AI技术正在越来越多地融入在数据存储产品及其管理，从而大幅改善数据基础设施的S1A水平。AI大模型AI的发展远超过预期，2023年末，当OPenA1发布ChatGPT时，没有人能想到，A1大模型接下来将为人类社会带来历史性变革。简单来说，A1大模型时代的到来，存储作为数据的关键载体，需要在三个方面演进，即海量非结构化数据的治理、10倍

4、的性能提升、存储内生安全。在满足EB级海量扩展性的基础之上，需要满足百GBps级的带宽和千万级IOPS,实现10倍以上的性能提升。流程阶段数据获取三方收集、网络业取边缘汇聚脱敏、合规、审批、汇聚数据预处理模型训维推理应用原始数据训练数据模型训练+调优评估问题输入一向量推理边缘存储_边缘存储图因巨邑NAS协议/S3协议预处理服务器格式标准化错误组正异常数据清理重复数据;青除NAS协议/HDFS协议数据处理流程全域数据管理Q(=)dO0原始数据POSIX算力卸载存内计耸R器器T4点基础大模型训练行业模型训推一体化GPUICPU1GPU2GPU3，CPU2GPU4节点-12数据并行动专混合向量存储1

5、负载J加速、向最快速检索遢员四岛金手金训练集数据索引数据B-D向量库业务数据向量库安全风险药饵攻击/漏洞攻击（训练失准）勒索攻击（数据不可读）数据窃取攻击企业在使用A1大模型、HPC.大数据时均需要丰富的原始数据，它们的来源是相同的，均是企业所积累的生产交易数据、科研实验数据和用户行为数据。因此，大模型采用和HPC、大数据同源的建设模式是最经济高效的，实现一份HQ超融合架构训练/推理一体机资源管理软件数据在不同环境中协同工作。虚拟化软件A1组件网络节点训练/推理节点存储节点全闪存存储将带来性能大幅提升，加快A1大模型开发落地的速度；以数据为中心的架构可以带来硬件资源的解耦与互联，加速数据的按需

6、流动；数据编织、向量存储与近存计算等新兴数据处理技术，将最大程度降低企业整合数据、使用数据的门槛，满足资源的高效利用，降低行业接入A1大模型的难度；存储内生安全体系将保护企业核心私密数据资产,让企业更加放心地使用AI大模型。数据攫取数据预处理A1计算资源/任务调度新数据范式向量存储加速I近存计算跨地域海非结构化数据编织全局数据视图I多数据源/系统接入数据湖存储HPCA11大数据以数据为中心的高性能存储架构高速互联总线以闪存为中心的硬件基础设施高密SSD盘I高密整机?.大数据大数据应用的发展可以描述为传统数据应用、预测分析和主动决策三个阶段。传统数据仓库时代：企业通过数据仓库构建面向主题的、可随

7、时间变化的数据集合，从而实现对历史数据进行准确的描述和统计，为分析决策服务，但仅能处理TB级结构化数据。传统数据湖时代：企业使用HadooP技术构建数据湖，处理结构化、半结构化数据，实现基于历史数据预测未来的发展趋势。这个阶段形成了数据湖和数据仓库并存的“烟囱架构，数据需要在数据湖和数据仓库之间流转，因而无法实现实时决策、主动决策。湖仓一体时代：企业开始尝试从IT堆栈优化上寻找实时决策、主动决策解决方案，将大数据平台快速推向湖仓一体的新架构。其核心举措是与存储厂商联合创新，将大数据IT堆栈存算解耦，以数据湖存储实现数据湖和数据仓库共享同一份数据，无需在数据湖和数据仓库间进行数据流转，从而实现实

8、时、主动决策。数据湖、数据仓库、A1工具集C1ientp1ug-in算法卸载数据共享数据加速引擎统一数据格式表语义加速AC1D语义缓存负载感知的缓存共享时序热数据预取分区管理格式融合数据缩减ORCfi1eKVStoreParquetfi1e缓存服务持久化存储池Hudifi1eIcebergfi1e新型数据湖存储7?.分布式数据库开源数据库MySQ1和PostgreSQ1占据全球数据库市场格局T0P2o开源数据库正在重构企业核心系统。同时为确保业务平稳运行，分布式数据库存算分离架构正在成为事实标准。存算一体数据库存算分离数据库共享存储目前，全球主要银行均已通过存算分离架构分布式数据库建设新核心系

9、统,亚马逊AUrOra、阿里POIarDB、华为GaUSSDB、腾讯TDSQ1等主要新型数据库厂商均已将其架构转向存算分离，存算分离架构已经成为分布式数据库建设的事实标准。?.云原生企业云计算基础设施已经从单云走向多云。不论哪一朵云都无法同时满足企业所有对应用与成本的诉求。因此，89%的企业选择建设多个公有云和私有云并存的多云IT架构。目前基础设施面向多云打造的关键能力大致可分为两类。第一类是使能数据跨云流动，如华为和NetAPP存储支持数据跨云分级、跨云备份能力，使数据始终使用性价比最高的存储服务；另一类是数据跨云管理，让用户通过全局数据视图把握数据总体情况，并将数据调度到产生价值最大的应用

10、中。云原生时代虚拟机时代O1TPO1APO1TPO1AP资源发放高可用可管理性容器平台VMFSVSRMvCenterCSM即虚拟化平台可管理性服务器存储服务器存储企业采用开放解耦架构建设，让硬件资源可被多个云共享，数据可在多个资源发放高可用云间按需流动，方可真正发挥多云架构优势。多云管理平台多私有云多公有云OpenStadcKubemetesVMwareAWS华为云i统一运维视图I统一数据视图从硬件、平台到应用，最优的服务往往来自不同供应商，因此通过开放解耦的建设方式企业能搭建最优的IT堆栈。以A1为例。当前市面上最为火热的A1大模型供应商，如OPenAI、Meta等，其硬件基础设施能力远不如

11、NV1D1A、DDN,华为等IT巨头。没有任何一个厂商能够提供端到端的最优A1训练/推理方案，因此企业在搭建自己的A1训练/推理集群时，会选择开放解耦的架构，选择最优的硬件和训练/推理模型。?.非结构化数据随着5G、云计算、大数据、A1高性能数据分析(HPDA)等新技术、新应用的蓬勃发展，企业非结构化数据快速增长，如视频，语音，图片，文件等，容量正在从PB到EB级跨越。例如，一台基因测序仪每年产生数据达到8.5PB,某运营商集团每天平均处理数据量达到15PB,一颗遥感卫星每年采集数据量可以达到18PB,一辆自动驾驶训练车每年产生训练数据达到180PBo首先需要让数据“存得下：以最低的成本、最小

12、的机房空间、最低的功耗存下更多的数据。其次要让数据都要“流得动：数据中心间和数据中心内的数据需要根据策略按需高效流动。最后还需要让数据“用得好：企业的视频、音频、图片、文本等多种混合负载应用都能满足要求。?.存储内生安全数据作为A1的根基，其重要性进一步凸显，数据的安全就是企业核心资产的安全。据SPhmk公司发布的2023年安全现状报告显示，超过52%的组织遭受了恶意攻击导致数据泄露，66%的机构遭受勒索软件攻击，数据安全的重要性正在不断上升。网络安全防护主机安全防护机用安全惭华祛安全防外检测+响应数据在产生、采集、传输、使用、销毁的全生命周期处理过程中始终离不开存储设备。存储作为数据的最终载

13、体，数据的“保险箱，拥有近数据的保护能力，近介质的控制能力，在数据安全防护、数据备份与恢复、数据安全销毁等领域有不可替代的作用。图防火墙、沙箱、安全网关等0隐私计算、认证/访问控制等数据脱敏、敏感信息屏蔽等数据备份、存储防勒索、存储加密等存储内生安全体系通过先天的架构与设计，不断增强存储的安全能力，包含两个方面：存储设备自身的安全能力、存储的数据安全防护能力。A1S8铲11fA1收集A1预处理A1训练A1推理元数据管理用户鉴权证书管理安全杰势感知合规审计流转策略管理事雌加密的防勒索S数据都）缄安全销毁存储内生安全砧S全存设安Q存储硬件安全Q存储软件安全?.全场景闪存72%根据市场统计到2023

14、年，SSD的市场份额和出货数量已经是机械盘的以上，占比超过了65%。我们有理由相信企业正在迎来全面闪存化的时代67%33%2倍2.现音28%企业级SSD的核心组成部分一一NAND颗粒，很大程度上决定其成本。而3DNAND堆叠层数升级与Q1C颗粒的应用，推动全闪存物料成本不断降低。目前，主流颗粒厂商量产的3DNAND颗粒堆叠层数已经达到1761,并纷纷给出200层以上设计路标，比2018年提升接近2倍。除了堆叠层数，在颗粒类型方面，T1C颗粒已经成为企业级SSD主流选择，Q1CSSD也已登上舞台。更多SSD内容，参考“2023年计算机SSD固态硬盘词条报告，“企业级SSD技术和行业发展（汇总）、“中国企业级SSD行业技术合集、“SSD技术白皮书系列和“SSD介质技术。?.以数据为中心的架构近年来，A1和实时大数据分析应用蓬勃发展，以CPU为主的算力向CPU+GPU+NPU+DPU的多样化算力发展。未来，随着Ak大数据等应用更高的性能时延要求、CPU性能增速放缓，在服务器架构演进为Composab1e架构的同时，存储架构也将演进为以数据为中心的ComPoSab1e架构，从而大幅提升存储系统的性能。存储系统的多样化处理器（CPU、DPU内存池、闪存池、容量盘池，将通过新型数据总线互联