存算分离架构发展趋势解读.docx

《存算分离架构发展趋势解读.docx》由会员分享，可在线阅读，更多相关《存算分离架构发展趋势解读.docx（8页珍藏版）》请在第一文库网上搜索。

1、存算分离架构发展趋势解读来自twt社区同行交流,欢迎更多同行参与交流存算分离架构是否会成为主流架构？随着软件定义存储的不断发展，越来越多的开源分布式数据库在特殊的数据存取领域站稳了脚跟。而这些百花齐放的解决方案，不免让大家眼花缭乱。企业的IT架构是否会随着这些技术的发展而呈现革命性的变化？存算分离架构是否会成为开源分布式数据库发展下的主流架构？问题来自社区会员，探讨来自twt社区众多同行的分享，欢迎大家参与交流，各抒己见。*“争议”栏目内容来自同行分享的一手体验和观察，仅代表个人现占zxu八某金融企业机构师：只能说，存算分离是大数据架构演进的重要趋势。下面采用一些官方的报告。HaCIoOP1O

2、时代，计算和存储是高度融合，仅能处理单一的MaPRedUCe分析业务。HadOOP2.0时代，计算层与数据开始解耦，通过Yarr1实现了独立的资源管理，并开始支持Spark等更多的计算引擎；而如今来到Hadoop3.0时代，计算存储已分开演进，通过HadoOPEC来支持冷数据的存储，同时引入外置存储，如S3,增强其存储底座能力，逐步向数据湖架构演进。HadoC)P3.0时代，计算正向轻量化和容器化方向发展，计算存储分离演进已成为事实。计算存储分离后，我们用企业级的存储基座替代原来的原生大数据存储基座，好处是可以把当前企业级存储的先进技术带入到大数据里面来，如高可靠、高利用率、多协议融合等，更好

3、地释放数据的价值。1ight_hu86某省金融系统工程师:也不能一概而言，根据业务的规模，使用场景的不同，业务类型的不同进行综合考虑。JerryMisky金融银行存储架构师：纵观过去的20年，我们在算力、网络、存储方向的发展上都有了质的飞跃，然而横向对比却又不难发现三者并不是等效发展。网络，从此前主流IoOMb到如今IOGbE就绪，甚至迈进25GbE.40GbE,赶超了100多倍；存储，HDD硬盘的性能提升虽然没有网络的大飞跃，但得益于SDD制程和工艺的迭代，存储领域也有了相当显著的进步，NVME的应用已经炉火纯青；而回到算力上，即便是处理器工艺已经迈入7nm,算力的提升也远不及前两者的跨越。

4、非平衡的三元演进趋势，加之数字化转型中不同阶段衍生出的差异性需求，迫切的期待创造一个更加随心的架构形态。存算分离架构(DisaggregatedStorageandComputeArchitecture)似乎更像是当下的众望所归，充分契合如今的信息技术格局与各行业务境况，其得天独厚的优势也相得益彰： 更灵活的选择。计算资源与存储空间的配置互不制约，即使身处在形态各异的业务场景，都可以因地制宜构建个性化的配比，充分匹配业务的每一项资源要求。 更高效的扩容。计算资源先达到瓶颈？存储空间先达到瓶颈？都能够进行独立、按需扩容，持续保障存算资源的高效使用，杜绝存算一体扩容时带来的资源浪费。 更安全的隔离

5、。存、算各司其职，形成逻辑隔离。计算节点不再承担数据存储，计算节点动态增减甚至是故障宕机，无需大量数据的迁移，丝毫不影响数据存储的可靠性与完整性。某银行架构师:需要区分具体场景，一般来说存储与计算均衡发展的场景，尤其虚拟化场景，超融合已经是确定的趋势，如果是存算发展不均衡的情况下，比如计算密集型的高性能计算或者存储密集型的视频监控，肯定还是存算分离的。分离式部署的优点：计算资源利用率低，存储资源利用率高。超融合部署的优点：计算资源利用率高，存储资源利用率高。根据两者优缺点，结合实际场景有针对性看待。radiumguo英特尔ITS：存算分离，分别进行开发和优化肯定是个趋势。因为分布式计算架构，云

6、架构是个趋势。有些传统的系统和应用，原来使用OS级别的存储管理能力，扩展性的不够的,无法匹配集群化分布式计算架构发展，所以需要独立的分布式的软件定义存储管理系统。有些厂商能力较强，分布式计算和存储都可以做的很好，又有很好的整合能力，提供存算一体的方案也不是落后的表现。cpc1989某保险公司存储工程师：从架构上来看，存算分离将计算和存储分层、解耦，扩展性更好，可以适应不同的场景需求;但计算存储整合在一起也有好处，架构更加简单，更易落地，资源利用率更高，也有适合的场景。Ocean_华为IT技术咨询顾问：对于大型数据中心而言，计算量和数据量巨大，计算和存储分离能够带来显著的优势，如计算和存储单独扩

7、展，需要计算扩计算节点，需要存储扩存储节点，非常利于大型数据中心的管理运维。其次，计算和存储分离之后，对整体系统的可靠性也是有好处的，计算侧不用在为数据的可靠性担心，这些能力都有独立的存储层提供，计算可以更加关注以为解决业务问题，而不是投入太多精力在数据不丢失，访问不中断上面。存算分离也不全是优势，也带来了一些问题，比如说存储分离之后，对于计算和存储直接的网络开销就变大了，数据的局部性也不如存算一体的模式。因此判断一个技术是否为未来趋势，需要综合计算、存储和网络的发展来看：现阶段受摩尔定律失效的影响，CPU性能增长乏力，而相对而言网络和存储性能这些年提升比较快，因此网络和存储能力的增强一定程度

8、上弥补了存算分离带来的性能损失，使得在现网中部署存算分离架构成为可行的方案。从未来来看，DPU技术会更加速存算分离架构发展，不只是存储会分离出来，内存也会从计算节点独立出来，形成一个高性能内存池。从而计算节点可以动态地从内存池和存储池分配资源，从而达到资源的最优化利用。因此，我认为存算分离是未来趋势。赵海技术经理:从性能角度讲，存储计算分离的架构有利于发挥性能优势，各自发挥自己的优势。从很多技术发展的趋势来看，最终都会走向专业细分化的趋势，毕竟没有任何技术架构或者平台是万能的，都是针对某种场景才能发挥最大的优势，没有万能钥匙，技术发展的最终目标就是把合适的技术应用在合适的场景当中。从安全角度讲

9、，存储计算分离的架构有利于企业更有针对性地应用不同的安全策略来进行管控。数据才是企业的资源，计算只不过是对资源进行加工的工具而已，两者在安全上面的要求和管控策略完全不同。张鹏某金融科技公司高级技术主管：分布式数据库中，有一种分布式存储技术架构是计算和存储分离架构。这种架构为分布式数据库资源弹性扩展的诉求提供了新思路。除了基于无共享模式进行分区分片，在云计算时代，一种新的创新架构被提出，即计算-存储分离架构（大多NeWSQ1数据库采用此种架构）。近十年互联网的发展，网络的性能得到了大幅度的提升，高效压缩算法和存储结构的优化也减少了IO数量，在数据本地化优化较好的数据计算集群中，大量网络带宽处于闲

10、置状态，然而存储和计算耦合的架构不能很好的实现弹性。云计算提供了解决思路，它的核心思想包括分层和虚拟化：对IT架构分层后，每一层可以按各自的能力进行极限扩展；虚拟化后按租户隔离，可以提供高效率的弹性计算，降低了成本。计算-存储分离架构即“云”的模式和形态之一，将数据计算和存储进行分层，并通过高速网络连接。在这种架构下，数据库可以更加充分的利用不对称的存储资源和计算资源，让不同层都可以按照各自最优的模式进行横向扩展。donghuayi陕西重型汽车有限公司系统架构师：还是要看具体的业务场景。李静XSKY产品解决方案总监：目前看是一个趋势：1、从hadoop的架构体系演进也可以看到，从hadoop1

11、.0-hadoop2.0-hadoop3.0,在hadoop2.0里面已经可以看到存算分离的影子,hadoop3.0更加明确方向；2、随着云/分布式的发展，敏态场景数据量快速增长，原有的融合模式资源使用率低下，推动部分企业开始存算分离的试点；3、技术的成熟度，对性能的改善等也促进了存算分离方案的可落地;4、对于分布式数据库，国家发布的分布式数据库技术金融应用规范技术架构(JR/T0203-2023)要求：计算存储分离，存储分布式技术架构，目前很多金融客户由于数据量的规模，实际并没有做存算分离架构，而是采用本地盘方案，但未来随着数据量的增长，必然会走向分离架构。潘延晟系统工程师：我觉得存算分离准

12、确的说应该会是大规模信息化架构的趋势，举个例子说：以前接触过一家大厂的项目实施，从硬件上架，系统安装，数据库安装，中间件安装，软件调试部署，每一个环节都有一名独立的工程师。从整个项目实施来说，这样明确分工的确有很多好处，专人专职，可以让每个环节更加精益求精，但如果换到中小规模的项目或公司，就很难实现这样明确的岗位分工，更多的会是一专多能的人员实施方式。对比到整个架构中也是一样的，对于很多行业，特别是到了一定体量的金融行业来说，业务的稳定运行高于一切，那么整个系统架构势必会越来越庞大，分工越来越明确，要求也越来越高，存算分离也就成了一种趋势。但对于多数中小企业的信息化来说，可能还无法实现这样专业的存算分离，更多的还是会为了节省成本，在业务中断时间和成本之间寻找一个相对中立的方案架构。可选的技术方案也会多种多样，可能要随着企业的逐渐发展，信息化的规模逐步扩大，才会根据自身信息化发展特点形成特有的技术架构。tsrjzq英特尔解决方案架构师：一般来说，存算一体的计算和存储是强耦合的，不能分别扩展。在小规模的系统下，存算一体占主流。但是当用户需要的计算资源比较多，需要的存储资源也比较多了以后，需要计算和存储分别按需扩展、弹性计算，这样的话必定会演进到存算分离。因此可以认为存算分离是趋势。-全文完-