云环境下的存储技术路线选型方案.docx
《云环境下的存储技术路线选型方案.docx》由会员分享,可在线阅读,更多相关《云环境下的存储技术路线选型方案.docx(18页珍藏版)》请在第一文库网上搜索。
1、云环境下的存储技术路线选型方案云环境下,企业不是为了适应云而上云,而是需要根据既有和未来的业务系统的数据、访问、负载、变化等相关需求去选择正确合适的技术元素,然后如何将这些元素融入自己现有的云环境当中。云环境下,企业应该如何根据不同的业务负载、数据特征选择最适合的存储技术路线?社区专家主张议题主编苏海涛某集团公司首席数据官:本议题下由江西农信运维技术经理邓毓、江苏农信存储工程师康建国、北部湾银行技术经理哲哲蛙、嘉兴银行信息安全负责人高鹤针对关键点发表主张,几位专家的主张经过利安人寿资深工程师陈萍春、某证券云原生技术专家汪照辉、某金融机构架构师李威等几位专家的复议,最终形成了一定的共识呈现于此,
2、希望对同行有所帮助。在当前的云环境下,满足业务混合负载需求的多存储服务共存是当下主题,在存储架构选择方面,分布式和集中式两种架构各有优缺点,因为分布式架构更复杂,所以一般能用集中式解决的就无需考虑分布式,千万不要为了分布式而分布式。随着金融科技技术的飞速发展,当前银行信息系统业务负载的数据特征并非完全单一类型,而是呈现出混合的数据特征,需要应对多种IO类型的存储需求,包括高并发IO(交易)、高吞吐IO(分析)、普通文件存取IO(文件交互)、海量文件存取IO(对象交互)等。例如银行的信贷系统,通过手机银行等互联网渠道办理信贷业务时,有高并发、低时延的IO需求;通过信贷管理端在线统计分析信贷相关数
3、据时,有高吞吐、高性能的IO需求;信贷系统和其他业务系统交互数据文件或者信贷系统各应用节点共享文件数据时,又有便捷可靠的文件存取IO需求;通过柜面等线下渠道办理信贷业务产生海量的影像文件时,还有海量小文件归档和调阅的IO需求。在对存储的需求上,越来越多的银行信息系统呈现出像信贷系统这样混合的负载需求,非某一类某一种存储(集中式或分布式块、文件或对象)能够完全满足。在当前的云环境下,满足业务混合负载需求的多存储服务共存是当下主题,在存储架构选择方面,分布式和集中式两种架构各有优缺点,因为分布式架构更复杂,所以一般能用集中式解决的就无需考虑分布式,千万不要为了分布式而分布式。下面以某银行真实业务负
4、载为例,分类剖析其存储技术路线和方案的选择,旨在帮助读者结合企业实际业务负载需求进行合理的决策。一、渠道/前台类业务银行各类业务渠道非常多,是直面客户办理业务的信息系统,主要线下渠道包括柜面、ATM、POS.智能柜台等,主要线上渠道包括手机银行、网银、移动营销(平板)、微信营销、互联网金融等。1)这两类渠道系统要么是间接为客户办理业务的柜员、PoS收银员,要么是客户自己。所以在办理业务过程中,客户等待办理业务的时间或者自己的体验感非常重要,这就要求渠道系统自身的耗时要绝对小(业务办理的体验感是全链路的,渠道系统是业务链路最前面一个环节),在存储端需求表现为小IO但延时要求低,量级最好在毫秒以内
5、。随着越来越多的渠道系统也开始上云,采取分布式存储却不是一个最佳的选择,因为采用通用X86带SSD盘,用软件搭建的分布式存储,即使其IO响应时间达到极致,无论如何也比不过现如今的全闪存储阵列,这是因为高端全闪采用了大量硬件加速10,专用硬件的效率是软件所不能比拟的,因此建议云上这类对IO延迟严苛渠道系统数据库底层存储能用全闪最好。2)针对高并发的渠道系统,如手机银行、互联网金融等,其他线下渠道受限于柜员、终端或客户端总数量,其TPS或者QPS会存在上限,并发需求的极限也是容易预测的,采用集中式全闪完全足够。而高并发渠道的业务TPS兼具爆发性和难以预测性,集中式架构越来越捉襟见肘,尤其是这类渠道
6、系统如果采用单体集中式的数据库很容易就达到瓶颈,采用分布式数据库不可避免成为趋势。对存储需求而言,更多要求的是K)PS能力,所以目前而言分布式数据库+分布式存储是最佳组合。3)即使是渠道类系统,也有业务管理的功能需求和文件共享需求,主要是报表查询、统计和分析,管理和应用文件系统共享等。在存储需求角度,这类业务管理IO是轻分析类型,数据特征为低IO吞吐,云环境下对接集中式存储或者采用底层为分布式存储的块存储服务均可,文件共享可以采用集中式NAS或者云上NAS服务。二、平台/中台类业务银行的业务平台类有两种,一种是共享服务平台类,对全行信息系统提供基础性服务,包括通讯、影像、公共业务和安全等内容,
7、如ESB企业总线、影像平台、业务中台、安全中台等。另一种是业务产品平台,如信贷大平台、中间业务平台、支付平台、银行卡系统、电子银行平台、互联网能力中心等。1)针对通讯及安全校验类服务平台,其数据库往往仅需提供配置的存取功能,通常是异步松耦合的架构,整体IOPS较小,对IO响应时间也不敏感,应用节点大量横向扩展满足TPS要求即可。因此存储端需求采用集中式存储或者云上普通块存储服务即可,有ESB文件FTP共享的需求的,可以采用云下或者云上NAS服务。2)针对影像类服务平台,主要体现在影像数据库和影像文件本身的存储需求。影像数据库会存储影像与业务的关联关系,以及与影像文件的映射关系。业务大量接入影像
8、平台后,海量的影像文件快速增长,对数据库的压力也陡然剧增,其数据访问特征是高IoPS小吞吐低延迟,站在存储的角度,分布式数据库十分布式存储较集中式数据库+集中式存储的架构更有远景优势。针对影像文件本身的存储选择,毋庸置疑选择云上或云下对象存储服务即可,传统NAS或者云上NAS服务在海量数据面前有着先天劣势。3)针对业务产品平台,如信贷系统一样,其数据特征类型比较多,属于混合负载类型,因此需要结合各类需求,针对性地选择存储方案,如针对数据库既有高并发低延时需求,又有高吞吐高性能需求时,一方面数据库可以进行数据拆分,实时表和历史表要分库,实时库用集中式数据库+全闪组合,历史库用于统计查询和分析,则
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 环境 存储 技术 路线 选型 方案
