NewSQL分布式数据库在银行场景的实践.docx
《NewSQL分布式数据库在银行场景的实践.docx》由会员分享,可在线阅读,更多相关《NewSQL分布式数据库在银行场景的实践.docx(10页珍藏版)》请在第一文库网上搜索。
1、NewSQ1分布式数据库在银行场景的实践【摘要】在金融领域,绝大多数的银行业应用设计都是基于传统单机关系型数据库,没有从整体应用架构考虑与第三代分布式数据库进行适配,尤其在银行核心系统应用第三代分布式数据库案例甚少,没有可复制的成功经验可以借鉴,面临的挑战主要有两个方面,分别是数据库自身的机制问题和核心系统应用的复杂度和差异性挑战一、项目背景随着新一代信息技术在金融领域的蓬勃发展,科技与金融业务不断融合,为金融行业注入新的发展活力,使科技成为金融高质量发展的“新引擎”。数据库作为IT基础设施最关键的组件之一,广泛应用于银行业务系统,目前在我国IT基础设施领域银行业金融机构多数依赖于国外数据库产
2、品,未能真正实现技术安全可控。其中,银行核心系统作为对事务强一致性、高安全性、高稳定性要求最高的金融联机交易场景,其国产化进程将成为IT基础设施自主国产化的最后一公里,也将是国产数据库产品成熟度最有力的证明。某某银行成立之初,选择Mariadb技术路线,选型考量是产品的开源性和公立性,作为一家银行,数据安全也就是客户资金的安全,MariadbGa1eraC1USter强同步机制是考虑的关键点,我们在系统建设阶段制定了严格的数据技术标准和配置规范、统一使用MySqI协议,禁用存储过程,规范SQ1语法,限制事务大小等措施进行数据库的标准统一,但是随着业务规模的发展,Mariadb数据库带来了复杂性
3、、性能和容量方面的挑战。为了解决这个难点,我们开始在一些支付系统上尝试采用分库分表数据库架构,来解决业务量增长带来的数据库性能和容量问题,但是解决了老问题又来了新的问题,多实例分库架构带来了应用侵入和全局一致性等问题,这些问题只能从应用层面通过代码去解决,这样就增加了研发成本。同时给运维工作也带来了复杂度,首先分库分表架构的扩容是一个庞大的工作量,再者DD1变更操作也需要在业务量较小的时间段来执行,为了面对以上问题,我们开始考虑有没有一种新的数据库架构能解决以上所有问题。二、数据库架构选型分析数据库从其主要实现方式、技术架构和优势特点等方面可以分为以下三代:1第一代传统单机关系数据库传统单机关
4、系型数据库架构主要通过主备机方式实现数据的高可用性,以Orac1e、DB2等国外知名产品为主要代表,是目前国内大部分银行业关键交易场景的支撑技术。传统单机关系型数据库无法做到线性的性能扩容,其扩展方式只能采用垂直资源增加方式,无法横向扩展,其稳定性依赖于成本昂贵的的硬件设备,不能支撑快速增长的金融业务需求。2 第二代中间件关系数据库第二代中间件关系数据库采用单机数据库引擎与中间件代理层相结合的设计方式,实现了良好的水平扩展性,以第二代开源MySQ1分库分表架构为主要代表,主要应用于技术领先的互联网银行、直销银行的关键交易场景。目前,从互联网领域发展而来的第二代中间件关系数据库技术在行业应用中成
5、熟度较高,其实现方式通常为开源的单机数据库(例如MySQ1或者PostgreSQD与分布式数据库中间件相结合的方式,或者基于开源数据库的深度定制。此类数据库虽为分布式架构,但存在有以下问题:一是对金融复杂交易类业务场景的支撑力不足。第二代中间件关系数据库产生于传统互联网业务场景,无法满足银行业高安全等级的核心交易场景,其自身的高可用、容错及同城/异地容灾等方面的能力不足;二是对业务代码和数据建模的侵入性较大。第二代中间件关系数据库在数据库建模设计时,每张表都需要显示指定分片键,对业务侵入性极大,容易造成业务代码改造难度大、成本高、工作量繁重、后期运维困难等问题,无法高效处理复杂的交易逻辑和金融
6、级事务交易。3 .第三代NewSQ1关系数据库NeWSQ1关系数据库采用内核级自动分片策略,结合高效分布式事务模型,是关系型数据库和NoSQ1数据库的完美组合。既可以实现水平线性扩展,又避免使用分片键,既保证了应用程序的使用透明,又极大降低了业务迁移中的工作量,是目前业界最先进的全分布解决方案,主流产品都是基于Goog1eSpanner论文衍生的产品。综合数据库技术的三代发展历程,我们考虑采用第三代NeWSQ1分布式数据库架构解决存在问题,在18年初开始测试了当时主流NewSQ1架构,我们选择支持MySq1协议的NeWSQ1架构,有以下几个方面考虑:(1)完全兼容mysq1协议,满足我们数据库
7、规范,应用适配成本较小;(2)分布式架构无应用侵入,解放了开发人员繁重的代码改造工作;(3)扩容工作将变的非常简单,轻松的增加服务器带来线性的性能提升,最重要的是支持dd1类在线变更,其实DBA大部分工作其实都是数据变更和提取,我们正在建设数据库自动化平台,计划和devops对接实现数据库自动化变更。(4)安全性和可用性考虑,本身采用raft的多数派协议,将节点部署不同地点就可以实现同城或者异地多活架构,还可以和mysq1数据库架构进行实时数据复制。三、银行应用场景分析及难点某某银行从18年就开始尝试NeWSQ1数据库架构,生产环境19年初最早在线查询场景进行了使用,技术储备一定阶段之后上线了
8、批处理业务场景,到19年10月上线了第一个真正的关键联机场景,互联网贷款系统,互联网贷款系统目前每天140OW日交易量,QPS日峰值9W次,总数据量达到8T以上。我们在联机场景已经上线了贷款业务场景、支付业务场景、核心系统目前也完成了应用适配,已经在生产环境并行上线试运行。银行核心系统是银行场景中AC1D特性要求最高的,也是典型的联机交易场景,在银行场景中对数据库成熟度要依赖性最强的应用系统,后续NeWSQ1在银行业务场景应用介绍,按照银行核心场景应用项目进行展开。与前两代数据库相比,NeWSQ1分布式数据库是关系型数据库和非关系型数据库的结合体,在架构和机制上都有很大的差别。在金融领域,绝大
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- NewSQL 分布式 数据库 银行 场景 实践