一线生产系统关联网信息仓库设计与研究.docx

《一线生产系统关联网信息仓库设计与研究.docx》由会员分享，可在线阅读，更多相关《一线生产系统关联网信息仓库设计与研究.docx（7页珍藏版）》请在第一文库网上搜索。

1、随着信息技术的发展，在信息时代的大洪流下，数据成为关键的生产要素，如何快速、高效利用数据，并将其转化为“数据金币”，最大程度释放数据价值，用技术手段挖掘数据所带来的潜在发展机遇，成为目前各行各业提升生产效率的首要应用。在此背景下，农业银行大力推动数字化转型发展，以高效利用数据来推动业务增长。尤其对于银行数据中心而言，多年汇总了大量的业务数据及生产运维数据，而利用生产运维数据更好地将异常的事中处置前移至事前预判和响应，更是成为数字化转型的重要抓手。顺应上述趋势，本文创新提出了一线生产系统关联网信息仓库的设计思路，旨在通过一体化视图展现运行系统涉及的业务、逻辑、运维信息，将一个个信息孤岛连接成一个

2、整体网络，以便于第一时间向一线运维人员提供数据和决策支持，并为数据分析平台提供快速查询的数据支撑。一、农业银行生产运维现状分析当前，银行一线运维部门对应用系统异常定位、处置、汇报等均留存了大量的信息资源，但数据集成和资源整合却并未能有效提供信息支持，如运维工作平台包含集中作业监控平台(BJS)、告警信息平台、各类信息表单工作台等，操作工具和客户端的差异导致信息重复、叠加、存储方式各异等情况频发。此外，运维人员的业务水平及经验也各不相同，长期的人工运行经验并未能转化为部门知识体系。综上所述，农业银行一线生产运维正面临诸多挑战。在运维职责方面，随着各类业务发展及科技化水平的提高，行内不同业务需求迅

3、速增长，数据中心承担的系统投产任务不断增加，涉及境内外各条线的业务数据批处理及联机交易监控等内容，例如一线运维人员目前已承担了900多个应用系统模块（截至2023年7月数据）的运维任务。同时，伴随科技部门自动化水平的不断提升，大量手工操作转为自动化运行，异常发现率及监控覆盖率持续升高，一线员工的工作职能逐渐由系统操作运行向系统运营转变，并需要提供更加快速直接的异常定位和决策支持。在数据使用方面，为提升运维质量及系统运行稳定性，当前系统运行部门基于历史运维数据开展了信息收集及分析挖掘工作，一线触发的大量告警信息、异常信息等运维数据开始“说话”，有效推动了数据中心的数字化转型进程，并促使安全生产、

4、事件问题解决得到了质的提升。但是，系统与系统间、处室之间甚至职能组之间的数据尚未互通，且有时存在数据信息内容不完全统一的情况，从而在一定程度上影响了工作推进效率。在异常响应方面，一线运维人员作为数据中心第一道生产保障的“安全员”，目前在处理异常的过程中通常停步于上报即结束的阶段，无法更好地提供异常可能产生的影响、关联性系统可能异常的信息，尤其在“发现异常一上报异常一处置异常一跟踪异常”的单向规则中，跟踪异常的效果未能及时反馈到新的重复性异常的判定过程中，影响了循环推进机制向主动运维转化的进程。二、数据仓库的优势和特点1996年，Gartner正式提出了“商业智能”的概念：“一类由数据仓库（数据

5、集市）、查询报表、数据分析、数据挖掘、数据备份和恢复等部分组成的、以帮助企业决策为目的的技术及应用。”其中，数据仓库的搭建及设计正是组建商业智能的核心，数据处理、数据可视化、决策支持等都依赖于良好的仓库搭建。对于生产运行部门而言，作为银行信息系统的一线运行处室，工作项中涉及海量的生产运维信息，包含主机系统、开放系统、网络、信息安全、环境设备等基础架构设施的运维信息，也存在批处理及联机异常等应用系统信息。同时，得益于异常信息的跟踪流程，生产运行与立项的系统项目组间的沟通也相较其余部门更加具有便利性。基于上述特点，搭建数据仓库不仅可以有效提高一线值班人员对事件定级、处置方式的选择，也有助于进一步提

6、升对关联性告警的警惕性，从而在主动运维的行动力上更显成效。例如，在银行生产系统的运维过程中，一条基础应用架构告警可能会引起多起批量运行事件，一起批量事件可能会引起多起批量事件，一起联机事件可能会涉及多条基础架构告警或多起批量事件，一个非计划服务请求或变更维护可能会引发多起联机事件，等等。简而言之，应用告警、批处理程序、变更服务之间均为多对多的关系，因此在特定逻辑上，生产一线所发生的异常均可能是互相关联、上下游引发且具有因果关系。结合上述特点，站在运维人员的角度，笔者认为数据仓库的搭建应满足以下需求：一是实时数据的传递和警告，二是数据汇总与处理，三是实现下钻及上取功能，四是提供关联性信息的展示。

7、其中，信息展示环节不仅要能够快速提供因异常引发的告警信息，还需能提供系统与模块、系统与系统间的关系参考信息提示，以及对受影响系统可能会引起的其他关联性异常进行提前“预警”，从而进一步实现智能型运维。三、生产系统数据仓库设计思路1总体框架及技术一般而言，传统数据仓库结构通常是基于数据预处理、数据存储、联机事务处理、数据展示等模块进行划分，即“数据仓库结构=ET1+DW层（包含DWD层及DWS层）设计+01AP+应用（APP、客户端、分析挖掘工具）”。基于此，本文在工具、平台及技术手段的选择上，重点参考数据仓库各平台工具的可用度及适用性，选择了运维信息数据源及基于Hadoop集群的分布式HDFS作

8、为底层数据存储方式，使用HiVe作为构建在HadOOP上的数据仓库平台，并将常规的SQ1语句查询通过DriVer进行转化，代替为MaPRedUCe（分布式编程模型）访问ER,在HadooP集群中进行多线程的并行处理。同时，从业务过程及需求出发，笔者以一线异常事件分析的描述性标识声明，结合系统、时间、专业等方面的粒度、维度，开展了数据仓库工具的使用和事实表设计。生产系统数据仓库体系架构如图1所示。图1生产系统数据仓库体系架构2 .逻辑模型设计基于“业务驱动”的核心目标，数据仓库直接驱动对数据源的选择以及ET1的转化结果。其中，数据主要来源于生产一线产生的各项系统运行指标，以及可能会影响生产运行指

9、标的可预见性事务。在此基础上，通过采用一致性维度、规范化标准对数据进行增强、变换、清洗与合并，底层数据将在经过ET1后存储于关系型数据库，作为HiVe元数据的存储介质，并以统一的形式存放到数据仓库中。此外，基于业务需求及可用数据源的综合考虑，一线运维人员通常希望快速得知系统运行情况。为此，农业银行在逻辑模型中重点确定了三大主题，即异常事件、生产系统与专业条线，基本涵盖了一线生产任务的全部范畴。3 .声明粒度实际工作中，粒度主要用于确定某一事实表中的行表示什么，而依照不同的业务分析目标，基本可以将所有确定的事情转换成各类维度，并按照每个岗位对需求目标、要求的不同（例如高级别决策层对细化程度要求较

10、低，分析人员对细化级别要求适中，操作监控人员对细化级别要求很高等），将粒度划分为三个级别，即决策层、分析层与详细层。4 .维度与事实表在运维领域，所谓维度通常是面向分析场景，用于构建数据仓库和O1AP引擎，而多维度数据库的搭建将可为深入挖掘数据价值和关联度提供高效支撑。其中，卫星表模型（雪花模型）更加适用于历史的描述性数据，并无需遵循第三范式要求，且该模式中事实表与维度表可存在一对多存储，因此笔者最终选用了雪花模型作为事实表与维度表模型。一线运维关联网的数据仓库维度见表I0异常事实表与维度表如图2所示。表1一线运维关联网的数据仓库维度主题子主题内容事件处置方式时间、处置方式、原因跟踪、事件内容

11、、处置时长、项目组等事件分布时间、影响级别、膨响范围、监控指标、模块等系统基础运维信息时间、业务交易量、风险、运营时间、业务高峰期、客户范围、运行维护工具等运维质量时间、业务连续性、告警量、事件单、监控AHfe率等专业条线专业部门时间、系统部署环境、设备信息、监控内容、系统负责人等专业告警时间、告警信息、告警涉及系统等专业条线维度PK专业条线ID系统部署环境设备信息专业部门系统负责人5 图2异常事实表与维度表6 .联机事务处理联机事务处理(O1AP)是一种多维信息的快速分析技术，可支持复杂的分析操作，且更侧重于管理人员的决策支持。实践中，O1AP依托多维立方体可对生产运维信息进行切块、上钻、下

12、钻、下旋转等操作，使用户能够从多个视角观察数据，并以可视化方式展现。相较而言，联机分析处理多维数据库包含了维度属性和事实表，相比SQ1语言具有更强的分析能力。四、应用场景及未来展望大数据背景下，数据驱动业务智能化转型的趋势日益深入，尤其是对于强调稳中求进的银行业来说，深入挖掘处理由生产系统产生的大量运维数据，更是对系统安全稳定运行起到至关重要的作用。当前，银行数据中心安全生产的首要目标是“第一时间恢复业务”，而数据仓库依托数据支撑和历史运维经验，可更加高效地做到“快速响应、快速定位、快速处置”，同时及时有效避免关联性异常的触发，保障生产系统安全稳定运行，为一线运维人员提供更好的数据和决策支持，以及为数据分析平台提供快速查询的数据层支撑。展望未来，商业银行还可进一步“以问题为导向”，持续探索知识结构拓扑、一线运维管理驾驶舱、自助看板、运行质量评测、决策支持等系统的开发与应用，强有力地推动银行实现数字化转型战略。