数据中台数据管控体系简明教程.docx

《数据中台数据管控体系简明教程.docx》由会员分享，可在线阅读，更多相关《数据中台数据管控体系简明教程.docx（11页珍藏版）》请在第一文库网上搜索。

1、数据中台数据管控体系简明教程大数据、数据治理、数据湖以及被热议的数据中台概念，无不让企业信息化部门疲于跟进,而不是根据企业的实际情况决定建设节奏。企业A的TT部门，就曾受到“业务部门要求建设数据中台”的压力，但迟迟难以下决心启动数据中台项目。从A企业的视角来看，目前，行业内缺少有说服力的数据中台成功案例，陆续有媒体曝光一些大型企业投入巨大，但是也没有产生较好的效果，这更是让A企业IT部门觉得数据中台可能只有部分大型互联网企业才能取得非常积极的效果。经过分析讨论，A企业TT部门认为，业务部门并不是一定要需要所谓的“数据中台”，而是需要一个响应迅速的数据访问和加工处理服务。那么如何构建一套业务数字

2、化发展所需要的数据服务体系呢？01传统数据管控体系的五个挑战一年前，该IT部门曾经启动过业务数据湖集中管理项目，最后以失败告终。事后复盘，该IT部门认为失败的主要原因在于两个方面：1、很多业务部门以各种理由拒绝将主要业务应用系统的数据分享出来，理由千奇百怪；2、IT部门对于建设数据湖后到底能在哪些业务场景如何应用难以给出有说服力的实例。TT部门，包括应用需求管理和开发部门，并不深入了解业务场景，无法提出数据集中的应用场景说服业务部门共享数据。最终，在采购了一堆存储硬件和软件后，宣称所谓的“数据湖”系统上线，但是里面基本上没有重要的业务数据。近年来，数据的价值越来越被重视，甚至被经济学家认为是和

3、人、设备、土地、资本一样的重要生产要素，数据资产被形象比喻为数字时代的“石油”。将数据类比石油，可以发现一些有益的启示。石油产业价值链已经历了数百年市场化演进，从原油勘探到成品销售的价值变现过程，由上游、中游、下游的多个产业环节、数以万计的公司通过技术、运营、管理、交易等复杂的活动来完成，产业链分工明确、相互协作，不是仅靠单一的技术系统来实现，可以说，石油产业价值链是具备超强效率与变现能力的最佳实践参考。企业内部的数据价值链与石油价值链具有明显差距，如下图所示：石油产业价值链上游中游勘探开采运输仓储燎制下游中间品销iT成品加工成品销售II Xi数据架构 数据采集数据传输数据仓储- 跤据中合 m

4、. 欺密架构设计基于接口和SB本 基子脚本 NP及其变种源海据摆件欧敬文数据资产价值链数据服务 /) 原总 /数据消费 业务应用场景遗侦、石丁商业科技观察石油/数据价值链对照传统数据管控体系大多数是建立在技术栈基础上.，业内比较领先的数据管理技术栈如下:数据中台数据架构治理数据湖部门AU)传统数据管控体系数据源：数据大部分都散落在由不同的（业务）部门、不同的团队建设和运维的应用系统中。数据湖：通过数据湖、数据仓库等技术手段，将不同系统中的数据进行集中管理。数据架构治理：通过制定数据架构、数据标准、元数据管理等，降低数据交换的难度。数据中台：为数据的进一步加工处理提供平台和通用技术功能支持，提供

5、数据的进一步分类和聚合，屏蔽数据源访问差异。从技术上来看，当前的数据技术栈可以较好支持数据的获取和加工，但是任何价值的实现都不是仅靠技术能够独立实现，正如同石油资产，没有良好的管理运营体系支撑，最多只能是开采后保存在仓库的原料，消耗了技术设施投资，难以变成企业的业务收入，更难于构建一个有良好利润和现金流的业务模式。当前基于数据技术栈的企业数据资产管理体系存在着诸多挑战。比如，难以解决组织竖井壁垒的难题。在企业内部，虽然数据的所有权名义上属于整个企业，但是执行上，数据的开放和共享会遇到应用系统管理团队和业务部门的隐形障碍，数据需求部门往往最终很难及时拿到自己想要的数据，最后不了了之。最终，数据中

6、台也好、数据湖也好，都只是搭建了一个技术系统，但缺乏高价值数据的导入和输出。即使能够解决数据的共享和输出问题，“铁路警察一一各管一段”（这可能是数据管理实践中的另外一种真实写照），没有人对数据整个处理流程负有责任，数据处理过程不能有效衔接，质量和时效性难以保证，出了问题回溯分析也非常困难。过去数据仅限于单个.业务或职能小范围使用，如今多数据的联合分析需求已经扩展到企业的各个层面，低劣的数据质量危害将放大到整个企业。但技术团队没有被赋予端到端质量管理的职能，很多时候也没有能力和意愿进行管理。传统数据管控体系还缺乏支持数据高效流动和处理编排的工具。这个工具与目前热议的“数据中台”不同。目前数据中台

7、是一个十分混乱的概念和实践，其目的是希望将企业所有数据进行跨部门、跨业务、跨系统的集中，建立数据主题库，对数据进行加工分析，因此数据中台只是被动解决数据集中问题，没有将数据的共享和交换作为一个基础平台来开发和实现，其结果是在数据流动层面还是基于个体的、定制的开发。H前的数据技术栈，对于构建统一的数据流动管道和处理流水线，普遍还缺乏重视和实现；很多实践还停留在基于脚本、基于定时、基于手工的管理模式，没有实现数据的管道化高效流动和流水线化编排处理的架构和管理模式，效率低、风险大，难以支持数据的及时变现，支持业务运营和创新要求。而石油产业为了提升整个产业链的效率，一个最重要的方法就是搭建跨公司、跨地

8、域（甚至是全球性的）石油管道网络。02从三个层面优化如果企业希望数据资产价值能够快速高效地变现，需要改变传统的技术管治导向，转变为构建“面向价值变现的数据资产管治体系”，最重要的是从组织体系和管理体系上进行优化改善，才能达到事半功倍的成效。如下图所示，面向价值变现的数据资产管治体系包括以下几个部分：面向价值变现的的数据资产服务管控体系数据中台数据架构治理数据湖数据服务目录部门A部门B数据消费场景部门C数据跨部门、跨系统的无障碍流动与共享箱魏科技观察资产流动管道与处理流水线人应用 应用面向价值变现的数据资产管治体系具体来说，从以下三个层面入手进行优化。1、组织结构层面：设立独立的数据管治与服务团

9、队，或者将职责赋予现有合适团队团队应承担以下职责：对企业所有系统的数据拥有管治权利。数据价值管理：面向企业战略和业务经营，发掘具备重大价值的企业数据需求，整合后台数据资源和技术资源提供数据服务，为数据实现最大化价值的H标进行日常活动。数据服务运营：通过运营的方式对外输出有价值的数据服务，具体见下文（服务运营层面）。数据质量管理：通过数据架构治理和数据质量查验等对数据的整个生命周期的质量通过设定标准、安插质量检测点、质量考核等在数据投入产出比的约束下管理数据质量。数据共享管理：具备组织权利和执行智慧，打破数据的组织壁垒、系统壁垒，推动数据在企业范围内的无障碍流动和利用。以A企业来说，在结合众多案

10、例介绍和自己企业的实际情况，他们最终决定采取务实的原则,将IT部门定位为服务中介和技术支持角色，接受自己不懂业务的现状，不介入数据应用的具体业务场景，数据的跨部门共享和沟通留给业务部门处理，业务的应用场景和数据价值变现由具有前瞻意识的业务部门识别和评估。2、服务运营层面：为企业的利益相关者按照服务输出的方式进行日常运营包括：数据服务管理：提供数据服务的服务FI录和服务处理流程，定义SLA,决定数据需求的正当性，提供友好的服务界面和用户支持体系，自动化服务交付，解决服务中的故障、咨询、问题，保证服务的可用性和用户体验。数据运营管理：利用营俏方法，宣传和推广数据服务，建立用户价值样板，不断提升数据

11、质量、服务质量、价值实现、影响能力，甚至市场吸引力和竞争力。3、技术平台层面：在参考先进技术栈进行构建和完善的同时，增加以下功能和特性数据服务目录：提供数据服务目录的管理、用户访问和服务交付对接。数据消费场景：提供对重要数据消费场景的实现支持和试点支持。数据流动管道和处理编排流水线：提供企业范围内统一的数据流动管理、数据编排管理、丰富数据接口支持、Devops模式支持、数据活动备案审计、数据流动安全管理等。数据服务即代码(Data Service as Code)：平台服务和模块都提供API接口，能够被其他系统通过代码调用获取数据结果和数据处理编排等，嵌入到消费场景中，而不是依赖手工管理和系统

12、操作实现。以A企业为例，通过应用开发和运维团队的梳理，从技术层面汇总企业内部已有的数据，建立数据目录，包括数据的内容、数据的起止时间、存在于哪个系统、归属哪个业务部门等。最终建设了企业级统一的数据管道和处理流水线编排开发平台，为各个系统的数据共享和连接建设技术平台和通路，降低数据共享和流动的难度。利用数据管道和编排开发平台，在业务部门协调好跨部门的数据共享后，IT部门可以快速帮助业务部门实现数据应用场景，培训.业务部门数据的分析能力，做好服务支持。在个别部门通过数据成功获得了.业务价值后，IT部门积极支持业务部门的案例效果总结与宣传，在企业内部进行有效的宣传。通过这种方式，A企业的IT部门逐步

13、获得了业务部门的支持，使数据的部门壁垒逐渐消融,越来越多的业务部门愿意开放数据，并利用其它部门的数据进行数据资产的挖掘。03数据流动管道与处理编排流水线新体系的核心：数据流动管道与处理编排流水线石油产业的公共基础设施之一是管道网络(Oil Pipelines),为油品在跨地域、跨企业、跨产业内不同价值环节提供了高效、低成本、安全可控的转移手段。同样的，对于数据资产而言，数据管道网络和编排流水线(DataPipelines,以下简称数据流水线)也是数据管治体系的核心基础设施之一。企业可以采购目前市场上相对成熟的数据流水线产品；具有技术研发实力的企业，也可以自行开发此类平台。数据流水线应该具有以下

14、主要功能:1、丰富的数据集成接口:能够对己知的公共协议、系统私有接口等进行连接，包括但不限于：各种关系数据库、nonSQL数据库、数据仓库与挖掘系统、数据集成与ETL 工具（如 Informatica DataStage SSIS）、ERP 系统（如 SAP Oracle、Peoplesoft） 大数据平台（Hadoop各种变种、Spark等流式系统变种）、操作系统与文件系统等。2、强大的数据处理编排能力：数据处理分析的流程越来越长，对时效性要求越来越高，传统基于定时触发、基于单个操作系统、基于零散脚本连接处理过程的方式无法应对。统一的数据处理编排平台能够对跨系统、跨平台的数据处理过程进行任务

15、编排，提供基于脚本关联关系建模、基于多种触发模式（事件、返回结果、依赖关系、定制逻辑等）等功能支持，能够动态向不同系统上分发处理任务，能够预测处理。3、支持数据处理的开发过程Devops化：为数据开发团队以及Devops团队提供开发、测试、发布、运维的一体化集成平台，不需要额外的工具完成从数据过程定义、测试、发布到生产环境、变更管理和故障处理的全过程，避免了传统模式下开发人员与运维人员在数据处理相关应用和任务上摩擦和低效。4、Datajob As Code数据处理即代码：提供代码接口，开发人员、运维人员不需要手工配置系统，通过代码直接动态生成和管理数据处理任务。5、数据安全保护与审计：通过管理手段和技术手段禁止非流水线平台对数据的迁移和访问后，流水线提供数据传输过程的安全保证（加密传输），并对流动操作都有留档备查（时间、数据访问账户、数据流动起始位置、数据内容、数据去向等）