某企业数据智能管理治理平台设计建设技术方案.docx

《某企业数据智能管理治理平台设计建设技术方案.docx》由会员分享，可在线阅读，更多相关《某企业数据智能管理治理平台设计建设技术方案.docx（61页珍藏版）》请在第一文库网上搜索。

1、项目编号:某企业数据智能管理治理平台设计建设方案1.1 总体建设方案概述31.1.1 数据治理论述51.1.2 数据治理流程81.1.3 基础库治理步骤91.1.4 治理过程产出121.2 平台建设总体设计121.2.1 平台设计理念131.2.2 平台架构设计141.2.3 平台技术特点151.3 数据治理建设方案161.3.1 数据标准管理161.3.2 元数据管理201.3.3 数据质量管理251.3.4 数据集成管理301.4 数据管理建设方案31IAl数据资产管理311.4.1 数据异常管理441.4.2 数据架构管理471.4.3 数据开发管理481.5 数据智能建设方案541.5

2、.1 数据血缘541.5.2 智能标签561.5.3 数据探索581.5.4 画像分析591.1总体建设方案概述数据管理平台涵盖了数据的全局治理和过程管控，是数据可用的前提，只有 确保数据的标准化、规范化，可信可用，才能进一步通过数据运营、数据应用帮 助大数据中心实现数据资产管理，发现内部数据问题、发掘数据价值，进而实现 数据资产的盘活和有效利用。数据管理平台基于元模型驱动模式，构建一体化的数据资产管控，实现全流 程、全生命周期和全景式的三全治理，确保每一份数据资产皆可靠、可信、 可用。通过对数据、应用、系统综合管理，构建标准化、流程化、自动化、一体化 的数据管理体系。数据治理将分散、多样化的

3、数据通过汇集、标准化、清洗等操作对数据的质 量进行全面的提升和监控，形成城市大数据的管理和控制机制，并提供一站式数 据治理体系，持续不断的挖掘和提升数据的应用价值。从功能角度，数据治理系 统包括数据标准管理、数据目录管理、数据质量管理、数据集成、工作流、数据 地图/数据血缘、数据管理数据安全、多租户、元数据管理、系统安全等功能。制定相关标准规范及管理制度,通过相应平台工具汇聚区内各单位公共数据 及市级落地数据资源，形成区级数据池，同时经过数据清洗、转换、融合、治理 后高质量的公共数据资源，形成区级综合数据平台。数据治理系统通过对数据全生命周期、端到端的全链路透明化管控,实现数 据模型标准化、数

4、据关系脉络化、数据加工可视化、数据质量度量化，实现数 据资产的统一管理及全业务流程的实时监控，有效解决数据资源不可知、数据质 量不可控、数据关系不可联、数据脉络不清晰的痛点问题。数据治理就是将数据转化为资产的手段和方法,采用的数据治理子系统和工 具，以分布式存储和运算为基础，通过人工智能和机器学习技术，辅之以适量的 人工训练和专家反馈不断优化数据理解和数据关联。数据治理子系统给围绕闵行 区大数据资源平台的应用建设目标，包含数据地图、数据质量、智能监控、数据 保护伞以及安全卫士，提供全面的数据治理能力，提供数据提取、数据清洗、数 据标准化、数据转换、数据关联、数据比对等方面服务。在数据打通过程中

5、，同 时做好数据质量管理，主要包括四个方面数据缺失补缺、数据重复去重、数据错 误纠正、数据不可用补救。数据治理子系统通过标准APl接口、用户自主上传与自主数据抽取技术将 用户内部数据直接导入数据池,利用全局数据处理技术在数据池中解决大量数据 的集成处理，将数据统一整合、集成，最终形成可以提供高质量数据的数据集成 平台，提供规则、无错漏、清洁、有价值、易使用的集成数据环境。/在线服务 -9、_0 T _深度学习知识图谱KJ数据特征、专家智乜 行业知识库更新令 数据湖+人工智能*讨第三方联 。第n分析数据理解数据关联数据整合数据安全IJW内部数据（含暗数据）专家少员参与数据治理流程图数据治理子系统

6、支持现有的绝大多数数据格式的导入和识别。通过结合人工 智能技术，数据治理系统能够将数据自动识别并抽取存入数据湖中，与传统ETL 不同的是，数据治理系统的全局数据处理技术在应对多系统、多部门、多环节、 多数据、多表单的使用场景时更加科学。全局数据处理能够避免在全局数据汇总 前的信息流失，最大程度的在完成数据集成的同时保持数据的高保真、高还原。1.1.1数据治理论述大数据治理工作从数据汇聚开始,到最终服务业务,主要包括以下几个阶段:大数据治理方法论G上云汇集汇聚融合提炼抽象离线数据实时数据数据管理K模型治理r 治理应用数据 资源层 CADMT基础数据 数据治理Z整合数据,资源层 ,I /资源层ID

7、 Mappingid Mapping A ID Mapping 卜.Sjj关系计篁口一岁用读I卜京线雷知识 =1 12sg数据资产大屏A标签查询A安保监控大屏A全息画像 A规则引擎A预警中心品服务A数据开放 APl开放)为了无法计算的价值I C:口阿里云第一阶段：数据汇聚，融合管理从政务办公网、感知网、社会协同单位收集各类数据，形成大数据中心的数 据基础,并对汇集的原始数据开展基于数据管理视角和业务应用视角的治理及应 用工作。基于数据管理视角，对业务元数据、技术元数据进行集中采集和管理，从站 位全局服务闵行区大数据创新应用的角度梳理大数据资产,构建数据资源目录和 数据资产管理应用，达到数据资源

8、的规范化和可视化；汇聚后的原始数据仍处于 零散、不可直接使用的状态，为数据使用者提供一站式的集成开发环境，从而满 足数据资源平台下，数据开发者进行ETL开发、数据挖掘算法开发、数据主题 库建设等需求；对数据融合处理的全过程通过质量管理工具进行管理监测，保障 数据质量；因政府数据的机密性、高敏感性等特点，需对数据资源层中各数据项 进行安全上的分类分级，确保数据使用合理、安全可控。基于业务应用视角，对汇聚的基础数据开展模型治理，通过数据清洗加工、 基于业务背景及要求的处理加工、以及面向应用专题场景的开发，依次构建整合 数据资源层、主题数据资源层、应用数据资源层，形成指标口径一致、统存统用 的大数据

9、资源层。第二阶段：基于数据，提炼抽象信息，形成知识因政务大数据涉及的来源广泛、数据采集背景及方法多样甚至特殊、复杂， 导致因不同的汇集场景等因素，各个实体对象往往存在多个ID ,需要对ID间关 系做计算,通过IDMaPPing ,建立ID和实体人/物间的关系，从而串联起实体 人/物的属性/行为信息。数据中的各种人/物、事件、活动轨迹也不是孤立存在 的，需要对各个部份的数据做动态关系识别、轨迹匹配等操作，形成统一的关系 库、轨迹库等。基于业务需求引导和对数据资源信息的价值梳理,对数据进行进一步提炼加 工和算法计算，将数据标签化，基于四大库构建全息档案等标签库，支撑专 题应用库建设,并通过标签中心

10、产品对用户及开发者开放。第三阶段：构建应用，服务业务按照业务场景需求，将基础库、主题库和专题库等进一步组合利用，可构建 起各类业务创新应用，如监控大屏、全息画像、预警中心等应用。通过数据服务 平台，可以把数据和标签在线服务化提供给开发者和用户。1.1.2数据治理流程部门管理员中心管理员（实施人员）2同步生产库数据结 构到前置库5生产库落标并数据 桥接到前置库1）标准录入数据治理平台会包含部分5大库数据标准，行标、部门标准等需由实施人员从客户处采集后录入系统2）同步数据结构由于数据治理过程需采集数据元并标准化,故需先将生产库需桥接库表的数 据结构录入前置库3）元数据采集将数据结构采集入数据治理平

11、台4）标准化实施人员为采集来的元数据挂接数据标准，标准化其元数据格式属性、值域 等5）落标及数据桥接部门管理员根据标准化的字段属性，将生产库数据桥接到前置库6）质检及整改中心管理员对前置库数据进行质量检查及整改7）数据集成中心管理员将质检后数据集成到治理库8）逻辑质检中心管理员对治理库的数据根据业务需求进行逻辑层质量检查9）资源挂载部门管理人员对已完成数据治理的治理库数据进行资源挂载1.13基础库治理步骤针对于基础库的治理主要流程如下：基础库准备基础物理库以及基础库元数据通过产品初始化脚本创建。默认基础库模型中 的字段约束，包括字段类型，长度，规则等参考基础库基础目录技术规范，例如 人口库：数

12、据集成以人口库为例，将前置库中的部分数据和人口数据元进行关联。以人口基本信息表单(LRK-BaseInfo )和人口扩展信息(T_RK_Summary ) 为目标，主要验证：多个表的数据合并：户籍人口和流动人口汇集到人口库基本信息表。默认字段赋值；人口基本信息表中的rowguids personguid需要uuid赋值。一张表到多张表；户籍人口和流动人口汇集到人口库扩展信息表，并且扩展信息表的 personguid需要与基本信息的personguid 一致。规则过滤；自动过滤不满足身份证校验的数据；自动过滤不满足代码项的数据，其中不满足部门代码项的、满足部门代码项 但是人口库中没有对应的代码项

13、的数据都需要过滤。代码项转换；性别和名族代码项，部门代码项实际值与人口库代码项的值不一致的，通过 显示值进行匹配后自动转换成人口库的值。其他来源的字段更新。人口基本信息表的死亡标识状态由民政局的死亡信息目录进行更新。需要满 足条件的才会进行更新。溯源分析通过可视化图形，展现人口库和公安、民政等部门的溯源关系。通过数据治理工作后，形成的数据治理成果物。1.2平台建设总体设计本项目建设数据智能管理平台适用于分析型系统数据处理的各个过程，负责 数据的加工处理以及加工处理过程数据标准、元数据和数据质量的管理。平台可以提供数据输入、数据加工、数据输出和贯穿数据处理各个过程的全流程、全生 命周期的数据处理

14、、数据治理和数据管控的一体化建设。整个平台对数据进行治理、管理与应用的过程分为以下三个核心环节：采集/集成环节提供更多渠道、更复杂数据源的采集，包括业务系统数据ETLz外部文件、 第三方接口抽取，实时消息采集等。加工/计算环节提供随时变化的数据加工，包括批量数据加工，实时交互计算，机器学习等。决策/探索环节支持用户个性化需求、自主数据探索，提供固定主题的报表、指标，临时报 表需求、自助取数，数据探索、数据实验等功能。1.2.1 平台设计理念本项目建设数据智能管理平台的总体设计理念如下：数据模型标准化通过平台将数据模型的要求严格落地，杜绝不满足标准的数据模型出现在系 统中。数据治理产品化数据治理

15、的成果和内容，必须通过切实可行的IT手段落实到系统来严格执 行数据处理工厂化数据处理工作，必须实现工厂化的建设和管理，以极速、低成本、高质量 要求来响应业务部门的个性化数据需求。数据运营全员化体现平台化、开放性的思想，提高数据开放的可视化，实现人人参与数 据治理、数据建设和数据运维数据安全可控化体现安全的重要性、必要性，保障系统数据安全和数据服务开放过程中数据 的安全可控。1.2.2 平台架构设计1.2.2.1 总体架构设计平台采用工厂化的数据处理和管理模式，通过数据生产计划、数据生产执行 和数据生产管理三大子模块，保障数据处理全过程透明可控，实现工具化、流程 化和自动化的开发、运维、管理，提升数据开发、生产的效率，保持系统健康、数据生产计划模块：主要功能为：需求设计、设计确