谈谈数据标准化做什么以及怎么做.docx

《谈谈数据标准化做什么以及怎么做.docx》由会员分享，可在线阅读，更多相关《谈谈数据标准化做什么以及怎么做.docx（15页珍藏版）》请在第一文库网上搜索。

1、谈谈数据标准化做什么以及怎么做目录1 .序言12 .数据标准化是数据治理的基础（为什么）21. 1.数据标准化面临的挑战与困难22. 2.数据标准的定义与作用33 .数据标准化的框架体系（是什么）64 .数据标准化实施流程与方法（怎么做）81. 1.数据标准化保障机制104. 2.技术平台和工具114 . 3.数据标准化关键域实施125 .数据标准化体系的量化评价（做成什么样）136 .案例精选141 .序言作为数字经济时代的新型治理范式，数据治理的核心特征是全企业的数据互通、数字化的全面 协同与跨部门的流程再造，形成“用数据说话、用数据决策、用数据管理、用数据创新”的治理机 制。在目前数字化

2、转型大趋势的推动下，企业数据治理的需求迫在眉睫。为了促进企业有序开展数 据治理工作，进一步厘清企业转型升级的主要痛点和关键需求，被称为数据治理红宝书的数据标 准化：企业数据治理基石本文根据数据标准化：企业数据治理基石核心内容提炼总结，希望在数据标准化的理论介 绍及实践经验方面，能为众多企业在数据治理的研究和实践中提供参考和指引，以期达到少走弯 路，减少探索，打好基础，快速取胜的效果。以数据为核心的组织数字化转型已形成社会变革的大趋势。积极开展数据治理，释放数据要素潜力，更好地赋能产业和推动数字经济发展，是当前企业尤 其是央企和大型集团型企业的重要任务。数据治理与数据标准化是密不可分的。于数据而

3、言，数据标准就是对数据的命名、定义、结构 和取值规范方面的规则和基准。数据标准化是企业或组织对数据的定义、组织、监督和保护进行标准化的过程。在开展数据治 理时，数据标准化的制定工作是基础，是数据在统一标准下进行规范管理的保证。数据标准化主要涉及包括元数据、主数据、数据质量、数据安全、数据架构、数据建模、数据 集成、数据仓库、数据存储和操作、文件和内容管理10个方面的工作。涉及的面比较广，专业性 也比较强。面向企业经营过程中的业务需求，数据治理为数据发挥应用价值奠定了良好的基础。而数据标 准化对于提高数据的科学性、统一性和规范性，实现数据的高度共享与应用，以及提升企业的数据 治理能力具有非常重要

4、的意义。2 .数据标准化是数据治理的基础(为什么)2.1. 数据标准化面临的挑战与困难数据标准是一经制定发布后相对稳定的静态文件，而数据标准化是一项带有系统性、复杂性、 困难性、长期性特征的动态管理工作，是对标准的某种程度上的落地。在数据标准管理中，通常数 据标准相对好制定，而数据标准落地就困难多了。国内的数据标准化工作已经发展了很多年，各个行业和组织都在建设自己的数据标准，但取得 显著效果的案例并不多。数据标准化难落地是数据资产管理面临的现状，不容回避。企业在数据标准应用中遇到的困难主要表现以下三个方面：(1)标准跟业务“两层皮”一是许多数据标准并没有真正落实到管理，也没有体现在实践中；二是

5、平时将数据标准束之高阁，只有在每年总结汇报或者外部审核时才抛头露面。(2)标准在实际中是“夹生饭”一是与企业管理实际脱节，制定标准可操作性较低；二是管理层、操作层界限不清，无所适从，难以指导信息化。(3)标准跟IT项目相比“靠边站”一是标准说起来重要、做起来次要、忙起来不要；二是标准化管理在“工期紧、任务重”压力下，为项目实施让路，阻碍了企业标准化管理。之所以会出现这种情况，是初步制定的数据标准本身有问题。有些标准一味地追求先进，向行 业领先者看齐，标准大而全，脱离实际的数据情况，导致很难落地。在数据标准化推进过程中主要存在以下几种问题：(1)对建设数据标准的目的不明确，跟业务脱节某些组织建设

6、数据标准，其目的不是为了统一组织内部的数据口径，指导信息系统建设，提高 数据质量，更可信地处理和交换数据，而是为了应付上级和监管机构的检查，因此他们需要的只是 一堆标准文件和制度文件，根本就没有执行的计划。(2)对数据标准化的难度和工作量估计不足数据标准化是一个长期的过程，不是一蹴而就的，应全方位治理。很多企业一上来就说要做数 据标准，却不知道数据标准的范围很大，很难以通过一个项目的方式都做完，而是一个持续推进的 长期过程。结果是企业越做标准化，遇到的阻力越大，困难就更多，最后自己都没有信心，转而把 前期梳理的一堆成果束之高阁。这是最容易出现的问题。(3)缺乏落地的制度和流程保驾护航数据标准的

7、落地，需要多个系统、业务部门的配合才能完成。如果只梳理出数据标准，但是没 有规划具体的落地方案，缺乏技术、业务部门、系统开发商的支持，尤其是缺乏领导层的支持，是 无论如何也不可能落地的。(4)组织管理水平不足甚至缺失数据标准落地的长期性、复杂性、系统性特点，决定了推动落地组织机构的管理能力必须保持 在很高的水平线上，且架构必须持续稳定，才能有序地不断推进。(5)缺乏运营保障，过分依赖外部咨询公司一些组织没有建设数据标准的能力，因此请咨询公司帮忙规划和执行。一旦咨询公司撤离，组 织依然缺乏将这些标准落地的能力和条件。以上这些问题导致数据标准化工作很难开展，更难取得较好的成效。而数据标准化是一项战

8、略 性、长期性、艰巨性、系统性、持续进行的组织内部数据优化治理工作，因此，数据标准化必然是 一个漫长而持续的过程，没有一针顶破天的诀窍，也没有立竿见影的途径，唯有企业持续不断、持 之以恒、不忘初心、不懈努力，才能达到预期目标。2. 2.数据标准的定义与作用对数据而言，数据标准(DataStandardS)是业务流程中产生的数据的统一定义，即对数据的命 名、定义、结构和取值规范方面的规则和基准。数据标准定义框架如图1,此定义是业务对数据项在企业营运环境中的统一业务定义及技术要 求，是保障数据内外部使用和交换的一致性和准确性的规范性约束，以达成对数据的业务理解、技 术实现的一致。标准分类及属性说明

9、业务属性倘述数据与业务相关联的触）技术属性倘述了数据与信息技术实现相关联的特性）管理属性GS述了数据标准与蝴标准酢相关联的特性）指标数据标准（指标数据的规范）交易数据标准（数据元、即数据项的规范）业务定义、计算公式、 统计口径、统计维度、 统计周期业务定义、业务规则、 值域数据格式、数据源数据格式、数据类型主数据标准（主数据实体的规范）主数据实体结构，属性 清单、业务规则数据格式数据安全、数据质量、 标准版本、标准有效日 期、标准责任部门、标 准来源参考数据标准（公共代码标准值域）业务定义、代码值、代 码描述业务术语（业务概念的规范定义）业务定义、同义词、命 名规范、图1数据标准定义框架数据标

10、准定义是从元数据管理视角制定的标准，可细分为业务标准、技术标准、管控标准，聚 焦在业务属性、技术属性和管理属性三个维度上。其中：业务标准是描述数据与业务相关联的特性。数据业务标准是对数据业务含义的统一-解释及要 求。它包括数据的业务含义解释、数据在相关业务环境中产生过程的描述、数据之间的制约关系、 数据产生过程中所要遵循的业务规则。如业务定义、业务规则、值域、代码值、代码描述、计算公 式、统计口径、统计维度、统计周期等。技术标准是业务在应用环境中对数据的统一技术要求。技术标准是描述数据与信息技术实现相 关联的特性，如数据类型、数据格式、数据长度、数据的缺省值及数据安全需求的等定义。管理标准是描

11、述了数据标准与数据标准管理相关联的特性，如标准版本、标准有效日期、标准 责任部门、标准来源等。数据标准可以采用不同的形式，具体取决于所描述的内容：关于如何填充字段的要求、控制字 段之间关系的规则、可接受和不可接受值的详细文档、格式等。它们通常由数据管理专业人员起 草。结合业务场景来看，数据标准化的核心作用在于实现数据的“五统一”，如图2所示。图2数据标准化实现的“五统一”(1)名称统一。同一数据实体如果在不同的业务环境下名称不一致，一方面不利于业务的连续性和完整性，另 一方面也不利于后续的统计分析。比如在仓库存放有两件同样的物资，如果名称叫法都不一样，则 计算机信息系统识别的就是两件不同的物资

12、，这样会影响物资采购计划，可能会造成库存物资积压 等影响。(2)定义统一。不同的业务领域有不同的业务场景，数据所含的业务含义必须与业务场景保持一致，才能保证 数据及衍生数据的正确性和准确性。(3) 口径统一。如果对数据的加工口径不一致，则统计出来的数据结果就不一致，无法有效支撑数据层的分析 决策。(4)来源统一。确定唯一且可信的数据源，可以保证基础数据的一致性。同时，源头数据的质量越高，未来构 建的数据大厦就越牢固。(5)参照统一。在企业业务运营过程中，会出现大量不同类型、不同主题、不同结构的数据，为了最大限度的 遵循和保障数据的标准，应制定统一的数据管理标准和规章制度。数据标准化是企业或组织

13、对数据的定义、组织、监督和保护进行标准化的过程，将数据标准向 下延伸至信息系统实现层进行技术层面的标准化，打通了上层业务提出的数据规则与系统中具体数 据的联系，就是建立一套符合自身实际需求，涵盖定义、操作、应用多层次数据的标准化体系的过程或系列活动。它是一项长期、体系化的工作，需要在各个方面同步推进，而不仅仅是数据层面。3 .数据标准化的框架体系(是什么)数据标准化是数据治理的重要组成部分，但和数据治理一样，也有完整的框架体系。全面的数据标准化体系应包括应用类数据标准、架构类数据标准、基础类数据标准、作业类技 术规范，数据标准化保障机制和数据标准化管理工具，数据标准贯穿整个数据生命周期，如图3

14、所 示。反他工业政努数据共享、服务数据目录数据交换数据服努元数据标准化组织数据目录标准化制度数据模型交易数据标准数据元标准“贵与喇数据标准标签数据标准指标主即数据标准指标数据人才培养元数据数据文化业务术语业务规则主数据数据采集规范ETL作业规范数据建模规范元数据管理规范运营管理场范数据奥源申请规范类数据标准作业类技术规范数据标准化 保障机制数据分类主对象类数据标准数据安全规范数据分类规范主数据管理规范数据服务规范数据共享规范源数据服提供规范数据采集数据加工数据生命周期数据归档数据俏毁图3数据标准化体系(1)作业类技术规范：包括数据采集规范、数据安全规范、数据分类规范、主数据管理规范、数据建模规

15、范、元数据管理规范、数据服务规范、数据共享规范、数据资源申请规范等。作业类技术 规范根据作业层面的技术操作和管理要求，对数据标准化的贯彻和执行予以约束。(2)基础类数据标准：包括业务术语、业务规则、命名规范和代码标准。数据标准化是经营管理和生产运营活动的基础，需要职能管理部门和业务部门负责制定本领域的业务术语、业务规则、命 名规范和公共代码标准(或数据字典标准)。创建数据需要业务领域的知识，以确保从数据创建之时 开始，组织内部对数据有着一致性的理解。(3)对象类数据标准：包括数据分类标准、主数据标准、数据元标准、交易数据标准、指标数据 标准、标签数据标准和主题数据标准。数据标准化需要明确需要哪些对象及如何被标准化。而对象 类数据标准阐述了数据对象的分类，每类数据对象的分类、定义、命名、描述及管理流程或规范。主数据标准、数据元标准决定了各类交易活动的记录(交易数据或事务数据)被创建的格式及数 据质量是否满足企业级的要求。主题数据(主题库)被存储在数据湖、数据仓库中，来源于不同交易系统(信息化系统