谈谈阻碍数据建模的5大借口.docx

《谈谈阻碍数据建模的5大借口.docx》由会员分享，可在线阅读，更多相关《谈谈阻碍数据建模的5大借口.docx（4页珍藏版）》请在第一文库网上搜索。

1、谈谈阻碍数据建模的5大借口随着大数据和数据湖的发展，数据建模似乎濒临灭亡。数据湖的开发者留下了大量数据沼泽，所以建模活动还是必须的。那么为什么仍然存在关于数据建模的问题呢？当然有各种各样的原因。有些问题至少已有30年历史，而最近人们更加认为使用云数据平台和分析数据架构的E1T方法所致。下面我们看看常见的阻碍数据建模的原因：目录1 .缺乏兴趣一一企业真的不在乎12 .缺乏“全局”一一没有全面的业务数据模型13 .数据作为应用程序完成或事后的想法24 .效率问题一一建模只会减慢速度35 .直接获取数据一一数据沼泽遗留问题46 .小结51 .缺乏兴趣一一企业真的不在乎尽管C1O和CEO宣传“数据驱动

2、”，但对于某些企业而言，数据的管理和利用并没有放在主要日程上，至少在高层是这样。这可能是可以理解的一一并非每个企业都是“数据企业”；数据可能很重要，但仅在特定的独立领域内使用。有些组织从事采购和销售产品、提供法律顾问等行业，这并不是说他们不使用数据，而是，就目前而言即使使用EXCe1这种处理工具也满足使用了。这可能发生在传统的组织中，可能发生在行业领军企业，也可能发生在技术初创企业中，在这些组织中，良好的数据是运营次要考虑因素。解决方案：除非组织遭受足够多的数据相关痛苦，或者高级管理层选择支持战略性数据支持业务方法，否则数据建模以及治理和其他数据内容将主要在项目级别完成，以实现本地目标。2 .

3、缺乏“全局”没有全面的业务数据模型数据建模通常被视为支持运营和分析产品开发的详细活动，从数据策略中删除，并且仅作为详细业务分析的一部分影响业务用户。但是，如果没有组织数据分布的高级地图，公司如何“数据驱动”，或者业务领域如何就数据所有权和责任达成一致？CDO应该如何合理跨越多个应用程序或孤岛的数据，每个应用程序或孤岛都有相互独立的目标，成为“客户”的真正来源，或者了解特定数据流的原因？90年代的情况是庞大、详细的3NF“企业数据模型”，通常会运行到100或IOOO个实体。有时，这是为特定行业“现成”购买的，但随后需要在企业内部进行验证和调整。毫不奇怪，这些做法通常会陷入困境，被更紧迫的业务优先

4、事项所取代。解决方案：高级”业务数据建模”或“概念数据建模”的艺术已经存在超过15年。在经验丰富的从业者手中，对于中型企业或部门，应该可以在13个月内制作出良好的初稿，包括与企业所有部门的适当互动。通常，这可以与针对更多高级管理人员和员工的数据素养练习一起完成。随着从一个业务域更详细的数据工作引发对概念或全新概念的差异化的需求，可以改进和扩展这样的模型。从“顶层”开始数据建模本身就非常有用，这是组织数据处理方法的基础。3 .数据作为应用程序完成或事后的想法尽管许多应用程序产生并依赖于数据，但一直存在一种趋势，尤其是程序开发中，忽视数据建模，而不是应用程序设计中首要事情。这尤其体现在两个方面：a

5、）使用第三方程序加速业务能力许多应用程序都有自己的数据模型，该模型存在于“要么接受要么放弃”的基础上一一您可以调整数据需求，以适应应用程序的数据模型。另一方面，其他应用程序积极鼓励业务用户进行本地定制，而不考虑数据模型是否真的有意义。更广泛的集成问题可能会被搁置一旁，只要应用程序可以获取或交换数据以满足即时需求，也许是通过API。一些应用程序甚至积极阻止在其自身环境之外提取数据。解决方案：仅购买能够提供清晰数据模型和/或用于分析目的的精心构建的提取/数据共享选项的应用程序。建议将这部分作为采购必要条件，而不仅仅是“是/否”的回答。b）内部应用程序开发人员将数据建模视为事后的想法这是企业内部的问

6、题，开发人员通常在时间压力下工作，向内部或外部用户提供数据展示，这些用户对数据的存储方式没有直接兴趣。解决方案：数据建模师应该是任何应用程序团队的核心部分。数据模型初稿通常应该是开始第一个真正的敏捷开发的先决条件。将产生的数据供下游使用，无论是出于操作目的还是分析目的，都应该是整体框架的一部分。这是数据驱动开发的最佳实践，数据网格模式强烈建议这种做法。4 .效率问题建模只会减慢速度模型就是这样一一对现实世界的简化。在进行数据建模的情况下，通常会捕获一些隐式规则和关系，希望能够适应企业管理其现实世界交互的方式。90年代的关系建模被认为太慢了，识别实体、关系和属性的视图通常被业务变化和新数据源所取

7、代，并且在捕获和传输在线事件时未能增加价值。随着组织从生产纯物理产品转向更多数字产品，定期更改成为常态，建模被视为阻碍或与保持最新所需相冲突。解决方案：在在线应用程序中，半结构化“文档模型”方法提供了事件封装和可扩展模式的一定程度的灵活性。使用此类结构的最佳实践隐含地承认3NF分析的原则。分析数据平台转而提供对JSON等格式的本地支持，并具有不同程度的承诺。在分析领域，DataVaU1t方法通过归纳关键实体之间的关系、识别来源的多样性和高变化概率以及构建历史记录来提供敏捷性。数据网格建议将大部分建模留给本地域一一尽管它也提倡双时态建模方法，并谈到需要通用标准、一一种新的建模方法，甚至一种语言来

8、实现跨域的“可组合性”。最终，为用例或应用构建正确类型的模型是成功的最佳秘诀，无论是文档、3NF、DataVaUIt还是维度。虽然建模首先是一项逻辑活动，在底层数据平台中支持一系列具有良好性能的数据建模方法可以显着简化逻辑到物理的映射。5 .直接获取数据数据沼泽遗留问题虽然大数据运动是由互联网生成的庞大数据驱动的，但它也是对复杂性和数据变化率问题的回应。随着一些组织开始通过利用一切数据产生巨大收益，人们越来越不愿意丢弃任何数据。而且数据湖从业者认为，建模已经过时了。现在，当连接大型数据集或多表模型的数据很痛苦时，创建大量非规范化数据集的动力就非常强烈，通常会导致大量重复。对数据安全的忽视也进一

9、步助长了这一趋势。受此经验的影响，基于云的“现代数据堆栈”中出现的两个互补趋势出现了一些阻力：“廉价”存储和“转换（E1T）模式”。许多云数据平台参与者至少在某种程度上将存储与计算分开。云对象存储具有弹性且相对成本低。大量数据出于未知原因被保留，原始数据或建模不佳的数据被直接使用并且从未正确集成。虽然存储很便宜，但不断增长的数据量推高了按消费定价的计算，使平台提供商有鼓励客户不要在乎数据建模。这笔费用不能完全回避一一即使是廉价存储的数据有时也应该被删除，无论是为了减少混乱、降低滥用风险还是让地球更轻盈。许多组织己经转向分层数据建模方法，其中第一层采用“原始”数据，无论是直接匹配O1TP系统上的

10、表格，还是未经提炼的JSONWeb和IoT日志。这种E1T模式并不新鲜，例如在Teradata等平台上的数据仓库模式和实施中很常见，已有十年或更长时间。理想的目标是原始层馈送到更多层，通常是反映某些规范模型（例如3NF或DataVaUIt）的一致性层和针对最终用户的表示或交付层（通常按维度建模）。将数据保存更长时间是有正当理由的一一监管（证明你五年前所做的是合法的）、网络安全（攻击模式可以发展数月）、数据科学和长期分析（将原始数据转化为新功能）、或者仅仅是利用直接的内置历史从旧数据重构下游新产品的能力。与此相反的是隐私法规和违规风险，以及将半衰期短的数据保存太久的环境成本。最终，这又回到了数据

11、所有权和“为什么”的问题上。解决方案：仅仅因为可以忽视，并不意味着应该这样。具有可靠治理、良好的数据高级模型和可靠数据架构的组织可以受益于更便宜的存储和易于使用的平台支持的数据底座和转换模式。不急于对数据进行详细的过度建模并在其价值确定之前花费大量的计算周期和工程师时间进行转换可能是有价值的。同样，让我们现实地看待数据的“半衰期”，尤其是原始数据一一很少有法规要求保留超过7年的历史，而M1模型则更少，除非着眼于长期的事件。您的数据平台在捕获依赖关系和访问历史记录方面有多好？这有助于识别那些从未或很少使用的数据集，并避免因担心下游后果而保留数据。6 .小结就像数据中的许多好东西一样，良好的建模源于组织承诺、适当应用良好实践和模式的技能、精心设计的流程以及设计师的优秀技能。在大多数数据平台上，不进行建模是灾难性的。