数据管理发展趋势.docx

《数据管理发展趋势.docx》由会员分享，可在线阅读，更多相关《数据管理发展趋势.docx（14页珍藏版）》请在第一文库网上搜索。

1、数据管理发展趋势前言21 .架构的改变(Architecture Shifts)21.1 1重“关联”、轻“采集” 41.2 ”移动性数据”成为主要案例51.3 集中式、分布式、随机式数据治理并存51. 4元数据是未来数据管理的关键62,技术的转变(Technology Changes)62. 1人工智能让数据管理软件的运行更加流畅63. 2动态元数据创造“自我驱动型”数据管理82 . 3开源软件收益与风险的平衡93组织的衍化(Organization Evolves)102.1 自动化数据与分析工作即将来临 103 . 2人机联盟：少花钱、多做事114 .3元数据与数据管理架构紧密贴合115

2、 .4数据管理新角色不断涌现12前言当前，数据驱动型业务战略与信息产品的潜力比以往任何时候都要大。对于多数企业机构而言，数据分析与管理已成为它们业务战略的重要驱动力。数据分析与管理领导者正在通过挖掘数据价值来驱动数字化转型、创造盈利机会、改善客户体验和重塑行业格局。随着云、本地、边缘间的界限逐渐消失，数据管理的未来可以用四个关键词来描述。9 I /T首先是分布式(Distributed),未来的数据管理将是分布式的，因为数据管理须随数据所在的位置而进行。其次是无服务器(Serverless),此概念较特殊、并不是指未来的数据管理不再需要服务器，而是指未来将没有一个明确的集中式服务器。再者是协调

3、(Orchestrated),今天的数据会产生在不同的地方和设备上，所以须把它们协调管理。最后就是元数据(Metadata),无论数据分散在何处，元数据均能把它们协调在一起，因此元数据是未来数据管理中非常重要的一个元素。三大维度总体而言，数据管理的未来发展趋势可从三个维度来看一一架构的改变、技术的转变以及组织的衍化。1 .架构的改变(Architecture Shifts)Gartner于2018年针对数据和分析的采用趋势进行了一项调查(多选题)。结果显示企业机构目前使用最普遍的信息基础架构技术为“基于云平台的数据存储 (63%)。Source P-lWA Data I AnaMxs Adop

4、tMn TrmO 2016 mb - c，一一GartnerGartner于2018年针对数据和分析的采用趋势进行了一项调查(多选题)。结果显示企业机构目前使用最普遍的信息基础架构技术为“基于云平台的数据存储 (63%)。一些传统技术，例如数据仓库(Data Warehouse)和数据库管理系统(DBMS)仍然占着相当大的比重。这些传统技术在未来并不会消失。举例而言，“数据仓库”是一个非常广泛的案例，未来数据的研究和分析都将需要用到该技术一一主要配合在特定案例和场合中使用。此外，未来还将有诸如“数据目录” (Data Catalogs)这样的技术被广泛使用。“数据目录”是元数据的重要基础，以往

5、“数据目录”主要用于帮助企业机构了解数据的定义和来源，但现在的趋势是“数据目录”可以帮助企业机构了解数据的特性、使用者以及使用场景。因此，在数据管理的未来趋势中，“数据目录”将具有举足轻重的地位。此外，数据湖(Date Lake)已从此前放置在内部数据中心中转变为目前可放在云端上，这是一个非常大的变化，未来诸如此类比较高端的技术均可以移至云平台之上。1.1重“关联”、轻“采集”Outcome and utilization metadata108UU00Distributed serverless logicDatajosuuoosNEAdoOutcome and utilization me

6、tadataDistributed serverless logicData从上述调查背景可以看出，未来的数据管理和集成将会变得更加“关联”（Connect），更少“采集”（Collect） 当前，在数据管理上，企业机构通常重“采集”、轻“关联”，此情形在中国尤为严重一一即企业机构在采集和存储数据后，并不能立即挖掘其中的价值，失去其时效性。原因在于，从数据被“采集”到应用其价值，这中间有相当长的流程(如上左图所示)，包括描述、整理、集成、分享、治理和实施。这一长串流程对企业机构内部IT技术具有相当大的考验。随着机器学习技术的引入和元数据的应用，目前数据管理和集成已开始呈现出一种新趋势，即更加注

7、重数据的“关联”(如上右图所示)，也就是指无论数据是在本地、云端、某个设备感应器上或任何地方，我们都可以在数据保留在原地的情况下，将它们关联起来，而无须采集到特定地方。在未来增强式的数据管理的环境中，自动发掘数据、透过机器自动意识识别数据中的价值、认定有价值的数据、分析数据、自动采用适合数据的安全措施、分享数据、优化数据，最终实现在最短时间内将精准的数据发送给对的人，对于企业机构至关重要。1.2 移动性数据”成为主要案例数据管理与集成方面的另一个趋势是“移动性数据 (Data inMotion) o以往，诸如交易产生后，企业机构便把数据存储进数据库或数据中心内，后续任务即制作报表等工作，这类的

8、数据被称为“静态型”。“移动性数据”指的是在交易过程中，企业机构就可以看到实时的数据处理一一无论数据处在边缘设备还是在数据中心内。数据始终是数据商用平台的核心所在。L3集中式、分布式、随机式数据治理并存与数据管理(Data Management)不同，数据治理(Data Governance)注重数据的使用者、使用方式、使用权限的合规性制定。未来的“数据治理”将会非常动态一一可以是集中式、分布式，亦可是随机式。“随机式”是指企业机构可以通过机器学习来增强数据内容以及评估用例。举例而言，某件物品在首次被海关征收关税时，海关可能不知如何“治理”它。但“机器学习”引擎可以自动分辨该物品的属性，进而据

9、此自动帮助海关生成此件物品应该遵循的“治理”规则。1 . 4元数据是未来数据管理的关键企业机构的数据来源不仅多种多样(包括ERP、CRM、SCM和HCM),且用途极为广泛(可用于外部供应商、客户与合作伙伴，呈现方式包括图表、报表和指示板)。将这些来源与用途连接起来一一即连通无服务器进程(ServerlessProcesses)和物理合并(Physical Consolidation)的关键桥梁就是元数据。2 .技术的转变(Technology Changes)Gartner预计，在2021年之前，能够采用数据中心、数据湖或者数据仓库这种统一战略的企业机构，将比竞争对手多出30%的使用案例。此外

10、，在2023年之前，75%的数据库将迁移至云平台上，此举意味着减少数据库管理系统供应商的规模并且增加数据治理和集成的复杂性。2.1 人工智能让数据管理软件的运行更加流畅GartnerSelf-Driving Data Management: DQ: Extend profiling, cleansing, linking, identifyingand semantically reconciling master data in differentdata sources MDM: ML-driven configuration and optimization ofrecord-match

11、ing and merging algorithms DI: Simplify the integration development process, byrecommending or even automating repetitiveintegration flows DBMS: Automated management of storage, indexes andpartitions, database tuning, patching, upgrading, securitypatching and configuration现在，人工智能可以帮助企业机构增强数据管理。事实上，数

12、据管理技术的未来就是人工智能和机器学习的应用。具体而言，有以下四方面：第一是数据质量(Data Quality) o目前市场上有很多供应商都是在用机器学习的方式帮助企业机构扩展和增强数据的分析、清理、连接、识别、语义协调和重组。企业机构在不同数据源中管理主数据质量以往需要人为操作、费时费力，而机器学习可以使这一整串流程变得完全自动化，且准确率明显提高。第二是主数据管理(Master Data Management)。机器学习可以帮助企业机构配置和优化主数据，尤其在记录匹配和算法融合方面，机器学习可以让企业机构对主数据的管理更加便利。第三是数据集成(Data Integration) 0人工智能

13、可以通过升级多个相同模式并根据语义分析，向企业机构告知数据源的相关性，推荐企业机构将相同的数据源进行连接，最终使得数据集成的流程更加简化。第四是数据库管理系统(DataBase Management System)。人工智能技术的引入将使数据库从存储、索引、分区到调整、优化、修补一一这一系列繁琐的人工流程变得更加自动化。2. 2动态元数据创造“自我驱动型”数据管理Gartner机器学习和人工智能是一个后端底层技术，诸如性能分析等更多数据管理工作的完成还需动态元数据的支持。元数据专门用于描述数据的特质，帮助企业机构将不同的数据进行关联并做推荐。以数据分析为例，企业机构在定义数据的相关性时，动态元

14、数据就会起到中间凝合力的作用。2. 3开源软件收益与风险的平彳SecuntyRisksBenefitsTCO = Total cost of ownershipGartner提及开源，一般想到的是总拥有成本（TC0）很低、企业机构的回本速度很快。虽然企业机构有时无法通过开源软件（0SS）得到所需支持，但目前市场上已有很多商业软件包可给予帮助。其次，若企业机构需要研发创新并保持灵活性，那么开源软件应是首要选择。再者，据Gartner调查，全球90%的企业机构已把开源软件用在任务关键型的IT流程中。最后，企业机构应把服务水平协议与商业供应商的平衡性放入自身的数据管理策略考量中。3.组织的衍化(Or

15、ganization Evolves)Gartner预测，到2022年之前，使用动态元数据去连接、优化、自动化数据集成流程的企业机构将减少30%的数据交付的时间。此外，到2023年之前，在数据管理中使用人工智能技术能够帮助企业机构进行更多的自动化工作，因此这些企业机构对于IT专业人士的需求将减少2096。What data and analytics tasks are priorities to automate?Data integrationAnalytics management/tuning/optimizationInterpretation of insightsModel building and selection$OUR p-iaoss Dato a Analyttcs Ado9fton TwwM 2018