谈谈数字化转型中数据底座.docx

《谈谈数字化转型中数据底座.docx》由会员分享，可在线阅读，更多相关《谈谈数字化转型中数据底座.docx（10页珍藏版）》请在第一文库网上搜索。

1、谈谈数字化转型中数据底座“湖仓一体化”01数据是数字化转型的基础和引擎高速公路|轨道交通I金融I物流L强烈的数字化值设需求：I企WIWBUX分散的数据无法很好地应对前端业务变化，难以支撑企业的锂营决策，因此翌需一套机制将新老HI式”合.核台分敝在各个孤岛的故据.形成数据膈务能力数据中台市场规模2020年2021 年1 NK0W4|j2 E*iw勘瘵开采I 煤化 物流储篦金蜃的业分故隼.泰0ml 共9的同办公电SMS9审 twal法富B科技Hga人力wmRIX11理sftaKS9数据湖是支撑企业数字化转型的数据底座，是提供数据驱动、WMM：dtt降低数据建设成本,提高数据治理效率激活数据商业价值

2、,就能企业运营与决策改造企业业务流程.升级企业组织架构精准决策的全方位技术支撑。：rs坦织电日企业总部堤织结构数据价值将经历数据统一化、数据资产化、数据业务化、数据生态化四个阶段。数据应用逐渐繁荣散据价值的阶段性演进数据生态化收据业务化数据资产化鬻一体放委,予业养萼智能 数赞心理 数据修数据湖数据类型多样化、数据接入与计算方式多样化02数据底座的新架构1、数据仓库通常是业务发展到一定规模后，业务分析师、CIO、决策者们，希望从大量的应用系统、业务数据中进行关联分析，最终得到“干货”出来。比如为啥利润会下滑？为啥库存周转变慢了？向数据要答案，生成报告、图表出来给决策层汇报，辅助经营决策。可是，数

3、据库“脑容量不足”，擅长事务性工作，不擅长分析型的工作，于是就产生了数据仓库。数据仓库相当于一个集成化数据管理的平台，从多个数据源抽取有价值的数据，在仓库内转换和流动,并提供给BI等分析工具来输出干货。2、数据湖数据湖(Data Lake)是一个存储企业的各种各样原始数据的大型仓库，其中的数据可供存取、处理、分析及传输。数据湖的本质是由“数据存储架构+数据处理工具”组成的解决方案。申谪/审fit/败ti分发收露集市使用人员ftMVAA一类工具，解决的问题是如何把数据“搬到”湖里，包括定义数据源、制定数据访问策略和安全策略，并移动数据、编制数据目录等等。一类工具，就是要从湖里的海量数据中“淘金”

4、。数据并不是存进数据湖里就万事大吉，要对数据进行分析、挖掘、利用，比如要对湖里的数据进行查询，同时要把数据提供给机器学习、数据科学类的业务，便于“点石成金”数据仓库可以是独立的标准化产品，数据湖则是一种架构，通常是围绕对象存储为“湖底座”的大数据管理方案组合。特性繇据仓库繇据湖放珞数据结构化数裾，抽取自事务系统、运营数据库和业务应用系统所有类型的数据，结构化、半结构化和非结构化Schema通常在数仓实施之前设计但也可在分析时续写在分析时编写性价比咋样起步成本高，便用本地存储以获得最快查询结果起步成本低，计肾存储分离致梅脑如何可作为重要事实依据的数据包含原始数据在内的任何数搪最适合渔用业务分析的

5、为主数据科学家、数据开发人员为主具体能干啥批处理报告、BU可视化分析机H学习.探索性分析.数据发现、流处理.大数据与特征分析3、湖仓一体湖仓一体架构最重要的一点，是实现“湖里”和“仓里”的数据/元数据能够无缝打通，并且“自由”流动。湖里的“新鲜”数据可以流到仓里，甚至可以直接被数仓使用，而仓里的“不新鲜”数据，也可以流到湖里，低成本长久保存，供未来的数据挖掘使用。4、数据中台数据中台是聚合跨域数据，对数据进行清洗、转换、整合，实现数据标准化、集成化、标签化，沉淀共性数据服务能力，以快速响应业务需求，支撑数据融通共享、分析挖掘和数据运营，创造业务价值。中台战略核心是数据服务的共享。数据中台是围绕

6、向上层应用提供数据服务构建的，中台战略让数据在数据平价和业务系统之间形成了一个良性的闭环，也就是实现应用与数据之间解藕，并实现紧密交互。数据中台建立后，会形成数据API,为企业和客户提供高效各种数据服务。数据中台整体技术架构上采用云计算架构模式，将数据资源、计算资源、存储资源充分云化，并通过多租户技术进行资源打包整合，并进行开放，为用户提供“一站式”数据服务。数据中台不是一套软件，也不是一个信息系统，而是一系列数据组件的集合，企业基于自身的信息化建设基础、数据基础以及业务特点对数据中台的能力进行定义，基于能力定义利用数据组件搭建自己的数据中台。03数据底座设计1、数据湖功能架构应用门户应用中心

7、一|力资源管理| |物料管理| |效能管理| |产品创新| |销售管理| |客户分析|数据标准与管理规范AI建模DevOpsweb微服务中间件接入数据安全管理支撑 |统一认证消，口 |物联网分析| |视频分析引擎一忖分析引擎| GIS引擎 |二2、数据流转架构由统一的租户（企业集团层面）进行数据的归集，并加工成标准统一的数据集或指标。基于租户权限自动将数据分发给相应的租户。各租户无需重复进行数据集成和加工，一般是1+N模式的企业组织架构，如一个集团，N个不同地域但相同业务属性的子公司。oiBdgfiyo庆一区控1+N数据湖体系：1个数据湖，N个租户、N个数据仓库、N个数据集市、N个数据创新实验

8、室。3、数据入湖流程设备I传图sWorkflow消息队列Kafka分析里尊揖霹TDcjaawr密滋氏网档|美裤字咨润全文榜锲合分索原激T在线实时查询交互式自助数据分析集市企业数纪仓库搜索数据雷大规模综合稗索IKNoSQL翻陟高并发格确音询实时东杵列暗实时加计的总杂事件处理高并发04数据底座的数据治理聚焦战略指导、组织机制、专项能力、技术支撑”四层建设，为企业数字化转型提供稳定数据保障基础。全面数字化公司指导机制开展企业级数据治理打造核心数据资产持续赋能价值创造组织和人员制度和流程角色定义资制度框架理流程培训贯宣技术支撑专项能力1、统一的数据管控平台数据管控管控服务，集成数据标准、数据质量、数据

9、安全等全方位数据治理能力。主要能力:数据标准：数据标准编目、录入、发布、贯标、落标全方位能力提供。落标检查：通过贯标流程，执行标准落标检查，赋能数据标准落地，实现贯标成果。数据质量：以SQL形式灵活构建数据质量检查规则，高效检测数据质量缺陷。质量模板：参数化的模板形式，复用质量规则，解决质量规则构建低效、繁杂的痛点O质量报告：可视化展示数据质量检查结果，多维度展示质量问题。数据权限：以最细粒度管控至行列级权限的全方位数据权限管控，保证数据使用安全。数据保护：结合智能化手段和咨询方法论，妥善处理敏感数据，保护数据隐私。2、数据资产目录统一的数据资产目录，实现全局数据资产统管，对外提供数据资产服务

10、。主要能力：元数据：自动化采集多元异构数据库资源列表详情，提供全局元数据服务。数据血缘：自动化采集数据血缘关系，提效数据溯源和故障定位。数据特征：分析数据资产全方位信息视图，赋能用户高效数据探查。数据推荐：通过协同过滤算法，精准推荐用户需要的数据资产。相似性分析：基于数据相似性来实现数据资产的智能匹配，赋能自动标签、自动落标数据地图：数据地图门户，支持可视化、层级化展现全局数据资产，根据数据探查需求进行下钻、分析。数据搜索：提供高性能全局数据资产搜索，帮助用户快速获取目标数据资产。资产关联：提供标签、描述、关联数据标准和其他数据资产的方式丰富资产视图。3、数据安全中共中央国务院关于构建更加完善

11、的要素市场化配置体制机制的意见提出：加强数据资源整合和安全保护。探索建立统一规范的数据管理制度，提高数据质量和规范性，丰富数据产品。研究根据数据性质完善产权性质。制定数据隐私保护制度和安全审查制度。推动完善适用于大数据环境下的数据分类分级安全保护制度，加强对政务数据、企业商业秘密和个人数据的保护。业务系统云础设茶系统对内对外开放不传谣；flRTr等将WL 慵安全ArgcD6.lnceptor3亿口我父iA Foresight工，.抄收rwx布&数据资产大数据平台|1 nFL偷，灯也七六2电MKitFADefcntor星研设应安全注控TCOSttKir-WKMidgard备夕川M I拿施加*Gu

12、ardian 环情J解决方案同态加空分布丽静HDFS技术数据清;弼我据尺度变换数据降噪辙版统it分析除私查询联邦学习联邦图计算个性联邦学习联邦特征工程机落学习校里联邦字播就断1联邦缺失值填充联邦标准化联邦旧一化差分除私线性回廊灌辑回归. SVM(means等聚类模生DNN RNN.LSTM CNN秘密分享不经意传就DH及法分析型数据库nceptor本地文件隐私计算使数据在加密状态下可以计算，安全性和准确性由数学理论保证，无需提供可信第三方、平台硬件以及操作系统。金融曾断控智能营销 内控合挑审计哲代定价日能承保血监管金融监管、知识联邦05数据服务能力1、能力构成（1）数据API通过API为各个应

13、用提供数据接口，打通应用之间的数据流转，构建新型应用。（2）数据标签平台为业务部门直接提供有业务语义的高质量数据生产资料。（3）数据交换共享平台为各个不同的部分提供有业务语义的数据搜索与共享能力，打通数据孤岛，构建业务协同效应。（4）数据报表平台提供可视化报表的开发与分享能力，从数据统计中发现数据价值。（5）数据科学平台提供数据建模、模型运行、模型服务发布等能力，帮助数据分析师构建端到端的机器学习开发与运行能力。数据APT服务开发、发布、调用管理与监控统计的数据服务平台；将多样的数据转换为业务应用直接使用的数据资产，打通数据与业务，完善企业数据中台建设；数据API服务开发、发布、管控。服务开发

14、数据来源离线导入数据夕陪瞰据导入内部文件系烧数据库关系型数据库星环大数据平台接口类数据源内部业务系统互联网接口Studio已有资源ram数据资产表K/V表开发定时任务导入高速数据存储在线SQL开发数据源接入在俄SQI辘衍生服务开发函数管理多服务衍生服务管理服务概览监控服务管理调用方管理服务授权鉴权认证流控有效期控制监控运维全镇路用跟踪调用细节钻取实时日志获取告警系统通知标签建设开发、生命周期管理、标签应用为一体，支撑企业差异化的标签画像服务和运营需求；通过标签开发、管理、更新、监控、用户画像赋能企业更好的洞察客户需求、防控业务风险、提高服务质量和效率。数据交换共享平台支撑企业数据共享交换的基础性互联互通平台。促进数据交易，实现企业内外部跨层级、跨系统、跨部