2022年大数据湖仓一体技术规范.docx

《2022年大数据湖仓一体技术规范.docx》由会员分享，可在线阅读，更多相关《2022年大数据湖仓一体技术规范.docx（22页珍藏版）》请在第一文库网上搜索。

1、目录版权声明I编制说明Il前言Ill一、范围1二、缩略语1三、参考标准1四、湖仓一体技术架构 1（） 统一存储2（二）统一元数据3（三）统一计算3（四）统一服务3（五）统一运维3（六）安全管理3（七）湖仓一体架构演进 3五、统一存储能力要求3（一）分布式文件系统 41 .基础能力42 .数据接入43 .数据格式44 .数据访问接口 55 .存储分级57.文件操作6（二）负载均衡功能6（三）数据缓存加速6（四）数据组织格式7六、统一元数据能力要求7（-）元数据注册8（二）数据源管理8（三）元数据采集8（四）元数据稽核8（五）元数据管理9（六）元数据服务9（七）元数据追溯和审计9七、统一计算能力要

2、求9（-）批处理引擎10（二）流处理引擎10（三）交互式查询引擎10（四）交互式分析引擎10（五）机器学习引擎11八、统一服务能力要求11（-）统一开发能力111 .通用开发能力要求112 .湖仓一体开发能力要求123 .开放对接要求12（二）统一调度能力121 .调度配置1 32 . 触发方式1 33 .任务协同调度134 .流程控制135 .容错管理13（三）统一运营能力141 .数据资产化管理142 .数据价值管理14（四）统一开放能力141 .数据服务开放管理152 .服务目录管理153 .数据开放形式15（五）统一管理能力15九、运维管理能力要求15（-）配置管理15（二）湖仓一体运

3、维 16（三）在线升级16（四）亚健康检测16（五）故障自愈16（六）日志管理17（七）北向接口 17十、安全管理能力要求17十一、湖仓一体架构平滑演进17(-)数据湖向湖仓一体演进 18(二)数据仓库向湖仓一体演进 18一、范围本文件定义了大数据湖仓一体的技术架构，以及统一存储、统一元数据、 统一计算、统一服务、运维管理、安全管理、平滑演进相关能力要求。本文件适用于大数据湖仓一体架构设计，产品研发和测评，以及企业落地 实施湖仓一体架构升级做参考。二、缩略语缩略语英文全名中文解释CDCChange Data Capture变更数据捕获，可以记录数据源的增量变动，同步到一个 或多个数据目的De

4、ItaLakeApacheDe ItaLake一种数据格式，为APaChe SPark和其他大数据引擎提供 可伸缩的ACID事务F I inkApache FlinkApache F I i nk是一个框架和分布式处理引擎，用于在无 边界和有边界数据流上进行有状态的计算HadoopApache Hadoop由Apache基金会所开发的分布式系统基础架构HDFSApache HDFSHadooP 分布式文件系统(HadooP Di str i buted F i I esystem)H i veApache H i ve基于Hadoop的一个数据仓库工具HudiApache Hud i一个开源A

5、pache Spark库，用于在Apache Hadoop上执 行诸如更新，插入和删除之类的操作IcebergApache Iceberg一种面向海量数据分析场景的开放表格式MRApache MapReduce一种编程模型，用于大规模数据集（大于1TB）的并行运 算TezApache TezApache支持DAG作业的开源计算框架SparkApache Spark基于内存计算的开源的集群计算系统三、参考标准GB/T 37939-2019信息安全技术网络存储安全技术要求YD/T 4029-2022计算存储分离架构的分布式存储技术要求四、湖仓一体技术架构湖仓一体是一种新的大数据架构，融合数据湖与数

6、据仓库的优势，实现数 据湖和数据仓库的数据无缝打通，提升数据分析效率，同时还能减小数据冗余 和搬迁，降低成本，支撑企业大数据系统高效运行。湖仓一体结合云原生技术，采用存算分离架构，提供统一开放的存储接口， 对接多样的计算引擎，实现存储合和计算灵活规划和部署，资源弹性、按需伸 缩，从而有效简化企业的数据基础设施架构。湖仓一体技术架构如下图所示：在该架构中，数据统一存储，提供统一元数据，将大数据、数据仓库、机 器学习、等技术进行整合，形成一套数据服务系统，将数据仓库和数据湖的价 值进行叠加，更好地分析、整合数据。该架构可以很好的克服数据重力，让数据湖和数据仓库的数据可以自由流 动，用户可以便捷地调

7、取数据。借助湖仓一体，企业可高效处理数仓内的热数据与数据湖中的历史数据， 并生成丰富的数据集，无需做数据搬移。湖仓一体技术架构由以下七部分组成。()统一存储接入多种数据，提供多种数据存储格式，包括数据湖的数据格式和数据仓 库的数据格式，可以存储任意规模的结构化、半结构化、非结构化数据。通过 通用的数据组织格式，如HUdi、Icebergs DeItLake等，实现数据的统一存储 访问。（-）统一元数据通过采集、管理数据湖与数据仓库中的元数据，构建统一元数据目录和数 据视图，实现数据湖与数据仓库数据共享，提供湖仓一体化的元数据服务。（三）统一计算集成批处理引擎、流处理引擎、交互式查询引擎、交互式

8、分析引擎、机器 学习引擎等通用数据处理引擎，覆盖数据处理全场景，通过统一元数据管理， 实现与统一的存储的无缝对接。（四）统一服务为上层业务提供一体化的数据服务体验，无需关注底层异构环境，为数据 开发者、数据使用者、数据运营管理者提供统湖仓一体化服务能力。（五）统一运维满足多样化运维需求，支撑平台管理员、各类运维人员或使用者及时发现、 定位并处理问题，提高运维效率。（六）安全管理依据三法一条例，构建全面的安全保护解决方案，从系统层安全、数据层 安全、应用层安全构筑完整的安全管理能力。（七）湖仓一体架构演进基于数据湖与数据仓库现有能力，对标湖仓一体的架构进行补充与完善， 实现向湖仓一体架构的平滑演

9、进。五、统一存储能力要求统一存储，提供高可靠、可扩展的存储能力，满足海量、多样化的结构化、 非结构化数据存储。面向业务诉求，为原始数据、中间数据、业务数据、归档数据提供存储空 间和数据管理能力，满足不同业务对数据访问诉求，实现热点数据高吞吐、低 时延读写，温冷数据大容量、低成本读写。提供开放、统一的数据组织格式，实现数据湖、仓数据共享。（-）分布式文件系统1 .基础能力应符合YD/T 4029-2022中5. 6章的要求基础上，符合如下要求：a）可扩展性：应支持良好的扩展性，存储资源线性扩缩容，可满足EB级数 据存储。b）对外接口：与主流大数据、数据库、Al计算框架无缝对接，数据可以快 速入湖

10、。C）单文件系统应支持十亿以上海量文件，业务连续不中断。2 .数据接入a）支持数据按多种方式接入：批量写入、实时写入、CDC写入。b）支持连接多种数据库、文件系统、消息队列。c）支持数据并行导入/导出。3 .数据格式a）支持关系表、文本、图像、视频等结构化数据和非结构化数据存储；b）结构化数据：支持按业务场景要求，采用不同的文件格式进行数据存储， 如 TXT、CSVs JSONx Apache Parquetx Apache Orc、Hadoop API 提供的二进制 文件等常用格式C）支持多样化非结构化数据存储，包括但不限于如JPEG、BMPx JPG, WAV、 FLAC、MP3、AVK

11、MPEG、RMVB、PDF、TXT、WORD、DOCX等常见文档格式。d）压缩格式要求，根据不同的业务场景，支持采用不同的文件压缩格式， 支持gzip、Izov SnaPPy、bzip2压缩压缩格式，支持用户自定义压缩格式。4 .数据访问接口应符合YD/T 4029-2022中5. 5章的多协议互通要求，并符合如下要求：a）支持原生S3接口语义。b）支持SMB、NFS、PoSlX等接口语义。C）支持流式数据接口，兼容如APaChe KAFKs Apache PIUSa等。5 .存储分级a）支持热、温、冷等不同层级数据存储需求。b）支持分级策略配置，指定整个存储系统内文件或者指定目录/标签下的文

12、 件按照分级策略在不同存储层级之间迁移。c）支持按照文件在指定访问周期内的访问频次，自动转换文件的存储层级。6 .数据可靠性a）支持采用多副本、EC纠删码技术，数据块和校验块分散在不同磁盘、不 同存储节点中。ODCC-2022-05008b）支持数据纠删码方式保护,支持22+2、20+2、16+2、8+2、4+2等多种 EC配比，应能支持2个存储节点同时故障，业务不中断，数据不丢失。c）应支持数据副本校验和巡检能力，支持故障副本快速恢复。d）硬盘故障，支持数据自动重构，无需人工干预；数据重构对业务性能影 响小于20% o7 .文件操作应支持文件上传、下载、创建、复制、删除、获取、批量删除对象操

13、作。 支持设置文件权限操作。对于超大型文件，支持通过分段的方式上传或者下载。a）支持追加写文件。支持使用为文件/对象添加对象标签以便分类管理。b）支持通过对象标签管理生命周期规则、跨地域复制规则、清单规则等。c）支持用户对于自己的文件系统空间和文件数量的查询。（-）负载均衡功能支持湖仓一体架构下，多业务并行访问数据。应符合YD/T 4029-2022中 5. 3、5. 7和5. 8章的负载均衡相关要求。（三）数据缓存加速支持湖仓一体架构下，数据高性能访问。a）兼容HDFS、S3、NFS等协议，支持多种计算框架。b）支持数据、元数据缓存和加速。C）支持多种缓存设备：内存/SSD/HDD。d）支持

14、计算侧算子下推到存储侧执行，在存储侧读取数据就近计算，优化 大数据计算性能。e）支持多计算节点共享缓存数据，减少数据冗余存储。f）支持缓存数据高可用，计算节点故障迁移、扩容场景，数据免重建， RT0RP01 分钟。（四）数据组织格式支持湖仓融合开放数据格式，如HUdi、ICeberg、DeItaLake等开放格式， 实现增量写入读取。a）支持事务ACID,可以对存储的数据进行插入/更新操作。b）支持快照查询，读取数据集的最新快照。C）支持增量查询，查询指定时间的最新数据集。d）支持读优化查询，读取给定的commit/compact即时操作的表的最新快照。e）支持数据时间旅行，可基于时间/版本号

15、访问归档的历史版本数据。f）支持访问性能优化，支持小文件合并、数据分布、排序、索引、统计信 息、缓存的优化g）支持对接大数据计算引擎，对数据分析，如：APaChe的SPark、Flink、 Presto Hive 等。六、统一元数据能力要求基于元数据管理标准，对数据湖与数据仓库的的元数据进行统一采集、适 配、拉通与管理，形成统一的元数据目录，实现数据湖与数据仓库的统一元数 据管理，为统一服务、统一计算与统一存储提供湖仓一体的元数据服务。（-）元数据注册a）支持提供标准化的命名规则，包括数据的名称、编码、层级、层的属性 名称等。b）支持提供系统级数据架构定义，包括主题、层次、系统、数据库等。c）支持湖仓模型等元数据信息注册。