数据治理实践案例之中煤大海则煤矿数据标准体系及数据湖建设实践.docx

《数据治理实践案例之中煤大海则煤矿数据标准体系及数据湖建设实践.docx》由会员分享，可在线阅读，更多相关《数据治理实践案例之中煤大海则煤矿数据标准体系及数据湖建设实践.docx（6页珍藏版）》请在第一文库网上搜索。

1、数据治理实践案例之中煤大海则煤矿数据标准体系及数据湖建设实践项目背景中煤陕西榆林能源化工有限公司（简称中煤陕西公司）积极推进信息化、智能化建设，先后荣获多项荣誉。智能工厂建设被工信部评为全国智能制造63家试点示范企业之一，是陕西省煤化工行业获得此项荣誉的唯一企业。中煤陕西公司下属大海则煤矿作为蒙陕基地的重要组成部分，是近年来中煤集团投资建设的最大矿井,于2023年被列为“国家首批智能化示范煤矿”。近期，集团将“大海则煤矿智能化建设关键技术及工程示范”作为集团公司重大科技专项进行立项，要求尽快组织实施，引领集团公司煤矿智能化升级，推动集团公司煤炭企业建成一批煤矿智能化工作面和智能掘进工作面，真正

2、实现煤矿高质量发展和煤炭智能化技术引领行业发展。按照“总体规划、分步实施、因地制宜、效益优先”的总体要求，坚持“前瞻性、先进性、可靠性、实用性、开放性”的设计原则，打造安全、高效、绿色、智能的现代化智能绿色矿山。将物联网、云计算、大数据、人工智能、自动控制、移动互联网、装备机器人化等与现代矿山开发技术相融合,开发大海则煤矿感知、互联、分析、自学习、预测、决策、控制的完整智能系统，建设开拓、采掘、运通、洗选、安全保障、生态保护、生产管理、经营决策等全过程智能化运行的智能煤矿，开创煤矿行业完整智能系统、全面智能运行、科学绿色发展的全产业链运行的新模式、新标杆。最终将大海则煤矿建设成为以“本质安全、

3、高产高效、绿色环保、智能科技”为代表的新型智能化矿井。1项目目标及主要内容中煤集团经过多年的智能化开采技术研发和生产实践，初步形成了“自我设计、自我研发、自我制造、自我建设”的智能化建设能力，部分矿井实现了工作面少人智能化开采模式。初步构建了“以底层智能化装备智能感知为基础、以设备群组协同控制为核心、以远程监控综合调度为手段，以信息传感和智能决策为突破”的智能化工作面建设技术路径并示范应用。而大海则煤矿在生产运行过程中产生大量的结构化数据、研究成果报告、专业化图形资料，同时随着物联网技术在煤炭行业的应用，海量实时数据采集入库，对数据的管理和应用也提出了较大的挑战。为实现将中煤陕西榆林能源化工公

4、司下属的中煤集团投资建设的最大矿井大海则煤矿，建设成为安全、高效、绿色、智能的世界一流矿井，2023年初至2023年底中煤集团统筹规划建设了一系列的具有先进技术的智能化项目。其中，“大海则煤矿数据标准体系及数据湖建设项目”是众多智能化项目建设的基础。该项目主要致力于三个方面内容建设： 一是大海则作为新建矿井。从建设之初就需建立起煤矿统一数据标准体系,规范新建信息化自动化系统数据标准，实现各系统数据源头统一。通过建立数据标准管控体系，持续对大海则煤矿信息化系统进行管控，使得新增系统、系统升级的数据模型都有章可循,确保大海则煤矿数据准确、可靠、好用； 二是搭建统一数据湖。用以实现大海则煤矿ERP、

5、0A、MES等各信息化管理系统结构化数据以及综采综掘、主运、提升、通风、排水、供电等自动化设备和安全监测人员定位、矿压矿震、工业视频等安环系工业物联网非结构化数据的实时采集和集中存储； 三是依托数据。通过建设数据分析、数据挖掘模型，实现数据实时分析计算及历史大数据挖掘，搭建决策分析管理系统，建设生产、经营、安全、机运四大业务板块主题分析，支持大海则煤矿实现生产安全、经营管理等数据化运营和智慧化管控。2.项目成果1 .数据标准数据标准目前出涉及安全、生产、机电、经营四大业务板块，目前数据湖已应用17个业务系统数据标准，累计1043条标准。2 .数据湖(1)拖拽式数据处理流程任务设计以拖拽的方式完

6、成整个交换作业流程设计，在设计器面板中支持拖拽数据模型、交换组件、连线来完成交换过程的定义和维护，设计器支持放大缩小、保存、自动布局、参数设置、语法检查、撤销等基本功能。通过点选、拖拉即可实现用户80%以上的数据预处理需求。5“MM*W4MMBRC*MB*Rowa*1.6g(2)数据治理数据湖入湖实施过程中，数据湖共计接入47个业务系统数据其中数据库类型共计接入22个系统，接口和文件类型数据共计接入11个，工控类类型共计接入14个系统约50000个点位数据。已完成19个业务系统元数据采集，累计48781条元数据数据质量检查样例:代号Sxww$wara自同：H4*n081.MUU.30。OWO.

7、A.AQW.nU2mT-51O0ettKd*8SvMUUs4“S2,A,Q5K.FX.2023661HXUS型字用修M*0K.NUU.SI(W1oDMAAQsK.工226617:002803.1回HJUaOe*iMooIaOin。DWAAQSVx-2O22-C7-OMHkMOf1KS0NUU.0a*fi24hi*OQtoo0WOAvQ(KvFXM2Q761MOXWma0SWWDWDAAQSVX_202347617:0028NUU.2*00/10DWAAQWJ/2023-07-0517*OOe2SSmS*SiMT*GC.0a020DVAAQ(KJ)1.202356SCCMoM020dwoaaq$

8、kjjM97610Wm09KANGfv?MM-M20.o2O4Z2ODm.A.AQSIC.FK.2W10028iUMATaOnun*o200/20DMOaAaAQSICJX,.202366”)008OBxM目前数据资产对已完成21个资产门户建立，数据接口服务共计179个，对外服务系统44个系统。服务门户展示：3.决策分析应用此次决策分析工作中，依据指标标准结合现场情况共建设完成包含安全、生产、机电、经营四个模块，一个数据驾驶舱大屏，一个数据驾驶舱大屏，共计380项指标。决策分析驾驶舱展示：Fs1nf11.=1iT1tt4iJ决策分析驾驶舱，挑选安全，生产，机电，经营四大板快重要指标展示，可以直

9、观反应大海则智能化矿山日常情况，为领导决策提供数据支持。数据驾驶舱展示:数据驾驶舱大屏，涉及数据湖平台各项业务板块，能直观显示数据湖日常接入资源量，平台资源使用量，四大类型应用详情，数据资产情况，数据标准情况，调度任务运行情况和接口调用情况。3.建设亮点及成效（一）实现业内首个煤炭安全生产、经营管理、监测监控等业务数据资源“全汇聚”基于安全生产、经营管理、监测监控等数据，提出多源异构数据资源快速融合构建技术,通过独立自主研发的多种可视化拖拉拽组件,不仅支持常用关系库、文件、消息等的数据读取，还支持监测监控等工业数据的快速读取并建模。同时还可以自定义扩展组件和扩展数据字段来满足各种复杂的数据汇聚

10、需求。攻克了传统数据汇聚因采用后台脚本跑批的方式而增加操作成本和复杂度的这个问题，解决了煤炭行业最核心的业务数据融合难的问题打通了多源异构数据共享难的壁垒，实现了全业务数据的汇聚，形成自上而下，规范统一，功能强大的数据湖底座。（二）实现业内首个基于分布式存储技术的混合存储架构下，工控数据和业务数据的混合建模基于安全生产、经营管理、监测监控等数据，提出业内首个基于分布式存储技术的混合存储架构，利用数据仓库分层建模规范，将以监控监测为代表的工控数据、以经营管理为代表的结构化数据和以安全生产为代表的非结构化数据等进行混合建模存储。攻克了“存储简单、使用难”的这个问题，并按照“最合适存储原则”将不同类

11、型的数据选择不同的存储技术，在分布式存储的技术上，形成混合存储架构,构建煤炭行业经营决策、生产执行、安全监控一盘棋的数据支撑。（三）实现煤炭行业首个“应用服务全统一”的先进解决方案基于安全生产、经营管理、监测监控等数据,依托大数据和云计算技术的支撑，提出“应用服务、统一管理”的思想，即在一个数据湖平台上对所有的应用服务进行统一的创建、申请、发布、使用同一种技术路线共享服务的全生命周期的管理。解决了“生产业务数据分散，共享交换能力薄弱”的这个问题，提高了对共享应用服务的监控与统计能力，使得管理层能够对多系统间的数据共享做到精细化管控。（四）填补国内没有完整煤炭业务数据标准体系的空白，助力煤矿数据治理落地建设基于能源行业通用数据标准设计方法论，结合煤炭行业业务管理和科研特点,研究符合煤炭行业业务的数据标准设计方法论，并基于该方法论自上而下梳理煤炭行业业务架构，合理划分业务主题域，设计形成煤炭行业业务数据标准体系，填补国内没有完整煤炭业务数据标准体系的空白，满足煤矿智能化建设对数据统一性、标准型、规范性和扩展性的需求，助力煤矿数据治理落地建设，为煤炭企业数据驱动和智能化建设提供支撑。