数据湖技术在勘探开发领域的探索与应用 (1).docx

《数据湖技术在勘探开发领域的探索与应用 (1).docx》由会员分享，可在线阅读，更多相关《数据湖技术在勘探开发领域的探索与应用 (1).docx（28页珍藏版）》请在第一文库网上搜索。

1、、,一数据湖技术在勘探开发领域的探索与应用，羡二；募募；;淳二飞m二二二-二.二二匚也”7，,.一 .逢逐g蕊箍工彘.J，士，1” 士 , ；：.3. .1 piatfora alteryx tableau QHkPower Bl可视化/数据管理工具cloudera代坐也邛Hortonworks1EJIADATA Q-JMAPR阿里 D HUAWEI大数据平台&P CLOUDBai对百度SiG阿里巴巴:MicrosoftMESOSPHERE容器云 CaaS/DevOpsdatabricks bluedata油弋田企业合作伙伴诩血加 kubernetes中随1s需艘Microsoft Azure

2、O 5彳中国石油勘探开发梦想云建设蓝图访问方式Web应用勘探生产移动应用开发生产终端应用统一门户协同研究单点登录生产经营搜索用户工作环境安全环保标准规范勘探项目管理储量与矿权管理作业时效分析配产与产量管理长停井潜力分析大数才平台管理流程管珊艮务勘探开发专业服务关键业务指标展示生产过程分析效益成本分析QHSE管理应急管理智能安全预警协同研究平台项目库与专业软件环境决策支持与统计分析应用服务管理认识计算,人工智能封装注册服务应用开发环境生产动态指标功图诊断勘探开发生产软件专业软件云服务地质建模软件数值模拟软件公共技术服务通用报表服务授权认证服务设备监测统数据传输数据主库经营管理数据一数据源:大y二

3、二、大数据分析:数据管理标准模型管理数据连接服务虚拟数据库模型数据检索服务数据质量控制勘探开发技术数据勘探开发模型成果勘探开发生产管理数据8 年刖，福布斯的Big Data Requires a big new Architecture 提出数据湖(Data Lake )的概念，以原生格式保存大量的结构化与非结构化原始数据。随着大数据的飞速发展，这一概念的内涵不断深化和丰富，对石油行业逐步产生了影响。Azure Data Lake AnalyticsYARN二 人WebHDFSHDInsightECL IX OLGA GEOX PMaSpa京多 STORM B&U-SQL(extensible

4、 by C#z R and Python).Azure Data Lake Store数据生态 (更新、成长及优化)基于中国石油现状，应用数据湖技术，重新定义开发、共享和智能的勘探开发数据生态统一数据湖。大数据分析环境支持并行计算和高速检索提供便捷大数挺分析、认计算的环境。开放数据集成环境提供稳定安全的实时数据全业务类型数据的集成汇聚工作环数据应用环境构建勘探开发全业务铐数据权威、高效、安全的“一站式数据治理环境建立上游业务数据治理体系支撑涵盖中数据、数据流以-统一数据湖技术架构数据服务JDBC/ODBCODataNamedSQLr肝三，查询分析器缓存与索引(ES)数据质量高速索引结构化数据.

5、L (PG)数据存储管理控制台实体对象、知识图谱、数据洞察案 kafka数据联邦数据摄取开放兼容的数据集成与存储框架Oracle数据差异获取PostgreSQL数据差异获取数据流处理全面有效的数据治理体系主数据发(MD)代码表编码下发夔噩丁数据点存与索引 (ElasticSearchl综合项目库(PostqreSQL)采集界面数据表单界面可视化展示界面界面定制套服务结构化数据质控服务成果文档质控服务平台运行库(PostgreSQL)统建数据源库(Oracle)油田自建数据库兀数据属兀数据性 版本对象与服务生成7rfsagx?嚣翳依做sfitHs.出数据湖质控功能结构化数据质控管理一蝌3描痴排访

6、案整榭蝌姬一规则方案管理地震数据质控流程，测井数据质控流程管理成果文档质控流程管理高速加载解析业务规则管理业务规则分组管理业务规则配置业务规则导入业务规则导出规则模板管理一站式数据服务门户界/井！：*：，；达彩III零新沪/必7a数据盥务门户厮31331a5ta专:乂密any8:，381336高效的数据检索与分析环境601753.4 m846.6 GB2 H Global DB overview Q 01g3hourv QNodesNam*MMteaC*aUNTH* Ad*Sumptwait ii ivmOtl.H.IFVMoit mvmonuivmii.ii.tp.tcraoiLitisrm

7、mth，.a34%*9140AMiniM6M3mtOOmax4 八AM、t”1U9U9) 1M1KB1140.0 KiB-245.7 KiBCPU load1.5%)B6tl7Oe1B6SIMGBUMmo*IBMIMGAH6ei3Oy 198V cnpcrdHmy-testt1429.4 b1.5 TB7 m600%Nudr*Dcumvil(、urAtfR0_2ne_lM K MSW. - CRP.PflD F W7即 一片1TEC1.5 +:117 万+400 万+7.5 亿+统一数据湖已管理全业务链数据全业务链数据15个专业6大领域/井筒/地震/油臧/生产/地面/经营全类型数据/数据表/数据体/文档/图件/照片/音频/视频/实时数据liai地震数据（PB）:瞬测井曲线文件（个）回文档（个）：国数据记录（条）：统一数据湖2.0架构演进数据分析层统一数据服务厂数据治理高速索引分析库领域知识库7结构化数据非结构数据DATA时序数据共享数据层数据源保障体系治蠢具三应用数据库层通用应用（统建）油HI应用（自建）第三方统一数据湖油0智能之路知识查询油气层识别生产优化油藏类比LAKE2.0Il图像识别A自动入湖方案设计娄据科学家工作环境智能服务引擎A自动充实D!Ja自动据$A智能纠错I实体对象、知识图谱、数据洞察、专家经验、规则推理感谢,祝愿2019年5月15日