《关于自标准数据的若干问题的探讨.docx》由会员分享,可在线阅读,更多相关《关于自标准数据的若干问题的探讨.docx(35页珍藏版)》请在第一文库网上搜索。
1、关于自标准数据的若干问题的探讨说明(2013年10月,大庆油田信息中心王权副主任为长安大学数字油田论坛第三届大会准备题为数据多了就智能!的演讲材料,形成了较完整的思路。很可惜的是,他本人没有到场演讲,王主任拟请高倩博士在大会上作为代表演讲,因各种原因高博士的演讲没有落实。本人在演讲的开场白中,宣布了王权先生的“自标准数据”的思想。参加会议的多位专家学者建议,简化传统数据标准,简政放权,大力推广“自标准数据”,并认为“自标准数据”将成为大数据时代的有力的信息共享的支撑性技术。论坛后,本人又参加了第八届中国智慧城市大会,并就“自标准数据”问题,请教了参加大会并做主题演讲的两院院士李德仁、以及赖明副
2、主席,他们给与了极大的认可,并鼓励本人好好研究,争取拿出行之有效的成果。近期,本人又参加了2013年国家政务信息化建设发展年会,会议国家行政学院电子政务专家委员会的大部分专家一直认为,已经来临的智慧时代,不是大力建设系统系统的时代了,而是整合升级的时代。整合升级的重点就是数据的整合,而数据整合的难点在于已经存在的哪些应用系统的数据的整合。水利部信息中心副主任蔡阳、湖南省政府经济研究信息中心总工李建国以及其他一些部委的信息中心的负责人都对已有系统的数据整合问题大感无奈。基于此,也在王权先生的鼓励帮助和指导下,本人对“自标准数据”问题开始了深入的学习与研究。)第一、事情的起源。(一)、王权先生提出
3、“自标准数据”(以后简称SSD)的由来1998年,大庆油田开展了一个项目勘探、开发、钻井数据一体化共享。该项目目标是建立一个油田内部数据共享的平台。当时认识到,“数据使用者急,积极性高;而提供者不急,积极性不高J鉴于此,为了实现项目目标,项目组决定顺势而为。王权是项目负责人,当时他提出一个想法,叫做“数据码头”,就是数据提供者把数据放在指定位置就不管了,使用者自己去取,去处理。使用者再产生的数据也放到码头上。这样就调动了使用者的主动性,更减轻了提供者的工作量。该想法得到了项目组的认可。但后来大庆油田重组,勘探和钻井的大部分业务与油田开发分离,此项目下马。那时还是要求提供者按统一标准把数据放到“
4、码头”上,提供者还要处理数据,所以没有把提供者的工作量减到最小。当时,还没有XM1,也没元数据,也没想到用它来描述数据。2013年,大庆油田制定信息规划过程中,关于信息共享(十多年过去了,问题依然很多)进行了讨论。期间王权对“数据码头”思路进行了进一步的扩展,应用XM1,让提供者按照自己的格式提供数据,还要包含这些数据的格式。这样,这些数据就成为了“自标准数据”,使用者能读明白,想怎么用就怎么用。大家都方便。经过多年的信息化建设,油田企业存在着多少的信息系统呢?下面是王权先生按照系统建设单位的来源总结的,油田公司的各个部门正在使用的一些系统:第一类:统建系统。就是中石油统一建设的。系统大,封闭
5、,不让动,不让插入。信号不好,很难联通,更特么别说移动了。比如,A1,以及A2、ERP.第二类:购买的大系统。外面大公司,比如哈里伯顿、兰德马克、斯伦贝谢、等等,他们的处理、解释、模拟等系统。数据海量,自成体系,不会因为油田的要求而改变。第三类:大MISo油田自己建设的,或是上面统一的MIS,比如FMIS.AMIS、合同管理、资金计划管理、人力资源。这些系统自成体系,谁都不鸟谁,有些系统历史很老,比如财务系统比信息部门都老,根深蒂固,很难改变。让他们听信息部门的整合?如果麻烦人家少些还成,多了?立刻说找麻烦,影响主业。谁也动不了了。第四类:ERPoERP初步建立,但还有很多问题,他自己还没整利
6、索,还得跟它整合。但ERP地位不可撼必须向他靠拢。可是我们ERP是中石油统建系统,又是IBM基于SAP建立的,让人家考虑我们?没门!钱就花不起,太贵。就算不在乎钱,她也整不明白中国的事。水土不服。第五类:国内服务商开发的系统。这些系统虽然也是独立的,但是容易合作,较容易集成,比较灵活,很容易和油田一起继续联合开发,这类是比较好集成的。第六类:油出自己开发的。这类软件都不是产品,不是很成熟,局部运行还行,弄到一块就要出事。种类有很多,都推倒重来太费精力。所以,就自治吧,保证自己别出事,再把要的数自标准地共享出来吧。第七类:就是还没有软件的业务。业务人员靠普通办公软件自行处理的业务。这七大类已经使
7、用的软件系统的的数据标准各异,怎么统一呢?统一到那个标准上呢?很难。更重要的还有人为的因素,使用者不要你统O下面则是王权先生按照油田勘探开发等门类列出的一些系统:地震处理:OMEGAGRISYS、PARADIGM、PRoMAX、GeoDepth、GREENMOUNTAIN、3DPSDM、CGG地震解释:1andmarkGeoframeStrataSeiSViSiOn、GEOPROBESMT、Jason油藏描述软件测井解释:ForwardGeo1ogGeoFrame(P包、G包)、1andmark测井解释软件、NDS/1og矢量化、PRIZM地质分析与建模:FCM、PETRE1、RMS、Disc
8、overy.Recon.Doub1eFoxCarbon油藏数值模拟:EC1IPSE.VIP、PBRS(自研)经济评价:TERAS、Exp1orDESOE采油工程:SCH1UMBERGER的压裂、酸化软件、压裂分析系统FracproPT、PIPES1M、PC-PUMPOEFR油水井优化软件油田监测:SAPHIR、Smart2000钻井工程与地质:钻井工程设计系统、钻井地质设计系统、钻井工程参数实时监控系统、钻井地质导向系统(WebSteering)、综合录井现场监控传输处理系统勘探管理:勘探知识库、勘探协同工作平台、数字盆地(地层格架)油藏评价:储量计算、勘探开发一体化平台、储层预测、井位部署系
9、统油藏研究:剩余油综合描述、多学科一体化研究平台地面工程:基础地理信息系统、油气水电路等7个信息系统、数字管道生产保障:供水资源信息系统、发供电业务信息系统、装备制造辅助设计系统、天然气生产指挥信息系统矿区服务:医疗卫生信息系统、物业管理信息系统、公共交通管理信息系统经营管理:办公自动化系统、人力资源信息系统、财务FMIS.资产AMIS、物资一本帐系统、企业经营管理辅助决策系统、储运销售管理系统、各类M1S系统、ERP系统这些五花八门的系统,需要的数据源有极大的不同,他们产生的数据的格式标准也有极大的不同,怎么样整合呢?F图,是王权先生等人研究的数字油田的架构体系:2003年大庆油田提出数字油
10、田参考技术架构模型数字油田的总体架构包括七个层次新型工业化道路模型星如识星效据区专业主焯子层环境层故略用集成层应用区致掘仓座子层源败限于及从数据整合角度来说:,这个架构缺少两层,一个是下层缺少实时数据层,一个是数据仓库之下缺少一个整合数据层。通过上述分析,大家可以很很直观的了解到:SSD的提出,首先是来自大庆油田的信息化建设实践的迫切要求。(二)城市信息化的迫切要求。2000年前后,地理信息系统在中国开始广泛应用,于此,我们国家掀起了一股大力建设数字城市的浪潮,由于几大跨国公司的不懈的推波助澜,中国基本上所有的城市领导都把数字城市建设纳入到地方规划,基本上所有的城市都宣布自己在建设数字城市。但
11、是,最后没有一家城市宣布自己的建成了数字城市,基本上都失败了。原因呢?今年开始,随着物联、云计算、大数据的广泛的应用,我们国家又一次掀起了建设智慧城市的浪漫,还是由于跨国公司尤其是在IBM的倡导的智慧地球的牵引下,中国的所有的城市领导有都把智慧城市建设纳入到地方规划中,基本上所有的城市都在宣布自己在建设智慧城市。这一次智慧城市建设浪潮更加的高涨,有点大跃进的味道了:一个就是,住建部今年以后已经连续推出了两批智慧城市的试点近200多个,国家儿大部委又不甘示弱,向国务院提出了稳步推进智慧城市建设的若干意见;在一个就是,全国的IT类的公司,摇身一变,都变成智慧城市公司了。智慧城市是数字城市的升级版,
12、建成的难度更大。怎么才能成功呢?数字城市建设的失败、智慧城市建设的担忧的因素很多,其中一个最为核心的就是:如果科学合理有效的整合现在已经使用的、这些众多的系统和数据。改革开放35年来,各个城市的所属部委局办、所属企事业单位,以及中央住地方的单位,已经建成了很多的系统,这些系统有很多还一直在使用,有的系统用的还不错;这些独立的系统都有自己一套特有的标准,也都是按照自己的标准不断的生产数据,这些数据也就是王权先生归纳的自标准数据。智慧城市的建设,一定需要很有效的利用这些系统、利用这些系统产生的数据,才会使城市更加的智慧,也才是科学有效的智慧城市的建设之路。如果想扔掉这些系统重新建设,使用者不高兴,
13、关键是造成巨大的浪费,是不可行的。可行的就是在这些系统以及这系统产生的数据的基础上,建设我们的智慧城市。所以,很多的有识之士,认为已经来临的智慧化时代,不是大建新系统的时代了,那个时代已经结束了;智慧化的时代是大整合打升级的时代了。大整合时代的问题来了,这些系统隶属于不同的行业,每个行业有自己的标准,数据的产生也是按照自己的方式产生的,无论咖个行业部门心甘情愿配合的又不多,以保密为名不会好好配合。凌驾在上面的智慧城市如何整合呢?F图智慧城市的应用架构:SMW3SWH下图是智慧城市全景图:一个智慧城市的建设,更是需要整合成千上万的已经有的系统的、已经存在的成千上万的数据标准的。那怎么样是数据达到
14、整合呢?更难以做到的还不是技术上的,应该是体制上的、管理上的难度,跨部门的整合,别说是信息系统,就是行政工作都是很难得。唯一可行的办法、唯一有效的办法就是王权先生提出的SSD体系。由此我们可以推断,中国信息化成功一定首先是数据大整合的成功,而数据大整合一定需要另辟蹊径-SSD体系。第二、SSD以及相关概念的定义以及与其他数据系统的区别。自标准数据,Se1f-StandardData,即自带标准或格式的数据体。数据提供者按照自己(或自己系统)的标准或格式提供数据,并将该数据所使用的标准或格式与所提供的数据一起打包,数据使用者按照该标准或格式自行解读并使用数据。它是传统数据标准体系的重要补充和突破
15、。性质自标准数据打破了大家共同遵守统一标准的局限,给数据共享提供了更加切实可行的路径。其具有如下性质:(I)自标准数据是一种数据体,它既包含数据本身还包括数据格式;(2)自标准数据是元数据的一种特例,元数据与数据捆绑;(3)自标准数据是一种全新的数据共享模式,打破了传统的数据与标准脱离的局面;(4)自标准数据是一种客观、现实的数据管理策略,适应性强;(5)自标准数据是大数据的基本单元,采用自标准数据技术有利于大数据技术发展;(6)自标准数据是系统自治思想的应用。相关实现技术配合自标准数据概念,王权先生又进一步提出了数据码头、数据泵的等相关的实现技术。至此,就大致形成了完整的SSD体系。数据码头,DataDock,即数据提供者放数据的场所。数据提供者把数据放在指定位置就不管了,使用者自己去取,去处理。使用者再产生的数据也放到码头上。当然,数据码头必须有自己的一套数据存储、分类、去除、检索等等机制。数据泵,DataPump,是专门的抽取数据的部件,可以是集中的,或分散的。它可以被看作是传统数据适配器的改进。其功能是:存取数据,全局统一管理资源目录、使用权限等。数据泵应该是整体上分为两大类:数据推送泵,Datapumpin,负责把数据推送到码