智慧水利数据质量规范.docx

《智慧水利数据质量规范.docx》由会员分享，可在线阅读，更多相关《智慧水利数据质量规范.docx（15页珍藏版）》请在第一文库网上搜索。

1、ICS27.140CCS167团体标准T/CASEMSXXXX-XXXX智慧水利数据质量规范Smartwaterresourcesdataqua1ityspecification（征求意见稿）XXXX-XX-XX发布XXXX-XX-XX实施中国中小企业协会发布目次前言II1范围12规范性引用文件13术语和定义14数据质量管理2I1概述2I9框架25数据质量描述34I描述要素34i）定量元素44B非定量元素56数据质量识别6A1定量的数据质量信息6Rt）非定量的数据质量信息77数据质量评价77I概述77i）评价方法771评价流程和步骤88数据质量控制9R1控制规则9Rf）控制方法109报告数据质

2、量信息11Q1概述11Qi）数据质量报告11=一1刖百本文件按照GB/T1.1-2023标准化工作导则第1部分：标准化文件的结构和起草规则的规定起草。本文件由武汉中地云申科技有限公司提出。本文件由中国中小企业协会归口。本文件起草单位：武汉中地云申科技有限公司。本文件主要起草人：赵引秀等。智慧水利数据质量规范1范围本文件规定了智慧水利数据质量规范的术语和定义、数据质量管理、数据质量描述、数据质量识别、数据质量评价、数据质量控制、报告数据质量信息。本文件适用于智慧水利数据采集、传输、维护和使用过程中的质量管理。2规范性引用文件下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中,注

3、日期的引用文件,仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。GB/T336742017气象数据集核心元数据3术语和定义下列术语和定义适用于本文件。11智慧水利smartwaterconservancy以智慧城市为代表的智慧型社会建设中产生的相关先进理念和高新技术在水利行业的创新应用，是云计算、大数据、物联网、传感器等技术的综合应用。数据质量dataquaIity数据的一组固有特性满足要求的程度。注：固有特性一般指永久性的特性。数据质量管理dataquaIitymanagement指导和控制某机构数据质量的协调活动。a4质量测量quaIitym

4、easurement对质量定量元素、子元素的评估。质量结果qua1ityresu1t数据质量测量得到的一个值或一组值，或将这些值同规定的一致性质量等级相比得到的评价结果。质量范围quaIityscope报告质量信息的数据的覆盖范围或特征。3 7完全检查compIeteinspection质量范围内所有个体都进行的检查。取样检查SamP1inginspection从质量范围内的整体中抽取若干个体进行的检查。数据集dataset可以标识的数据集合。来源：GB/T336742017,3.14数据质量管理4 1概述智慧水利数据质量管理主要是对数据质量进行规范和控制，要求智慧水利项目的数据质量管理必须识

5、别相应产品规范或用户需求中的质量信息，在元数据、质量评价报告中形成正确的质量描述，并在这些规范上的质量结果均为“合格”。5 ）框架数据质量管理框架见图Io迸人数据应用环境图1数据质量管理框架5数据质量描述41描述要素5.1.1 数据质量用以下两个元素来描述：a）质量定量元素；b）质量非定量元素。5.1.2 每个数据质量定量元素可细分为多个数据质量定量子元素。每个数据质量定量子元素用多个数据质量定量子元素描述项描述。5.1.3 通过数据质量定量元素、数据质量定量子元素及数据质量定量子元素描述项，描述数据资源满足相应规范中预先设定的标准的程度，并提供定量的质量信息。5.1.4 数据质量非定量元素提

6、供非定量的质量信息。5.1.5 数据质量描述框架见图2。图2数据质量信息框架43定量元素5.2.1构成数据质量定量元素用来描述数据集的定量质量信息，用来表达符合数据规范的程度。包括但不限于以下元素：a）完整性：特征、特征属性及特征关系存在或不存在；b）逻辑一致性：数据结构（包括概念的、逻辑的或物理的数据结构）、属性及他们之间的相互关系符合逻辑规则的程度；c）位置精度：特征的位置精度；d）时间精度：时间属性及特征之间的时间关系的精度；e）专题精度：定量属性的精度、非定量属性的正确性、特征分类的正确性及特征之间相互关系的正确；f）附加数据质量定量元素：用户可根据需求设置，以便描述无法用以上定量元素

7、描述的定量的数据质量信息。5.2.2子元素5.2.2.1数据质量定量子元素与数据质量定量元素相对应，用来描述数据集的定量质量信息。包括但不限于以下子元素：a）完整性的子元素：1）多余：数据集中有多余数据;2）缺少：数据集中缺少应有的数据。b）逻辑一致性的子元素：1）概念一致性：符合概念模式规则；2）值域一致性：值在值域范围内；3）格式一致性：数据存储与数据集物理结构的一致性；4）拓扑一致性：数据集拓扑关系的正确性。c）位置精度的子元素：1）绝对精度：坐标值与其可接受的坐标值或真值之间的接近程度；2）相对精度：特征相对位置与其可接受的相对位置或真值之间的接近程度；3）栅格数据位置精度：栅格数据位

8、置与其可接受的值或真值之间的接近程度。d）时间精度的子元素：1）时间测量精度：时间测量的正确性；2）时间一致性：有序事件或有序序列的正确性；3）时间正确性：数据在与时间有关的方面的正确性。e）专题精度的子元素：1）分类正确性：特征或其属性的分类相对于分类标准的正确性；2）非定量属性正确性：非定量属性的正确性；3）定量属性精度：定量属性的精度。5.2.2.2对任意数据质量定量元素，可新建附加数据质量定量子元素。5.2.3子元素描述项对每个可用的数据质量定量子元素，应记录其质量信息。每个数据质量定量子元素的完全的质量信息，用下列7个数据质量描述项来描述：a）数据质量范围；b）数据质量测量；c）数据

9、质量评价过程；d）数据质量结果；e）数据质量值类型；f）数据质量值单位；g）数据质量日期。耳3非定量元素5.3.1数据质量非定量元素用来描述数据集的非定量的质量信息。包括但不限于以下元素：a）目的：描述数据集的创建原因和其预定的使用目的；b）用途：描述使用过该数据集的应用。数据生产者或其它数据使用者用“用途”来描述数据集的使用情况；c）数据志：数据志描述数据集的历史，即数据集从搜集、获取、汇编到现状的整个生命周期。数据志包含两部分：描述数据集起源的源信息；描述数据集生命周期中的事件或转换的处理步骤或历史信息（包括连续性或周期性地维护数据集的处理过程）。5. 3.2附加数据质量非定量元素描述以上

10、数据质量非定量元素没有描述的非定量的质量信息。6数据质量识别A1定量的数据质量信息5.1.1 识别可用的数据质量定量元素对可用于数据集的所有数据质量定量元素加以识别。判断这些元素是否适用于某一特定类型的数据集。注：数据质量定量元素可用性由数据规范来决定。5.1.2 新建附加数据质量定量元素若本文件所列的数据质量定量元素未能充分描述数据质量的某一方面，则应当命名并定义新的数据质量定量元素。附加数据质量定量元素的命名和定义，应作为数据集质量信息的一部分。5.1.3 识别可用的数据质量定量子元素对可用数据质量定量元素的所有数据质量定量子元素加以识别，判断这些元素是否适用于某一特定类型的数据集。每个可

11、用数据质量定量元素至少包含一个可用数据质量定量子元素。注：数据质量定量子元素的可用性由数据规范来决定。5.1.4 新建附加数据质量定量子元素若本文件所列的数据质量定量子元素未能充分描述数据质量的某一方面，则应当命名并定义新的数据质量定量子元素。附加数据质量定量子元素的命名和定义，应作为数据集质量信息的一部分。5.1.5 数据质量定量子元素描述项使用6. 1.5.1数据质量范围6.1.1.1.1 对每个可用数据质量定量子元素，应识别至少一个数据质量范围。数据质量范围可以是数据集系列、数据集或数据集内具有相同特征的部分数据。若数据质量范围无法识别,则默认为该数据集。注：数据质量范围的确定参照数据规

12、范及数据质量非定量元素提供的非定量质量信息。6.1.1.1.2 在同一数据集内，质量也可能有所不同。故对每个可用数据质量定量子元素，应当识别多个数据质量范围，以便更全面地描述定量的质量信息。数据质量范围应被充分描述，下列可被用来描述数据质量范围：a）层次：数据集所属的数据集系列、数据集或数据集内具有某些相同特征的一小部分；b）数据项类型：特征类型、特征属性及特征间的相互关系；c）特定数据项：特征实例、属性值及特征间的关系实例；d）地理范围；C）时间范围：时间帧及时间帧精度。6.1.5.2数据质量测量每个数据质量范围有一个数据质量测量。数据质量测量应简要描述并命名（若名称存在）应用于该数据质量范

13、围所规定的测试类型,并应当包含边界或限制参数。数据集的质量应当由多个测量来衡量。注：单一测量不能充分评价数据质量，也不能为数据集的所有应用提供单一测量。6.1.5.3数据质量评价过程每个数据质量测量有一数据质量评价过程。数据质量评价过程应当描述（或引用文档描述）数据质量范围内的数据质量测量方法，并包含该方法报告。6.1,5.4数据质量结果6.1.5.4.1每个数据质量测量有一个数据质量结果。数据质量结果应为以下两者之一：a）将数据质量测量应用到数据质量范围所限定的数据后得到的值或值的集合；b）将所得到的值或值的集合，用可接受的指定一致性质量等级，评价这些值或值的集合得到的结果。该数据质量结果为

14、“通过”或“不通过”。6.1.5.4.2这两种类型的数据质量结果都应被提供。6.1.5.5数据质量值类型每个数据质量结果有一个数据质量值类型。注：“通过”或“不通过”的数据质量类型为“布尔变量”。6.1.5.6数据质量值单位每个数据质量结果有一个数据质量值单位（若存在）。6.1.5.7数据质量测量日期每个数据质量测量应有一个数据质量测量日期。69非定量的数据质量信息6.2.1识别可用的数据质量非定量元素6.2.1.1数据集目的应明确，用途应清晰，数据志应完整。6.2.1.2数据集的数据志应是可用的，或者报告数据志，或者报告缺少数据志的原因。6.2.1.3数据质量范围所限定的数据集内，当一部分数

15、据的数据志与其它部分的数据志不同时，应提供其数据志，作为非定量的数据质量信息完整记录的一部分。6 .2.2新建附加数据质量非定量元素若本文件所列的数据质量非定量元素未能充分描述非定量数据质量的某一方面，则应命名并定义新的数据质量非定量元素。附加数据质量非定量元素的命名和定义，应作为数据集质量信息的一部分。7数据质量评价7 1概述数据质量评价过程是产生和报告数据质量结果的一系列步骤。质量评价过程可用在静态数据集上,也可用在动态数据集上。8 3评价方法7.2.1数据质量评价方法分类数据质量评价方法分为：a）直接评价方法：通过比较数据与内外部参考信息来确定数据质量;b）间接评价方法：使用与数据相关的外部信息推断或估计数据质量。7.2.2直接评价方法直接评价方法可分为：a）自动评价方法或手工评价方法；b）完全检查方