实验中的离群数据应该怎样判断和处理？判断原则汇总！.docx

实验中的离群数据应该怎样判断和处理？判断原则汇总！2023-04-1308:29离群值(OUtIier),也称逸出值，是指在数据中有一个或几个数值与其他数值相比差异较大。ChanWennt准则规定,如果一个数值偏离观测平均值的概率小于等于1(2n),则该数据应当舍弃(其中n为观察例数,概率可以根据数据的分布进行估计)。离群数据来源与判断1离群值按产生原因分为两类a)第一类离群值是总体固有变异性的极端表现，这类离群值与样本中其余观测值属于同一总体；b)第二类离群值是由于试验条件和试验方法的偶然偏离所产生的结果，或产生于观测、记录、计算中的失误，这类离群值与样本中其余观测值不属于同一总体。对离群值的判定通常可根据技术上或物理上的理由直接进行，例如当试验者已经知道试验偏离了规定的试验方法，或测试仪器发生问题等。当上述理由不明确时，可用本标准规定的方法。2、离群值的三种情形本标准在下述不同情形下判断样本中的离群值：a）上侧情形根据实际情况或以往经验，离群值都为高端值；b）下侧情形:根据实际情况或以往经验，离群值都为低端值；C）双侧情形:根据实际情况或以往经验，离群值可为高端值，也可为低端值。3、检出离群值个数的上限应规定在样本中检出离群值个数的上限（与样本量相比应较小）,当检出离群值个数超过了这个上限时，对此样本应作慎重的研究?口处理。4、单个离群值情形a）依实际情况或以往经验选定，选定适宜的离群值检验规则（格拉布斯检验、狄克逊检验等）；b）确定适当的显著性水平；C）根据显著性水平及样本量，确定检验的临界值d）由观测值计算相应统计量的值，根据所得值与临界值的比较结果作出判断。5、判定多个离群值的检验规则在允许检出离群值的个数大于1的情况下，重复使用检验规则进行检验。若没有检出离群值，则整个检验停止;若检出离群值，当检出的离群值总数超过上限时，检验停止,对此样本应慎重处理，否则，采用相同的检出水平和相同的规则，对除去已检出的离群值后余下的观测值继续检验。离群值处理1处理方式处理离群值的方式有:a）保留离群值并用于后续数据处理;b）在找到实际原因时修正离群值，否则予以保留；C）剔除离群值，不追加观测值；d）剔除离群值，并追加新的观测值或用适宜的插补值代替。格鲁布斯检验方法：在定量分析实验中，实验结束后,必须对分析数据进行处理,在一组分析数据中，往往有个别数据与其它数据相差较大，这种个别数据称为可疑值。对可疑值的处理，应首先回顾和检查生产可疑值的实验过程，有无可觉察到的技术上的异常原因。当原因不明时,必须按一定的数理统计方法进行处理，决定是保留还是舍弃。格鲁布斯检验法效果比较好的方法。格鲁布斯检验法的优点是在判断可疑值取舍的过程中，将正态分布中的两个最重要的参数一平均值和标准偏差引进来，故方法的准确性较高。方法计算的过程是这样的：1 .实验得出一组数据X1；X2;X3;X4Xn,怀疑其中某个数据可疑（X可疑）2 .计算X1;X2;X3;X4Xn的平均数（X平均）标准偏差（S）3 .计算格鲁布斯G计算=（X平均-X可疑）/S,取绝对值4 .查表求格鲁布斯G查表5 .若G计算G查表,则可疑数据舍去,反之保留2、处理规则对检出的离群值，应尽可能寻找其技术上和物理上的原因，作为处理离群值的依据。应根据实际问题的性质，权衡寻找和判定产生离群值的原因所需代价、正确判定离群值的得益及错误剔除正常观测值的风险，以确定实施下述三个规则之一：a）若在技术上或物理上找到了产生离群值的原因，则应剔除或修正;若未找到产生它的物理上和技术上的原因，则不得剔除或进行修正。b）若在技术上或物理上找到产生离群值的原因，则应剔除或修正；否则，保留歧离值，剔除或修正统计离群值；在重复使用同一检验规则检验多个离群值的情形，每次检出离群值后，都要再检验它是否为统计离群值。若某次检出的离群值为统计离群值，则此离群值及在它前面检出的离群值（含歧离值）都应被剔除或修正。C）检出的离群值（含歧离值）都应被剔除或进行修正。3、备案被剔除或修正的观测值及其理由应予记录，以备查询。