数据清洗、去标识化、匿名化业务规程（试行） 2023.docx

《数据清洗、去标识化、匿名化业务规程（试行） 2023.docx》由会员分享，可在线阅读，更多相关《数据清洗、去标识化、匿名化业务规程（试行） 2023.docx（43页珍藏版）》请在第一文库网上搜索。

1、目录一、处理目标及相互关系1（一）数据清洗是数据可用的保障1（二）去标识化是数据脱敏的关键1（三）匿名化是去标识化的强化2二、数据处理原则4（一）合法合规4（二）安全优先4（三）平衡效用4（四）技管结合4（五）有效溯源5三、数据清洗规程5（一）处理目的5（二）处理流程6（三）常见技术方法9四、数据去标识化规程12（一）处理目的12（二）处理流程13（三）常见技术方法18五、数据匿名化规程21（一）处理目的21（二）处理流程21（三）常见技术方法25六、数据处理环境要求29（一）管理制度要求29（二）技术能力要求30（三）人员能力要求30（四）过程控制要求30（五）事故管理要求31附件一：常见直

2、接标识符和准标识符示例32附件二：常见标识符的去标识化或匿名化参考36附件三：部分数据处理技术方法应用建议40参考资料43表目录表1数据清洗、去标识化、匿名化处理的技术特点和差异3习近平总书记在2023年中国国际服务贸易交易会全球服务贸易 峰会上发表视频致辞指出，要“推动数据基础制度先行先试改革”。 中共中央国务院关于构建数据基础制度更好发挥数据要素作用的 意见要求“创新技术手段，推动个人信息匿名化处理”。规范数据清 洗、去标识化 匿名化处理，有助于提升数据的可用、可信 可流 通、可追溯水平，推动数据要素强化优质供给，是建立合规高效、 场内外结合的数据要素流通和交易制度的重要内容。具体来说，为

3、满 足数据可用性和安全性进行的数据清洗、去标识化、匿名化处理，是 数据产品进场上市的条件，也是数据资产登记、交易的前提，更是数 据应用、建模释放二次衍生价值的底线。本报告通过明晰数据清洗、 去标识化、匿名化处理三者之间的关系，总结各项处理活动的处理目 的、流程、技术方法及环境要求，以期为相关组织开展相应数据处理 活动和测试评估提供参考。一处理目标及相互关系（一）数据清洗是数据可用的保障数据清洗是运用一定方法修正识别到的数据问题，实现数据的规 范性、完整性、一致性、准确性和可溯源性，提高数据质量的过程。 数据清洗旨在满足数据的可用性要求，是数据资源预处理的第一步， 也是保证后续处理结果准确、科学

4、、有效的重要一环。数据清洗作为 数据后续开发利用的基础，是数据去标识化和匿名化处理的前置步骤。（二）去标识化是数据脱敏的关键数据去标识化是指数据经过处理，使其在不借助额外信息的情况 下无法识别特定自然人或相关标识符的过程。数据去标识化处理强调 标识符的“不可识别性”，即对数据内含的相关敏感信息内容进行脱 敏处理，通过去除、替换、模糊等方法，达到不借助额外信息的情况 下无法识别特定自然人或相关标识符的效果。数据去标识化与在先的标识形成过程分属数据处理的不同阶段 及场景。标识形成是产生数据的过程，使得被标识对象据此可以被组 织进行有效管理和开发利用。数据去标识化是标识数据产生后的加工 处理过程，旨

5、在提升标识信息的安全防护水平，确保敏感的标识内容 不被未经授权的主体获取和利用。去标识化处理是强化标识数据安全 性的重要保障。例如，制造业企业通过对产品、零部件、设备进行标 识，形成了可精准定位产品和设备的数据资源，在委托外部第三方技 术开发商进行相关应用系统开发时，需要对含有敏感内容或涉及商业 秘密的数据进行去标识化处理。数据去标识化处理暗含了相关标识符具有“复原”的可能，去标 识化无法单独实现匿名化的法律效力。例如，对个人信息进行去标识 化处理后的数据，仍属于个人信息范畴。（三）匿名化是去标识化的强化数据匿名化是指数据经过处理，无法识别特定自然人或相关标识 符且不能复原的过程。数据匿名化处

6、理在强调标识符的“不可识别性” 基础上，要求标识符同时满足“难以复原性”标准，是数据去标识化 的进一步处理，即数据去标识化后应用相关技术使相关标识符难以复 原的过程。经匿名化处理后数据的初始效用将受到较大程度的改变。与数据去标识化相比，经匿名化处理后的数据即便借助了额外信 息也难以识别特定自然人和被处理的标识符。例如，对个人信息进行 匿名化处理后的数据，不再属于个人信息范畴。但匿名化处理仅是描 述应用匿名化技术的过程，并非描述数据达到绝对匿名化的状态，完 满、绝对的不可复原状态无法100%确定。表1数据清洗、去标识化、匿名化处理的技术特点和差异加工后数据改造程度（相对原始数据）数据有用性（针对

7、个体记录）数据安全性（脱敏程度）清洗后数据低高低（单独可识别）去标识化数据中中中（不借助额外信息不可识别）匿名化数据高低高（借助额外信息也难以 复原的不可识别）来源：中国信息通信研究院去标识化技术和匿名化技术没有严格界分，二者核心都是通过技 术手段对标识信息进行脱敏处理，实现对敏感数据内容的保护，实践 中两类技术通常可以组合使用实现预期处理效果。本报告根据抗重新 识别的风险能力大小和对敏感内容安全防护程度的差异，将相关技术 划分为去标识化技术和匿名化技术。仍保留原始数据个体颗粒度的， 纳入去标识化技术方法范畴；不再保留原始数据个体颗粒度，或原始 数据记录的真实性已受到显著减损，或原始数据记录不

8、对外披露的， 纳入匿名化技术方法范畴。二数据处理原则（一）合法合规组织开展数据清洗、去标识化和匿名化处理，应满足我国法律、 法规、规章和标准规范对数据安全和个人信息保护的有关规定，不得 不当损害国家、社会和第三方组织及个人的合法正当权益。（二）安全优先组织应采取相应的管理和技术措施，保证数据加工处理过程的安 全性。数据的安全性考虑是组织开展数据去标识化、匿名化处理活动 的首要目的，以降低数据在后续流通、应用环节的安全风险，降低数 据安全事故发生概率。（三）平衡效用组织应根据业务目标和安全保护要求，面向场景化应用需求，选 择恰当的清洗、去标识化和匿名化处理路径和技术，在确保安全的前 提下，强调数

9、据质量要求，尽可能满足预期效用，促进数据安全性和 可用性的有效平衡。（四）技管结合组织应综合利用技术和管理两方面措施实现数据处理的最佳效 果，根据工作目标和数据安全要求制定适当的策略，选择合适的模型 和技术，建立完善的管理架构、操作权限和责任机制，将技术和管理 措施嵌入数据清洗、去标识化、匿名化处理全流程，并定期跟踪评估 和持续改进。（五）有效溯源组织应明确各环节的数据处理权限和流程，对数据清洗、去标识 化、匿名化设置访问控制程序，采取措施清晰记录数据处理过程的细 节、使用的参数和控制措施，及时发现已经出现或可能出现的偏差或 不当操作，支撑后续对数据处理过程进行维护、审计和追溯。三数据清洗规程

10、（一）处理目的组织实施数据清洗活动，应保证清洗加工过程和输出结果符合以 下要求：1 .规范性数据来源合法，数据的格式、质量及存储标准应统一，应使用相 同度量单位描述同一场景下的同类数据，满足数据互联互通要求，不 存在空值、无效值，响应依据规范标准的各种查询和各种计算。2 .准确性应对数据所指向的内容客观、真实、准确描述，可对清洗前后的 数据进行内外部比对校验，并对具有时效要求的数据根据时间特性及 时更新，确保清洗加工不造成数据失真、错漏。3 .完整性清洗后的数据应保证数据的连续性、完整性，源数据应在源头或 备份表中能找到，数据在字段、记录内容或数据集内不应有重复值。4 . 一致性各字段内的数据

11、应与字段描述一致，同一个数据在同一时刻在不 同数据库、应用和系统中应保持一致。5 .可溯源性应在数据清洗转换前对原始数据进行备份，对清洗过程所使用的 方法、参数和路径进行记录，保证原始数据可溯源，便于后续查证或 重新使用。(二)处理流程数据清洗的流程通常包括抽取清洗对象、明确清洗规则、标识错 误数据、数据修正处理、数据转换检验、评估清洗结果六个步骤。1 .抽取清洗对象(1)明确清洗对象选取需要进行清洗处理的数据，明确清洗的数据范围、类型、性 质、体量、内容、关系、质量等信息，全面分析清洗标的的情况，对 清洗数据进行分类分级。(2)对清洗对象进行抽取清洗对象的抽取应当允许对结构、半结构和非结构等

12、不同类型数 据进行抽取，包括对数据的全量抽取和增量抽取，数据抽取后的表结 构应与抽取来源的表结构保持一致。2 .定义清洗规则(1)确定清洗效果和目标根据清洗的必要性，分析对应数据资源的特点和清洗复杂程度，结合业务要求或用户和其他相关方的需求，明确清洗的程度和需要达 到的质量效果。（2）确定清洗逻辑规则结合所抽取的清洗对象的数据特点，以需求为导向，以应用为目 标，以数据的可用性为评价标准，明确各数据错误类型的判断标准及 相应的修正处理方式。3 .标识错误数据（1）筛选错误数据分析筛选出数据资源中存在的数据问题和对应的数据。按照常见 错误数据的类型，对数据问题进行分类，针对性进行错误标识，并支 持

13、对已标识的错误数据进行查询定位。可采用统计学、关联规则、业 务区分等方法来对目标数据进行错误检测，识别出数据的错误类型并 进行标识。例如，通过使用统计学方法（例如均值、标准差、范围或 分位数）对数据进行分析和可视化，发现异常值或离群值，从而标识 错误数据。（2）常见错误类型残缺数据：数据中缺失一些记录，或一条记录中缺失一些值，或 两者都缺失。偏差数据：数据没有严格按照要求记录，包括格式内容错误、逻 辑错误、不合规数据等。重复数据：数据中出现多条相同记录，或多条记录反映同一内容，通常发生在数据来自不同来源、数据多次采集、瑕疵数据更正备份等 情形。其他错误：数据未能准确反映所描述的对象的其他情形，

14、如非结 构化或半结构化数据、无意义数据、不相关数据等。4 .数据修正处理对已标识的残缺数据、偏差数据、重复数据和其他错误数据分别 采用针对性的方法和工具进行处理。常见的数据清洗工具包括软件工 具、脚本等类型。选择清洗方法和策略时，应根据清洗目标和业务需 要，结合数据错误类型，采取删除、填充、更换等不同的方式处理， 具体可参考本节“(三)常见技术方法”。5 .数据转换检验(1)错误数据转换对错误数据的格式、信息代码、值的冲突进行转换。数据转换前 应检查需要转换的数据规则和字段是否一致。(2)转换结果检验一是内容检验，即对转换后数据内容的完整性、全面性进行检验， 包括非空检验和数据量检验。二是格式

15、检验，即对照数据格式样例或相关标准对转换后数据格 式的规范性、一致性进行检验。三是逻辑检验，即结合相关联数据对转换后数据逻辑是否符合预 先设定的范围、区间、大小、数值关系等规则的约束性要求进行检验。四是合规检验，即结合业务场景的合规要求对转换后数据内容是 否符合法律法规和强制性标准的要求进行检验。6 .评估清洗结果数据清洗后及时评价输出结果是否符合事先设定清洗规则和规 范性、准确性、完整性、一致性、可溯源性等目标要求，并从业务角 度评估清洗后数据的有用性，判断是否可以支撑后续加工处理活动。（三）常见技术方法L残缺数据处理组织应当按照所需处理数据的字段缺失比例和重要性，采取差异 化的策略进行处理。重要性高，缺失率低的字段，可以通过计算结果 填充并进行核验；重要性高，缺失率高的字段，重新采集获取或通过 其他渠道取数补全；重要性低，缺失率低的字段，不做处理或简单填 充；重要性低，缺失率高的字段，可以选择删除该字段。（1）删除缺失值当样本数量充足，且出现缺失值的样本占比相对较小时，可以备 份当前数据后，直接删除后期加工处理不需要的字段和缺失值。（2）填充缺失内容存在缺失