GB_T 42888-2023 信息安全技术 机器学习算法安全评估规范.docx

《GB_T 42888-2023 信息安全技术 机器学习算法安全评估规范.docx》由会员分享，可在线阅读，更多相关《GB_T 42888-2023 信息安全技术 机器学习算法安全评估规范.docx（31页珍藏版）》请在第一文库网上搜索。

1、ICS35.030CCS L 80G白中华人民共和国国家标准GB/T428882023信息安全技术机器学习算法安全评估规范Information securitytechnology-Assessmentspecification forsecurity Ofmachinelearning algorithms2023-08-06发布2024-03-01 实施国家市场监督管理总局给花国家标准化管理委员会发布目 次前言 In1范围12规范性引用文件13术语和定义14概述24.1 安全原则 24.2 安全要求分级25机器学习算法技术安全要求和评估方法25.1 安全要求 25.2 评估方法56机器学

2、习算法服务安全要求和评估方法96.1 安全要求 96.2 评估方法97机器学习算法安全评估流程117.1 流程要求117.2 评估准备117.3 评估方案117.4 评估执行127.5 评估结论127.6 评估报告12附录A（规范性）算法推荐服务安全要求14附录B（规范性）算法推荐服务评估方法21参考文献29本文件按照GB/T1.1-2020标准化工作导则 第1部分:标准化文件的结构和起草规则的规定 起草。请注意本文件的某些内容可能涉及专利本文件的发布机构不承担识别专利的责任。本文件由全国信息安全标准化技术委员会（SAC/TC260）提出并归口。本文件起草单位：北京赛西科技发展有限责任公司、中

3、国科学院计算技术研究所、清华大学、国家计 算机网络应急技术处理协调中心、上海商汤智能科技有限公司、北京瑞莱智慧科技有限公司、阿里巴巴 （中国）有限公司、中国科学院信息工程研究所、中国信息通信研究院、中国电子科技集团公司第十五研 究所、国家信息技术安全研究中心、广州大学、北京大学、华东师范大学、北京航空航天大学、华为技术有 限公司、北京旷视科技有限公司、北京百度网讯科技有限公司、深圳市腾讯计算机系统有限公司、浙江大 学、北京奇虎科技有限公司、北京小桔科技有限公司、安徽工程大学、北京智者天下科技有限公司、北京 交通大学、浙江工业大学、上海工业控制安全创新科技有限公司、中国人民公安大学、深圳市大数据

4、研究 院、北京计算机技术及应用研究所、中国科学院自动化研究所、上海燧原科技有限公司、烽台科技（北京） 有限公司、中国电子技术标准化研究院。本文件主要起草人:上官晓丽、郝春亮、许晓耕、胡影、陈钟、沈华伟、蒋慧、梅敬青、张宇光、彭骏涛、 郭岩、李鹏霄、艾政阳、赵芸伟、韩哈、刘明、尹芷仪、庞亮、王晓诗、刘总真、周熙、孟国柱、景慧的、张琳琳、 朱睡、霍珊珊、刘健、刘赫、苏航、金涛、刘吉强、任奎、张旭东、成瑾、朱红儒、杨韬、李钦、刘祥龙、 王义飞、吴庚、赫然、嘛管、转、曹硒、严敏瑞、付英波、郭颖、孙空军、唐家渝、刘曦泽、王哲麟、彳璘、 徐永太、张屹、秦湛、安泽亮、徐雨晴、李雪、李大海、徐光侠、包沉浮、郭

5、建领、宣琦、张世天、赵涌鑫、王姣、 政、芦天亮、吴保元、韩磊、张雨桐、彭泉。信息安全技术机器学习算法安全评估规范1范围本文件规定了机器学习算法技术和服务的安全要求和评估方法，以及机器学习算法安全评估流程。本文件适用于指导机器学习算法提供者保障机器学习算法生存周期安全以及开展机器学习算法安 全评估，也可为监管评估提供参考。2规范性引用文件本文件没有规范性引用文件。3术语和定义下列术语和定义适用于本文件O3.1机器学 习算法 machinelearning algorithm功能单元通过学习新知识技能或整理已有知识技能以改进其性能的算法。3.2机器学习算法提供者 machinelearning a

6、lgorithm provider利用机器学习算法实现特定功能的组织.注：本文件中简称算法提供者,包括算法技术提供者和算法服务提供者.算法技术提供者是指算法技术的开发和 提供方，算法服务提供者是指使用应用算法技术的服务提供方3.3算法推荐服务 algorithmicrecommendation service互联网信息服务算法推荐 internetinformation Serviceofalgorithmicrecommendation应用算法推荐技术提供信息的服务O注1：应用算法推荐技术是指利用机器学习算法实现生成合成类、个性化推送类、排序精选类、检索过滤类、调度决 策类等算法技术，向用户

7、提供信息的活动.注2:本文件将生成合成类、个性化推送类、排序精选类、检索过滤类、调度决策类等算法统称为五类算法。3.4算法生存周期 algorithm lifecycle机器学习算法从设计到退役的演进过程。注1：算法生存周期包括设计开发、验证确认、部署运行、维护升级、退役下线.注2： 一般算法服务处于部署运行阶段.3.5健壮性 robustness机器学习算法在受到干扰或攻击等情况下维持其性能等水平的能力。来源：68/1284572012,3.8,有修改3.6准确率 accuracy对于给定的数据集，得到正确结果的样本数占总样本数的比率。3.7生成合成信息 generativesyntheti

8、c information利用虚拟现实、深度学习等技术对文本、图像、音频、视频、场景模型等进行生成或者编辑所得到的4概述4.1 安全原则机器学习算法安全原则：a）公平合理:符合社会伦理道德，遵循社会公序良俗,维护我国社会群体间权利公平、机会公平、 过程公平和结果公平的状态；b）公开可解释：工作原理具备一定的可解释性且向用户充分公开；c）诚实可信：严格遵照设计、遵守承诺,不欺骗、不误导、不隐瞒,充分尊重服务对象和社会利益。4.2 安全要求分级机器学习算法安全要求分为基本级与增强级：a）基本级:对机器学习算法的基本安全要求；b）增强级：当机器学习算法可能涉及影响国家安全、社会安定、公民生命财产安全

9、等关键事项决 策时符合的增强安全要求，对应条款用粗体表示。5机器学习算法技术安全要求和评估方法5.1 安全要求5.1.1 通用条款对机器学习算法提供者的安全要求包括以下内容。a）应对使用的软件及第三方组件、硬件固件及时进行安全更新、漏洞修补,保障算法环境安全。b）应针对训练数据、测试数据、算法代码、算法模型等方面的安全需求差异分别设置数据访问控 制策略，防止非授权访问。c） 应采取密码技术对训练数据、测试数据、算法代码、算法模型等进行保护，应对算法代码、算法 模型进行完整性保护，应对训练数据、测试数据的存储、传输进行加密保护。d）不应将个人信息用于算法生存周期各项活动，以下情况除外：1） 已按

10、法律法规要求取得个人信息主体同意；2）法律法规规定无需取得个人信息主体同意。e）确需处理含个人信息的数据时，应采取必要的匿名化、去标识化措施保护个人信息；处理个人 信息时应遵循最小必要原则，应在存储、传输含个人信息的数据时进行加密保护，防止数据 泄露。f） 应保留算法生存周期各阶段算法关键决策的相关日志记录，至少达到可复现关键决策场景的 细化程度，实现算法关键决策可审计、可追溯。注：关键决策包括但不限于技术路线选择、数据集构建、个人信息处理相关决策.5.1.2 设计开发对机器学习算法提供者的安全要求包括以下内容a）应根据算法模型设计开发的技术路线特点，以及算法相关服务的安全需求，分析确定以下训

11、练 数据指标，并采用符合指标的训练数据：1）训练数据规模阈值；2）训练数据均衡性指标；3）训练数据标注准确率阈值。b）应对训练数据进行安全检测，修复或过滤被投毒数据，包括但不限于以下情况：1）攻击者以降低算法模型整体表现为目的，置入大量标注错误或与设计开发目的无关的投 毒数据；2）攻击者以使算法模型对特定数据给出错误输出为目的，置入部分具备特定特征的投毒 数据。c） 数据标注应采取多途径标注，通过交叉验证标注结果推断标注准确率、预防数据投毒。宜设置 数据标注质量责任人，负责制定质检方案，监督标注过程，管控标注风险，确保标注的结果 质量。注1：多途径标注是指不同标注团队进行标注的情况，包括借助外

12、部标注团队（外部受托方）进行标注。d）数据标注应在提供者可控的环境进行。借助外部受托团队进行标注的，不应将数据传输给外 部标注团队之外的其他组织或个人应设置标注人员权限控制策略，防止非法授权访问。e）应根据算法设计开发的技术路线特点，以及算法相关服务的安全需求，分析确定以下算法指 标，并按指标进行设计开发：D 算法可用性相关指标，是指算法安全服务时间占总时间比例指标，或算法有效响应次数占 总调用次数比例指标等；2）算法可靠性相关指标，是指算法连续安全服务时长指标，或算法连续安全响应次数指 标等。f） 应采取对抗训练、恶意样本过滤等措施提升算法模型健壮性，评估算法模型健壮性提升效 果，形成评估报

13、告,包括提升目标、技术方案、投入时间、重要操作、提升效果、评估结论等。g）应设计算法安全应急处置机制，使算法在各类情况，包括算法出现安全意外时，可被提供者人 工中断运行。注2:安全意外包括但不限于被攻击或算法故障.5.1.3 验证确认对机器学习算法提供者的安全要求包括以下内容a）应对训练数据与测试数据的重复性进行检测，从测试数据中排除已经被用于训练的数据，并应 根据测试需要，分析确定以下测试数据指标，并采用符合指标的测试数据：D测试数据规模阈值；2）测试数据均衡性指标；3）测试数据标注准确率阈值；4）测试数据与测试任务相关性阈值.b）应开展算法的数字世界抗攻击测试，测试算法对黑盒攻击、白盒攻击

14、和灰盒攻击的抵抗能力； 有条件的宜开展物理世界抗攻击测试。注1：物理世界攻击是指通过对物理世界中物体的自身、环境、视角等因素进行修改、遮盖等方式，对机器学习 算法进行对抗性攻击.数字世界攻击是指通过对输入数据进行修改、增加噪声等方式，对机器学习算法 进行对抗性攻击.注2:黑盒攻击是指攻击者只能获得算法的输入输出，但不掌握代码、模型等其他信息时发起的攻击.白盒攻 击是指攻击者在完全掌握算法输入输出、代码、模型等信息后发起的攻击.灰盒攻击是指攻击者部分掌 握算法但非全部信息，例如只掌握模型结构但不掌握参数时发起的攻击.C）委托验证测试时,应采取以下措施中的一种以保障模型和数据的保密性，并宜对同一算

15、法使用 两个或多个受托方对不同数据类型分别验证测试：1）只在提供者可控的环境开展验证测试，不将模型、数据向受托方提供；2）将验证测试所需的模型、数据进行加密封装后再向受托方提供。d）应根据设计开发阶段确定的可用性、可靠性、可恢复性指标对算法开展验证确认。e）应开展模型健壮性验证确认，包括但不限于使用包含对抗噪声、自然噪声、系统噪声、假造、仿 造、随机、无意义或与算法应用场景无关等类型的数据对算法进行测试。f）应验证确认算法是否可人工中断运行，重点验证算法在被攻击或出现意外时可被人工中断运行的安全机制是否有效。5.1.4 部署运行对机器学习算法提供者的安全要求包括以下内容a）应采取措施降低算法代码、算法模型参数、特征数据的逆向风险,措施包括但不限于对算法代 码进行混淆、加密存储算法模型参数等。b）应设置针对运行时所使用数据的安全机制，包括但不限于对所使用的数据进行完整性校验，以 及基于密码技术对输入输出数据进行必要的加密保护等。c）应对输入数据格式、大小等属性加以限制，防止特殊数据输入使模型出错；在干扰性输入较多 时,应采用输入筛选过滤机制确保算