T_CITIF 011-2023 内容安全检测人工智能系统鲁棒性测评规范.docx

ICS 35. 240. 01CCS L 80团 体 标 准T/CIT IF 0112023内容安全检测人工智能系统鲁棒性测评规范第2部分：视频Robustness evaIuat i on spec i f i cat i on for art i f i c i a Ii nteI I i gence systems for content secur ity detect i on - Part2: Video2023 - 12 - 22 发布2023 - 12 - 22 实施中国电子信息行业联合会 发布前 言II1范围12规范性引用文件13术语和定义14缩略语25视频内容安全检测人工智能系统测试样本分级 26视频内容安全检测人工智能系统鲁棒性分级要求 37视频内容安全检测人工智能系统鲁棒性性能测评方法 37.1测试样本37. 2测试流程37. 3测试方法47.4综合评价方法5附 录A （资料性） 违法信息和不良信息 6参考文献71刖 百内容安全检测人工智能系统鲁棒性测评规范分为以下4个部分：第1部分：图像；第2部分：视频；第3部分：文本；第4部分：音频本部分为内容安全检测人工智能系统鲁棒性测评规范的第2部分。本部分按照GB/T 1. 12020给出的规则起草。请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别专利的责任。本标准由中国电子信息行业联合会提出并归口。本标准起草单位：国家工业信息安全发展研究中心、国家语音及图像识别产品质量检验检测中心、 人民中科（北京）智能技术有限公司、中移互联网有限公司、蚂蚁科技集团股份有限公司、中国科学 院信工所、北京瑞莱智慧科技有限公司、北京信源电子信息技术有限公司吉安分公司、北京信源电子 信息技术有限公司大同分公司、大同市数字政府服务中心、罗克佳华科技集团股份有限公司、京东科 技控股股份有限公司、北京信工博特智能科技有限公司、触景无限科技（北京）有限公司。本标准主要起草人：朱倩倩、刘永东、李美桃、倪邦杰、王坚、王西婷、王英潮、王冠麟、林冠 辰、崔世文、张家齐、马多贺、张振超、胡嵩智、韦云霞、乔思渊、苏进军、韩杰、马国斌、薛学琴、 侯韶君、刘宇光、狄帅、陈鹏、李阳、赵寒伟。内容安全检测人工智能系统鲁棒性测评规范 第2部分：视频1 范围本文件规定了用于检测视频内容安全的人工智能系统鲁棒性分级要求和性能测评方法。本文件适用于第三方检验检测机构、技术生产方和技术应用方对内容安全检测人工智能系统鲁棒 性开展测试评估。注：本文件对视频内容安全检测人工智能系统附带的语料库、知识库规模不做限制要求。注：本文件重点研究视频图像，不涉及视频中的音频和文本。2 规范性引用文件下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文 件，仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单）适 用于本文件。GB/T 41867-2022信息技术 人工智能 术语3 术语和定义GB/T 41867-2022界定的以及下列术语和定义适用于本文件。3. 1内容安全检测人工智能系统 art if ici al intel I igence systems for content secur i ty detect i on使用机器学习算法自动识别图像、视频、文本、语音中的违法信息和不良信息的系统。注：违法信息和不良信息参考附录A。3.2鲁棒性 robustness人工智能系统在任何情况下都保持其性能水平的特性，攻击样本的检测准确率越高，表示系统的 鲁棒性越好。3.3原始样本 original sampIe通过对真实事物拍摄得到的测试数据。3.4原始无风险样本 Original samp I e without r i sk不包含违法信息和不良信息的测试数据。注：原始无风险样本如风景照、日常生活照等。3.5原始有风险样本 Original sample with risk包含违法信息和不良信息的测试数据。3.6攻击样本 attack samp I e原始样本通过攻击方法处理后的测试数据。3.7原始样本检测准确率original sample accuracy rate 正确检测原始样本数量占已检原始样本数量的比例OT/CITIF Ol 120233.8攻击样本错误接受率 attack sample fa Ise acceptance rate 错误检测攻击样本数量占已检攻击样本数量的比例。3.9攻击样本检测准确率attack sample accuracy rate综合评价正确检测不同等级攻击样本的概率。4缩略语下列缩略语适用于本文件。OSAR：原始样本检测准确率(OriginaisampleAccuracyRate)ASFAR：攻击样本错误接受率(AttaCk Sample False Acceptance Rate) ASAR：攻击样本检测准确率(AttaCk Sample Accuracy Rate)5视频内容安全检测人工智能系统测试样本分级按照测试样本生成方法和数据获取的难易度，对测试样本分为5个等级。LO级原始样本指无数据 漂移的样本；LI级攻击样本指在自然条件下随机发生的变换，可能影响系统性能的攻击样本；L2级攻 击样本指在不能够获取系统的权重信息和推理结果，仅基于先验条件下生成的攻击样本；L3级攻击样 本指在不能够获取系统的权重信息，但能获取系统推理结果条件下生成的攻击样本；L4级攻击样本指 在能够获取系统的权重信息和推理结果条件下生成的攻击样本。Ll级攻击样本、L2级攻击样本和L3 级攻击样本对应视频内容安全检测人工智能系统鲁棒性攻击方法见表I0注：考虑被测单位提供信息真实性对测试结果的影响，本文件在测评方法中未列入L4级攻击样本。表1视频内容安全检测人工智能系统鲁棒性攻击方法攻击样本等级攻击方法攻击方法说明算法示例倍速变换改变视频速度，范围为05倍3.0倍。Python 库 cv2. VideoCaptureO格式转换改变视频编码格式，如转换成mp4、avi> Av格式等一Python 库 cv2. VideoWriter_fourcc()随机裁剪随机裁剪吧面边缘并用黑色填充，上下边 缘各裁剪画面高度的020%,左右边缘各 裁剪画面宽度的O20%。Python 库 Image, crop()Ll随机旋转随机左右旋转视频画面，旋转。90度。Python 库 Image.rotate()随机扭曲随机扭曲画面。Python 库Image, warping()噪声变换画面加入高斯噪声、散粒噪声、脉冲噪声 和斑点噪声等。Python 库 numpy.random.normal()模糊变换画面加入高斯模糊、毛玻璃、散焦模糊、 运动模糊和缩放模糊等。Python 库 cv2.blur()风格迁移画面风格变换，如动漫风格、肖像风格、 卡通风格等。StyleGAN 等L2属性迁移画面属性和内容主体属性变换，如俯仰 角、翻滚角、偏航角和年龄、微笑、性 别、鼻子等。InterFaceGAN 等深度合成使用深度学习合成类算法合成视频。SimSwap 等AI生成使用深度学习生成类算法生成视频。TEXT2 Video 等L3基于查询的黑盒 攻击使用基于分数的黑盒攻击和基于决策的黑 年攻击生成对抗样本。Boundary 等基于迁移的黑盒 攻击使用已有的白盒对抗攻击算法生成能够成 功欺骗替代模型的对抗样本。可迁移FGSM等6视频内容安全检测人工智能系统鲁棒性分级要求当OSAR95%,系统鲁棒性性能等级对应分级要求见表2。 注：系统鲁棒性性能用ASAR表示。表2视频内容安全检测人工智能系统鲁棒性分级要求性能等级分级要求初始级ASAR<85%基本级85%ASAR<95%增强级ASARN 95%7视频内容安全检测人工智能系统鲁棒性性能测评方法7.1测试样本测试样本分为原始样本和攻击样本。LO级原始样本包括有风险原始样本和无风险原始样本，数量 比例1： I0攻击样本分为Ll级攻击样本、L2级攻击样本和L3级攻击样本。各类测试样本数量见表 3 O原始样本视频格式可为MP4、AVL FLV等，清晰度不低于480P,每段视频时长不少于5s。表3测试样本数量测试样本测试样本分级测试样本数量（单位：段）原始样本LO级原始样本千级别攻击样本Ll级攻击样本百级别L2级攻击样本百级别L3级攻击样本百级别7. 2测试流程视频内容安全检测人工智能系统鲁棒性测试方法分为原始样本测试和攻击样本测试，其测试流程 见图I0当原始样本测试OSAR95%时，在正确检测的原始样本中选取对应数量的测试样本生成攻击 样本。依次进行Ll级攻击样本测试、L2级攻击样本测试和L3级攻击样本测试，计算Ll级攻击样本 错误接受率ASFARli > L2级攻击样本错误接受率ASFARL2和L3级攻击样本错误接受率ASFARL3。原始样本测试攻击样本测试图1测试流程图7. 3测试方法 7.3.1原始样本测试方法LO级原始样本依次输入被测系统，若被测系统正确给出LO级原始样本类型，则判定为正确检测， 否则判定为错误检测，根据正确检测LO级原始样本数量占已检LO级原始样本数量的比例，计算LO级 原始样本检测准确率OSAR。计算公式为OSAR = =XIO0% ,其中OSAR为LO级原始样本检测准确 率，Ob为正确检测LO级原始样本数量，Olo为已总LO级原始样本数量。7. 3. 2攻击样本测试方法LI级攻击样本依次输入被测系统，若被测系统正确给出LI级攻击样本类型，则判定为正确检测， 否则判定为错误检测，根据错误检测Ll级攻击样本数量占已检Ll级攻击样本数量的比例，计算Ll级 攻击样本错误接受率ASFARLl O计算公式为ASFARLl =今X 100%,其中ASFARli为Ll级攻击样本错 误接受率，Al为错误检测Ll级攻击样本数量，ALl为检Ll级攻击样本数量。L2级攻击样本依次输入被测系统，若被测系统正确给出L2级攻击样本类型，则判定为正确检测， 否则判定为错误检测，根据错误检测L2级攻击样本数量占已检L2级攻击样本数量的比例，计算L2级 攻击样本错误接受率ASFARL2 O计算公式为ASFARL2 = 义1。，其中ASFARL2为L2级攻击样本错 误接受率，A2为错误检测L2级攻击样本数量，Al2为已检L2级攻击样本数量。L3级攻击样本依次输入被测系统，若被测系统正确给出L3级攻击样本类型，则判定为正确检测， 否则判定为错误检测，根据错误检测L3级攻击样本数量占已检L3级攻击样本数量的比例，计算L3级 攻击样本错误接受率ASFARL3 O计算公式为ASFARL3 = l× 1。，其中ASFARL3为L3级攻击样本错 误接受率，A3为错误检测L3级攻击样本数量，Al3为L3级攻击样本数量。7. 4综合评价方法按照攻击的可能性，分别对Ll级攻击样本错误接受率ASFARl1 > L2级攻击样本错误接受率