人工智能算法评测方法 第1部分：通则.docx

《人工智能算法评测方法 第1部分：通则.docx》由会员分享，可在线阅读，更多相关《人工智能算法评测方法 第1部分：通则.docx（9页珍藏版）》请在第一文库网上搜索。

1、人工智能算法评测方法第1部分：通则一、标准名称：人工智能算法评测方法第1部分：通则二、项目提出单位：上海市经济和信息化委员会三、起草单位：华为技术有限公司、上海商汤智能科技有限公司、支付宝（中国）网络技术有限公司、百度（中国）有限公司、上海云从企业发展有限公司、北京旷视科技有限公司、深圳市腾讯计算机系统有限公司、上海依图网络科技有限公司、上海联影智能医疗科技有限公司、上海华东电信研究院、上海计算机软件技术开发中心、上海市软件评测中心有限公司、上海市信息安全测评认证中心、上海市质量监督检验技术研究院、上海市计量测试技术研究院、上海电器科学研究所（集团）有限公司、公安部第三研究所四、立项理由人工智

2、能算法评测标准是指对人工智能算法的性能、效果、质量、安全性、可信性等方面进行量化或定性的评价方法和规则，是衡量算法性能和效果的重要依据，也是推动算法研发和应用的重要驱动力。当前，人工智能算法评测标准的不足主要有以下几个方面：一是缺乏顶层设计和统一规范。目前人工智能领域的标准化工作还处于起步阶段，导致不同机构、不同领域、不同场景的评测标准存在差异和碎片化，难以形成共识和互通。比如不同算法评测标准还没有形成一个完整的体系，不同的机构和领域可能有不同的标准和方法,缺乏通用性和兼容性，难以实现跨平台和跨场景的评测。二是当前人工智能算法发展进入高速期，生成式人工智能区别于传统人工智能算法，在功能强大的同

3、时，也亟需评测方法的标准研制。传统的人工智能算法分类方法也无法应对新一批的人工智能算法，会出现评测角度不全面，评测指标不对口的现象。人工智能算法评测标准的目的是为了评估人工智能算法的性能、效果、质量、安全性、可信性等，从而促进人工智能技术的创新和应用，保障用户和社会的利益，建立一个公平开放的行业生态系统。通过对标准的研究可以帮助开发者和用户选择合适的算法，提高算法的适用性和有效性，也可以帮助监管者和评估者制定合理的规范和方法,保障算法的安全性和可信性。建立人工智能算法评测方法通则，有如下显著意义：(I)可以为人工智能算法第三方评测机构提供新一代人工智能分类下的评测方法与流程指导，有助于巩固人工

4、智能算法的可靠性，可检验算法是否符合设计要求，是否存在缺陷或错误，是否具有稳定性和鲁棒性，是否能够适应不同的数据和环境等。(2)强化人工智能算法的可比较性。评测标准可对不同的算法进行横向或纵向的比较，分析算法的优劣和适用范围，为算法的选择和优化提供依据。(3)加强人工智能算法的可复现性。评测标准可明确算法的输入、输出、参数、过程、结果等信息，为算法的复现和验证提供条件。(4)增强人工智能算法的可解释性。统一的评测标准可揭示算法的内部逻辑和机理，分析算法的影响因素和敏感度，为算法的理解和改进提供依据，从而提高算法的可解释性。五、主要内容本标准人工智能算法评测方法第1部分：通则，是人工智能算法评测

5、方法系列标准的第一部分，规定了人工智能算法的基础评测指标和方法。该系列标准的结构和名称如下：第1部分：通则；一一第2部分：判别式；第3部分：生成式；第4部分：人工智能任务可以划分为回归任务、分类任务、聚类任务、降维任务、生成任务与其他任务。其中，解决回归任务、分类任务、聚类任务的算法属于判别式人工智能算法，解决生成任务的算法属于生成式人工智能算法。本文未作说明的其他人工智能算法均归为其他人工智能算法。本标准即采用该分类方法，对不同人工智能算法中，具有类似属性的评测方法进行标准化。标准框架：1范围2规范性引用文件3术语和定义4.1 按照学习方式4.2 按照实现原理4.3 按照任务类型5评测方技术

6、要求6评测流程7通用人工智能算法评测指标和方法7.1概述7.2基础性能7.2.1算法效率7.2.2可迁移性7.2.3白盒测试7.3运行效果7.3.1黑盒测试7.3.2兼容性7.4可信度7.4.1公平性7.4.2稳定性7.5可解释性7.5.1模型可解释性7.5.2结果可解释性7.5.3不确定性估计7.6算法质量7.6.1可靠性7.6.2安全性标准主要内容：（一）新一代人工智能算法分类1按照学习方式可以分为：监督学习、无监督学习、半监督学习、自监督学习、强化学习等。2 .按照实现原理可以分为：决策树、神经网络、支持向量机、贝叶斯网络、遗传算法等。3 .按照任务类型可以分为：回归任务、分类任务、聚类

7、任务、降维任务、生成任务与其他任务。其中，解决回归任务、分类任务、聚类任务的算法属于判别式人工智能算法，解决生成任务的算法属于生成式人工智能算法。本文未作说明的其他人工智能算法均归为其他人工智能算法，详见图Io本文采用任务类型所描述的分类方法进行评测。图1新一代人工智能算法分类（二）评测方技术要求包括针对软硬件测试环境和设备，合适的平台、框架、语言、工具和数据集，进行有效的数据采集、处理和分析。针对算法的加密保护，防止算法被恶意攻击、篡改或泄露。加密技术要求（如同态加密、安全多方计算、差分隐私等）。能否提供公平公、高质有效评测报告。（三）评测流程图2人工智能算法评测流程图（四）通用人工智能算法

8、评测指标和方法本章规定了可适用于绝大多数人工智能算法的评测指标和方法,包括回归、分类、聚类、生成等。图3通用人工智能算法评测1基础性能包括了算法效率、可迁移性与白盒测试（可选）。1. 1算法效率包括：模型参数量与模型计算量等（如F1OPs.MAC.MACC等）1.2 可迁移性包括：算法基础架构、算法加速策略等。1.3 白盒测试包括：神经元覆盖率、阈值覆盖率等2.运行效果评测包括了黑盒测试、兼容性。2.1 黑盒测试包括：A/B测试、一致性测试、组合测试、探索式测试、成对测试、模糊测试与蜕变测试等2. 2兼容性测试包括：可扩展性、可移植性、可重用性。3.可信度包括了公平性、稳定性与可解释性（可选）

9、。3.1 公平性包括：群体公平（如人口学平等性等）、个体公平（如均等赔率、机会均等等）3. 2稳定性包括：群体稳定性指标（PSI）、特征稳定性指标（CSD等3. 3可解释性包括：模型可解释性、结果可解释性、不确定性估计4算法质量了可靠性、安全性。3.2 可靠性包括：鲁棒性（如干扰数据、数据集分布与业务不相关数据对算法的影响，对抗样本的生成测试、物理可行性、防御性等，攻击、防御算法对模型的影响指标）、容错性、易恢复性4. 2安全性包括：算法模型的机密性、数据的机密性、算法模型的隐私性、算法模型的输入防御。六、适用范围本文件规定了人工智能算法的基础评测指标与方法。本文件适用于第三方测评机构对人工智能企业的人工智能算法进行评测，人工智能企业也可参照本文件开展人工智能算法自测。