YDT 3442-2019 互联网流量分类识别在线评测方法.docx

ICS 35.100.1L79YD中华人民共和国通信行业标准YD/T 34422019互联网流量分类识别在线评测方法Omline test method of internet traffic classification2019-10-01 实施201 9-08-27 发布中华人民共和国工业和信息化部 发布目 次前言II1 范围12规范性引用文件13术语、定义和缩略语11.1 术语和定义14流量分类识别在线评测指标24.1 在线识别准确率24.2 最快识别率24.3 在线识别健壮性25在线评测环境配置35.1 在线评测网络拓扑35.2 在线评测方法35.3 评测环境设备46在线评测要求46.1 待测流量分类系统或设备要求46.2 测试结果评估设备要求47 测试方案57.1 业务类型识别整体准确率57.2 协议类型识别整体准确率57.3 应用类型识别整体准确率67.4 最快识别率67.5 在线识加健壮性6-XX.刖本标准是“互联网流量分类”系列标准之一。该系列标准的预计结构和名称如下：互联网流量分类方法及编码规范；互联网流量分类样本获取方法；互联网流量分类样本标注方法；互联网流量分类识别输出格式要求：互联网流量分类识别离线评测方法；互联网流量分类识别在线评测方法。本标准按照GB/TL 12009给出的规则起草。请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别这些专利的责任。本标准由中国通信标准化协会提出并归口。本标准起草单位：国家计算机网络与信息安全管理中心、中国科学院信息工程研究所。本标准主要起草人：颜靖华、李真真、陈悦、熊刚、邹潇湘、徐安林、王文磊。互联网流量分类识别在线评测方法1范围本标准规定了互联网流量分类识别在线评测要求及方法。本标准适用于互联网流量分类系统，以及其他集成流量分类功能的网络设备。2规范性引用文件下列文件对于本文件的应用是必不可少的。凡是注日期的引用文件，仅所注日期的版本适用于本文 件。凡是不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。YD/T 34402019互联网流量分类识别离线评测方法3术语、定义和缩略语3.1 术语和定义下列术语和定义适用于本文件。3.1.1互联网流量分类 Internet traffic classification通过不同特征将互联网流量判定为不同的流量类型，预测未知流量所属应用程序或协议的类型。3.1.2互联网流量分类设备 Internet traffic classification equipment用作互联网流量分类的专业化网络设备或计算机。3.1.3流量分类识SIJ输出日志 Internet trafic classification output logs流量流经流量分类系统或设备时，流量分类系统或设备对系统状态、流量元信息、识别结果等输出 的记录。3.1.4流量分类效果评测 Intemet traffc classification performance evaluation对流量分类系统或设备的分类准确率、分类速度等多个方面的功能和性能进行评估，给出量化结果。能够对流量分类系统或设备进行评估比较，分析优劣。3.1.5评测系统或设备 performance evaluation system or equipment对不同厂家的流量分类系统或设备的功能和性能进行统一流量分类效果评测的系统或设备，应包括 统一设计的评测体系、评测接口和测试方案，能够对不同流量分类系统或设备进行比较。3.1.6待测流量分类系统或设备 test system or equipment of Internet traffic classification在流量分类系统或设备的评测过程中，被测试的流量分类系统或设备。3.1.7流量分类识别在线测评 Online test of internet traffic classification通过向待测流量分类系统或设备实时发送无标注的真实网络流量，进行流量分类识别测评。4流量分类识别在线评测指标4.1 在线识别准确率在线识别准确率是利用离线识别准确率计算出的，是待测流量分类系统或设备在实时环境中分类准 确率的近似估计值，也是在线评测的核心指标。在线识别准确率对系统或设备分类能力的估算与其在真 实环境下实时分类准确率的近似程度，取决于离线测试数据集的构造和发送方式。离线评测的数据包含 的业务类型、协议类型与应用类型所占的比例、数据发送速率以及并发流的数目，应尽可能近似真实网 络环境。离线测试数据集的构成越接近实时环境流量构成，在线准确率越接近真实值。待测流量分类系 统或设备的离线评测结果，是系统或设备对不同业务类型、协议类型、应用类型数据的识别准确率的基 准信息，该基准信息作为在线评测的一部分输入，估算分类系统设备在真实流量环境中在线评测的流量 分类准确率。4.2 最快识别率是指多台待测流量分类系统或设备在线评测时，假设某条流量F被多个流量分类系统或设备识别 为同一种类型的流量，某台流量分类系统或设备最先给出分类结果，则判定该分类系统最快识别出流量 Fo该流量分类系统或设备的最快识别率为最先给出分类结果的流量所占的比例。4.3 在线识别健壮性在线识别健壮性，旨在评测待测设备在处理较大带宽的在线真实流量时的健壮性、稳定性。评测时 将少量带标注的离线测试数据集，与在线真实流一起发送至待测设备。假定待测设备在只对离线测试数 据集分类识别时的整体准确率为Pa,在同时对在线流量和离线数据分类时，离线测试数据集的整体准 确率为Pb。在线识别健壮性与Pa与Pb之间的差异成反比，若Pa与Pb之间的差异越小，则说明被测设备的在线识别健壮性越高，反之则健壮性越低。5在线评测环境配置5.1 在线评测网络拓扑在线评测的网络拓扑结构如图1所示。其中，分光器用于复制网络流量，使不同的待测分类系统能 够收到完全相同的测试流量。测试结果评估设备用于接收不同系统的流量分类输出结果，同时也接收上 述待测设备的离线评测输出结果，统计分析并得出在线评测的结果。离线评测 输出结果流量分类 系统或设 备1图1在线测试环境拓扑5.2 在线评测方法由于在线评测发送给被测设备的是真实网络流量，无法获知流量的真实标注，因此需参照离线测评 结果，估算出在线评测结果，具体要求如下。a）在流量分类在线评测工作之前，应对真实网络环境的流量做预分析，统计出真实环境下不同业 务类型、协议类型、应用流量所占的字节数比例、包数比例、流数比例。按照这一比例，从带 标注数据集中取出并混合构造出离线评测的数据集，用来模拟符合真实网络流量的数据集。构 造的流量各类型比例需尽量与真实流量不同应用所占比例相近。b）收集离线测试数据集，并对数据集进行标注，该标注内容用来作为分析待测试设备离线测试结 果的基准值。c）并行地将数据发送至待测流量分类系统或设备。根据离线评测方法，得到待测流量分类系统或 设备的整体识别准确率、每种业务类型、协议类型、应用类型的识别精度、召回率，并将其作 为在线评测的输入基准信息。d）假定在离线测评中，以某类协议或应用的流量准确率为例，共识别n种协议或应用，针对某类 协议i或应用i的分类精度为PRi（ISiSi）。 假定在在线分测评中，被待测流量分类系统识别 为协议i或应用i的流数为Fi,被识别出的总流数为F,则认为正确识别的协议i或应用i的流数为PRiXFi。待测流量分类系的总体流识别准确率为W = £/WXV同理可以估算出整体包准确率、字节准确率。e）假定不同的被测系统或设备的数量为m,针对某个被测设备j,根据上述在线评测结果估算方 式得出总体流量识别准确率PF;（l<j<m） o假定针对某类协议或应用i,各个设备的识加为协议或应用1的流数为F,则所有设备识别为协议或应用1的流数平均数为"二工&,"a 若珂>（1句）反此处暂定q=l。则认为被测设备j的识别结果可有可能存在虚报。针对该 状况，需要留存流量数据信息，核对设备j对协议i或应用i的识别情况，以此规避被测设备 虚报结果。5.3 评测环境设备待测流量分类系统或设备多台分光器1台交换机1台测试数据发送/测试结果接收设备 1台6在线评测要求6.1 待测流量分类系统或设备要求6.1.1 分类方法及编码规范在线评测首先需要离线评测阶段输出各待测流量分类系统或设备的识别准确率，要求所有离线评测 待测流量分类系统或设备应支持统一的互联网流量分类层次结构、命名规则与编码规范，应与YD/T 3440-2019互联网流量分类识别离线评测方法的要求保持一致。6.1.2 流量分类结果日志格式同YD/T34402019互联网流量分类识别离线评测方法的要求保持一致。6.2 测试结果评估设备要求测试结果评估设备应能够正常接收真实网络环境下待测流量分类系统或设备的分类结果日志，结合 离线评测输出结果并进行计算，根据在线评测指标计算评测结果。7测试方案7.1 业务类型识别整体准确率测试编号：1测试项目：业务类型识别整体准确率测试测试目的：测试待测系统或设备的业务类型识别整体准确率测试环境：按图1搭建好在线的测试环境测试步骤：1）真实网络环境流量通过分光设备，将数据分发至各个待测分类系统上；2）从测试结果接收设备上接收各设备的在线分类结果日志，检查日志的格式是否正确；3）在分类结果格式正确的情况下，通过和离线评测结果相比对，计算所有业务类型的整体准确率，包括包准确 率、流准确率、字节准确率预期结果：1）步骤1）各设备的发送的日志中设备编号等格式正确无误；2）步骤2）能计算业务类型的整体准确率7.2 协议类型识别整体准确率测试编号：2测试项目：协议类型识别整体准确率测试测试目的：测试待测系统或设备的协议类型识别整体准确率测试环境：按图1搭建好在线的测试环境测试步骤：D 真实网络环境流量通过分光设备，将数据分发至各个待测分类系统上；2）从测试结果接收设备上接收各设备的分类结果日志，检查日志的格式是否正确；3）在分类结果格式正确的情况下，通过和离线评测结果相比对，计算所有协议类型的整体准确率，包括包准确 率、流准确率、字节准确率预期结果：1）步骤1）各设备的发送的日志中设备编号等格式正确无误2）步骤2）能计算协议类型的整体准确率YD/T 344220197.3 应用类型识别整体准确率测试编号：3测试项目：应用类型识别整体准确率测试测试目的：测试待测系统或设备的应用类型识别整体准确率测试环境：按图1搭建好在线的测试环境测试步骤：1）真实网络环境流量通过分光设备，将数据分发至各个待测分类系统上；2）从测试结果接收设备上接收各设备的分类结果日志，检查日志的格式是否正确；3）在分类结果格式正确的情况下，通过和离线评测结果相比对，计算所有应用类型的整体准确率，包括包准确 率、流准确率、字节准确率预期结果：1）步骤1）各设备的发送的日志中设备编号等格式正确无误；2）步骤2）能计算应用类型准确识别7.4 最快识别率测试编号：4测试项目：最快识别率测试目的：测试待测系统或设备的最快识别率测试环境：按图1搭建好在线的测试环境测试步骤：D 真实网络环境流量通过分光设备，将数据分发至各个待测分类系统上；2）从测试结果接收