2022年全流量检测分析系统技术规范.docx

目录版权声明I编制说明II前言II I1术语和定义12设备概述12.1 总体功能要求探针22.2 总体功能要求分析平台23功能要求一探针31 .1数据解析功能要求33 . 2威胁检测功能要求34 . 3安全反馈功能要求45 .4样本还原功能要求64功能要求一分析平台74.1 威胁分析功能要求74.2 2威胁追踪功能要求114.3 威胁展示功能要求124.4 威胁处置功能要求145性能要求141术语和定义1.1 全流量检测分析系统全流量检测分析系统通过对全部原始流量进行实时采集和解析，发现流量 中的威胁，再结合安全情报、威胁行为等综合手段进行威胁分析并以可视化的 界面展示，实现网络安全和数据安全已知威胁、未知威胁的发现及威胁溯源， 实时了解安全态势，降低安全风险。1.2 全流量检测分析系统探针一种部署于通信网络中，能够对流量进行采集、解析、还原和分析等工作, 同时具备全量pcap包、威胁pcap包存储的网络安全设备。1.3 全流量检测分析系统分析平台全流量平台以存储为基础，以数据分析为核心，以自动化处置为辅助，通 过对流量元数据进行加工和整理，利用其大数据分析能力及多样化的机器学习 算法，快速发现各类安全威胁及事件，并可以对历史事件进行回溯，准确把握 事件发生的过程及影响，以有效支撑威胁分析、追踪、展示、处置工作，提升 安全分析和响应能力为目标。2设备概述全流量检测分析系统直连互联网流量出口区域交换机，以镜像或分光的模 式将网络流量导入并进行威胁检测，镜像模式采用单向模式，镜像口仅接收流 量，不发送流量，并且不需进行IP地址、路由等配置。一个机房内单个或多 个互联网出口交换机流量可利用汇聚分流设备或其他负载均衡设备进行流量汇 总、分发至多个探针服务器进行威胁检测。探针对流量进行采集、解析、还原 等工作，将生产的威胁检测结果文件，上报至分析平台进行威胁分析与存储。全流量检测分析系统一一分析平台可以集中部署于互联网流量中心，也可 分布式部署于互联网流量节点。分析平台接受探针生成的日志文件并进行日志 存储，利用其机器学习引擎和规则检测能力关联化分析网络安全事件，并可与 第三方系统进行联动处置。全流量检测分析系统也可以集探针与分析平台一体化研发，其技术要求与 探针、分析平台一致。2.1总体功能要求探针全流量检测分析系统一一探针应支持数据解析、威胁检测、安全反馈、样 本还原功能：数据解析：支持ipv4ipv6环境的常用应用协议、VPN协议、及常见端口 上的非标准协议流量的解析还原，支持导入多个https证书进行加密流量的解 析等；威胁检测：支持网络攻击、恶意程序文件攻击、挖矿、口令暴力破解、抗 逃逸攻击、漏洞攻击、DDOS攻击、威胁情报（恶意的IP、域名、URL和文件等） 等威胁检测；安全反馈：支持对威胁事件生成多维度特征的告警和日志；支持流量元数 据的按自定义规则进行提取、样本存储、PGaP包存储、检索、回溯；样本还原：支持对监控流量的文件样本进行捕获还原并记录；2. 2总体功能要求分析平台全流量检测分析系统一一分析平台应支持威胁分析、威胁追踪、威胁展示、 威胁处置功能。D 威胁分析：支持用户行为分析，发现变种攻击及未知攻击；支持流量分 析、情报联防分析；支持攻击结果判断，精准发现有效攻击降低关注事 件数量；支持场景化分析；支持未知资产发现和失陷资产分析等；2）威胁追踪：支持通过五元组、时间范围等条件给探针创建流量回溯任务, 并在平台进行PCaP分析；支持事件追踪；3）威胁展示：支持威胁监控；支持告警、报表、资产画像、攻击者画像展 示等；4）威胁处置：支持告警多种方式通知；支持回溯报文记录；支持流量封堵;3功能要求一探针3.1数据解析功能要求数据解析功能是设备通过物理端口接入原始流量并进行报文重组、还原后, 对流量中的协议和会话进行识别解析，为进行下一步的威胁检测以及处理功能 进行流量数据包的解包。数据解析功能支持以下要求：D 支持ipv4ipv6环境的流量解析，支持在ipv4ipv6的单栈、双栈环境 下进行攻击检测；2）支持常用协议的解析和还原，包括但不限于IPs TCP、UDP、ICMPk VLANx MPLSx HTTP、 HTTP2、 WAP、 SMTP、 IMAP、 POP3、 WEBMAIL、 SMB、 FTP、TELNET、DNS、SSL、MYSQL、MSSQL、PostgreSQL、MongoDB、 Red is、ORACLEx Radius、RDP、SNMP、SMB 等；3）支持导入多个HnPS证书，支持RSA、AES、DES等多种加密算法，可对 加密流量进行解密和还原，加密算法包括但不限于国密算法SM2算法、 SM3算法、SM4算法；4）支持对L2TP、PPTPk IPSEC VPNx OpenVPN等常见VPN协议的识别（除 旁路方式外）；5）支持检测常见端口上的非标准协议，例如80端口的非常见协议是指非 http协议；6）支持会话乱序重组，支持单向和双向流量检测；7）支持流量同源同宿处理。3. 2威胁检测功能要求威胁检测功能是探针的核心，主要基于行为策略，码流特征，包特征，威 胁情报特征等，实现对恶意代码以及安全攻击行为的事件分析监测。D支持基于样本文件的国家安全中心定义的8大类恶意代码的检测，文件 格式包括但不限于 EXE、JAR、APK、CAB、RAR、ZIP、I PA、COD、ALX、 PRC、ELF 等；2）支持恶意程序文件检测：支持病毒、木马、蠕虫、僵尸网络、缓冲区溢 出攻击等各种威胁的全面有效检测，支持自定义检测模型；3）支持网络活动攻击检测：支持SQL注入、XSS攻击、SSl指令、 WebSheI I （ASP、JSP、PHP）、扫描探测隐蔽信道（DNS、HTTPx ICMP 隐秘隧道的监测）、C&C攻击包含等威胁的全面检测；4）支持常见的挖矿协议，例如 Stratum（STM）x GetBIockTempIate （GBT）、 GetWork （GWK）等，可识别出挖矿主机及域名；5） 支持对常见应用服务（HTTP、HTTPSk FTP、SSHx SMTP、IMAP、RDP 等）、数据库协议（MYSQL、ORACLE MSSQL等）的口令暴力检测；6）支持对主流WEB服务器及插件的已知漏洞攻击检测；7）支持网络流量逃逸攻击的检测；8）支持邮箱安全检测：异地登录、邮箱口令暴破、境外修改邮箱密码、异 地批量下载邮件等事件，登录、发送、接收、浏览、保存、删除等异常 操作行为事件；9）支持DDOS检测，支持网络层/应用层DDOS检测和告警；10）支持威胁情报包括但不限于URL、IP、域名等检测，支持与威胁情报联 动，可进行实时流量匹配检测，支持对恶意IP、恶意域名、恶意URL 和恶意文件进行检测11）支持黑白名单检测，支持基于服务、IP等自定义黑白名单，支持白名 单规则的自学习；12）支持从流量中识别资产特征功能，识别的信息至少包括资产IP、资产 MAC、服务端口号、服务协议和关联用户登录账号等；3. 3安全反馈功能要求反馈功能是探针在监测分析后对危害严重或造成影响达到规模的事件进行 告警或上报。3.1.1 生成告警及日志1）支持流量元数据（TCP/UDP通信会话、HTTP、SMTP、POP3、IMAP、 WEBMAILx FTP、TELNET、MYSQLx MSSQLx ORACLEx RadiUS 等）的流 量日志生成，；2）支持威胁事件的告警生成，告警信息包括但不限于告警ID、告警的含 义、告警级别、告警类型、告警参数（开始时间、结束时间）；3）支持威胁事件的安全日志生成，安全日志需要包含威胁攻击类型、特征 值如MD5或CVE编号等关键信息；3.1.2 流量元数据提取、存储、检索、回溯1 .提取1）支持流量元数据（TCP/UDP通信会话、HTTP、SMTP、POP3、IMAP、 WEBMAILx FTP、TELNET、MYSQL、MSSQL、ORACLE、Radius 等）提取、 存储和检索；2）支持按照自定义规则提取流量元数据，支持自定义协议元数据字段 解析和上报，可根据数据分析平台的要求灵活选择上报协议和协议 元数据字段，并能根据需要自定义WEB协议中的关键字段，如身份 证、ID号等，对关键字段提取并合并日志上报到数据平台分析；3）支持提取攻击原始报文，针对产生的告警事件，可以对攻击行为的 特征数据包进行提取；2 .存储D 支持存储告警原始流量（pcap）,支持异常流量下钻分析功能，能 够查看告警对应的原始流量数据；2）支持PCAP包存储功能，支持对采集的全部流量进行存储、检索和 下载，检索条件包括源IP、目的IP、源端口、目的端口、起止时 间；3）支持外挂存储，并按照监管侧规则重新加载外挂存储的流量信息。3 .检索、回溯D支持对原始流量提取成日志进行存储供回溯分析，提供检索分析页 面，存储类型可包括但不限于HTTP日志、EMAIL日志、TELNET日 志、认证日志、数据库日志、登录日志、SSL&TLS日志、FTP日志、 DNS日志，回溯时间可自定义；2）支持日志预过滤功能（白名单），可以对日志、事件先过滤后分析 入库，可基于五元组、系统、探针设备、时间、事件名称、事件等 级、事件类型等设置过滤条件，过滤对象包括原始日志、告警事件 日志；3）支持对历史流量进行回溯分析，支持自定义时间范围；4）支持以源/目标IP、源/目标端口、协议、时间范围、关联的流量日 志进行Pcap流量捕获功能，支持按照行为规则或平台下发的规则 建立任务进行特定数据包的抓取；3. 4样本还原功能要求还原功能主要是在分析监控流量时对文件样本进行捕获还原并记录上报的 功能。该功能主要应用于流量处理时对于恶意程序文件流，尤其是可执行文件 在内存加载的中进行检测分析，包括文件的格式、类型、大小以及MD5,恶意 性或疑似恶意性等，如果符合恶意程序文件的判定规则，则直接判定为恶意样 本或黑样本，如果为疑似恶意程序则判定为疑似样本或灰样本，可以将进行事 件记录，再将捕获的文件和事件记录按照要求打包上报平台。样本还原功能的具体要求如下：D 支持基于样本文件的国家安全中心定义的8大类恶意代码的检测，文件 格式包括但不限于 EXE、JAR、APK、CAB、RAR、ZIP、I PA、COD、ALX、 PRC、ELF等。在捕获还原时不受原始文件中无文件格式后缀或格式后 缀为文本文件、DOC等做伪装的限制，均支持按照文件可执行性正确识 别检测并捕获样本文件；2）支持从流量中还原文件并进行威胁检测的能力，文件类型包含文本文件、 压缩包文件、脚本文件、PE类文件、图形图像等常见的文件类型，并 提供威胁告警信息；3）支持解析Webmai I、SMTP、POP3、IMAP类型协议报文，以及还原邮件附 件的能力，留存中危以上告警的原始流量及还原的附件，对应安全日志 信息，按需上传；4）支持从HTTP、FTP、SMBk PoP3、SMTP、IMAP等协议中还原出指定格式 文件，并检测文件中存在的恶意代码；5）支持文件还原规则中的文件的大小、文件格式类型、文件MD5值等匹配 判定，同时支持对文件中敏感词、关键字的匹配判定功能，支持通过配 置对规则进行灵活组合以及修改；6）支持疑似恶意代码的捕获以及行为筛选分析，根据疑似恶意代码网络行 为筛选规则发现疑似恶意代码的连接和传播事件，提取疑似恶意代码样 本文件和相关网络日志信息。4功能要求一分析平台3.1 威胁分析功能要求分析平台应支持对探针日