互联网信息内容安全审核能力通用要求.docx

《互联网信息内容安全审核能力通用要求.docx》由会员分享，可在线阅读，更多相关《互联网信息内容安全审核能力通用要求.docx（16页珍藏版）》请在第一文库网上搜索。

1、ICS ： xx.xxx.xx备案号：DB31匕 海市地 方标准DB31T XXXxxxx互联网信息内容安全审核能力通用要求（草案）General requirements for internet information content security censor capabilitiesXXXX-XX-XX 实施XXXX-XX-XX 发布上海市市场监督管理局 发布前 言21范围32规范性引用标准33术语和定义33. 1 互联网信息月艮务 internetinformation service33. 2 信息源 information source33. 3 互联网信息服务用户 inte

2、rnet information service user33. 4 互联网信息服务提供者 internet information service provider33. 5 深度合成技术 deep synthesis technology34概述35技术安全检测要求55.1 技术检测能力覆盖范围55.2 技术检测功能完整性55.3 技术检测效果指标65.4 违法不良信息分类和样本库66安全审核管理要求76. 1组织机构76.2 管理制度76.3 信息内容审核管理76.4 监测预警与处置机制86.5 信息源及用户分级分类8附录A10附录B13参考文献14本标准由上海市信息安全标准化技术委员会

3、提出并归口。本标准起草单位：上海市信息安全测评认证中心、中国科学院信息工程研究所、上海东方报业有 限公司、支付宝（中国）网络技术有限公司、上海携程商务有限公司、上海幻想七猫数字技术有限公 司、上海盒马网络科技有限公司、上海宽娱数码科技有限公司、东方财富信息股份有限公司、上海任 意门科技有限公司、公安部第三研究所、上海喜马拉雅科技有限公司、上海商汤智能科技有限公司、 上海观察者信息技术有限公司、上海信博特智能科技有限公司、上海米哈游网络科技股份有限公司。本标准主要起草人：本标准为首次发布。互联网信息内容安全审核能力通用要求1范围本标准规定了互联网信息内容安全审核能力的通用要求，包括信息内容技术安

4、全检测要求和信息 内容安全审核管理要求。本标准适用于互联网信息服务提供者开展平台内文本、图片、音频、视频等的内容管理，包括采 取技术检测和人工审核等措施。2规范性引用标准下列标准中的条款通过本标准的引用而成为本标准的条款。凡是注日期的引用标准，其随后所有 的修改单（不包括勘误的内容）或修订版均不适用于本标准,然而,鼓励根据本标准达成协议的各方研究 是否可使用这些标准的最新版本。凡是不注日期的引用标准，其最新版本适用于本标准。GB/T 40645-2021互联网信息服务安全通用要求3术语和定义GB/T 406452021确定的及下列术语和定义适用于本标准。3. 1 互联网信息服务 interne

5、t information service基于信息发布、交互、传播等相关技术和功能属性，通过互联网面向社会公众提供的信息服务。注:互联网信息服务常见形式包括内容发布、评论评价、信息分享、推荐推送、内容搜索、通信群组、网络直播等。3. 2 彳言息源 information source互联网信息服务中生成信息的个人或组织。3. 3 互联网信息服务用户 internet information service user使用互联网信息服务的个人或组织。3. 4 互联网信息服务提供者 internet information service provider为用户提供互联网信息服务的组织或机构。3.5

6、深度合成技术 deep synthesis technology是指利用深度学习、虚拟现实等生成合成类算法制作文本、图片、音频、视频、虚拟场景等网络 信息的技术。4概述本标准从信息内容技术安全检测要求、信息内容安全审核管理要求两个方面，系统地阐述了信息 内容安全审核能力的通用要求。技术检测方面，从技术检测能力覆盖范围、技术检测功能完整性、技术检测效果指标、违法和不 良信息分类四个维度，提出互联网信息内容技术安全检测要求。审核管理方面，从组织机构、管理制度、信息内容审核管理、监测预警与处置机制、信息源及用 户分级分类五个方面，提出互联网信息内容安全审核管理要求。本标准采用类、族、组件的层次化结构

7、定义方法，提出互联网信息服务的信息内容安全审核能力 要求。内容安全审核能力要求各类、族、组件对应关系见表1。表1信息内容安全审核能力要求的类、族、组件类族组件技术安全检测要求技术检测能力覆盖范围文本审核图片审核音频审核视频审核技术检测功能完整性辅助审核日志管理账号管理技术检测效果指标文本识别图片识别音频识别视频识别违法和不良信息分类和样本 库信息样本库违法和不良信息分类安全审核管理要求组织机构安全管理机构安全管理人员管理制度审核人员管理培训考核制度信息内容审核管理审核标准审核程序审核人员风险提示多轮审核审核时效处置时效监测预警与处置机制监测机制应急处置机制投诉举报处理机制信息源及用户分级分类信

8、息源分级分类用户分级分类违规内容处置时效为满足不同开放程度、交互能力、影响力的互联网信息服务的差异化安全要求,本标准在组件中定 义了基本要求和增强要求。互联网信息服务提供者应对拟提供的互联网信息服务所属产品形态、业务 范围和用户规模等属性进行分析,选择相应的安全要求开展安全建设和评估活动。互联网信息服务所属的产品形态、业务范围和用户规模等属性与安全等级之间的对应关系应按照 附录A要求。本标准提出了互联网信息服务安全通用要求组件包定制示例（见附录B）o互联网信息服 务提供者根据附录A确定产品和信息服务应满足的安全要求级别,可参考附录B分析产品涵盖的互联 网信息服务形式,如内容发布、评论评价等,并

9、通过组合组件的方式,定制相应的安全要求组件包,确定 产品安全要求,开展安全建设和管理。在本标准中,加黑部分表示可满足的增强要求。5技术安全检测要求5.1 技术检测能力覆盖范围1 .1.1文本审核a）支持各类文本信息的检测，包括互联网信息内容生态治理规定第六条定义的违法信息和第 七条定义的不良信息等；b）支持对汉语、英语等常用语言的检测；支持对非常用语言的检测；c）支持经过变形的文本检测，如：插入特殊符号、使用拼音替换、使用同音字替换、使用表情符 号替换、藏头诗等；d）支持对语义相似文本的检测；e）支持对规范性表述中错误的检测；f）支持对使用深度合成技术制作的文本进行检测。5 . 1.2图片审核

10、a）支持检测各类违法和不良图片，包括含有互联网信息内容生态治理规定第六条定义的违法 信息和第七条定义的不良信息的图片等；b）支持对图片中文字的检测；c）支持对图片中人脸的检测；d）支持对变种图片的检测，变种方式包括：裁剪、变形、翻转、添加噪声等；e）支持对使用深度合成技术制作的图片进行检测。6 .1.3音频审核a）支持检测各类违法和不良音频，包括含有互联网信息内容生态治理规定第六条定义的违法 信息和第七条定义的不良信息的音频等；b）支持多种语音识别，包括：中文普通话语音、英文语音、含少量地域的中文语音等；c）支持其他关键内容的识别，包括：音乐类或包含背景音乐音频、具备深度合成技术的音频类信 息

11、等。7 . 1.4视频审核a）支持检测各类违法和不良视频，包括含有互联网信息内容生态治理规定第六条定义的违 法信息和第七条定义的不良信息的视频等；b）支持对视频中的文字进行识别；c）支持对视频中的人脸进行识别；d）支持对使用深度合成技术制作的视频进行检测。5.2 技术检测功能完整性5. 2.1辅助审核a）具备机器审核完成后，可由审核人员进行复审、抽审的能力；b）支持对用户昵称、用户id、文本关键词等进行检索。5.2,2日志管理a）支持对互联网信息服务用户的操作行为进行日志记录。5. 2. 3账号管理a）支持对内容数据发布者的用户账号进行查询、封禁、加入黑白名单等操作。5.3技术检测效果指标本标

12、准所称召回率、精确率、准确率的计算公式如下:召回率(recall)违法不良样本判断正确的数量违法不良样本的数量精确率(precision)违法不良样本判断正确的数量判断为违法不良的样本数量准确率(accuracy)所有判断正确的样本数量 所有样本数量5. 3. 1文本识别a）对互联网信息内容生态治理规定第六条定义的违法信息和第七条定义的不良信息等文本信 息识别能力召回率不低于85%,精确率不低于80%；b）文本语义相似识别能力召回率不低于85%,精确率不低于80%。5. 3. 2图片识别a）对同源图片、变形图片（较小分辨率改变、较小马赛克、添加少量文字和标识或小于15%裁剪） 等应具备相似识别

13、能力，召回率不低于90%,精确率不低于85%；b）对正规版面、背景简单、常见字体等图片简体中文、英文字符的识别能力，准确率不低于95%；c）对不同表情、背景的正面清晰人脸的识别能力，召回率不低于90%,精确率不低于90%。5.3.3 音频识别a）对音频编码变化、采样频率变化、原生录音等变形音频的相似识别能力，召回率不低于90%, 精确率不低于80%；b）对发音标准、清晰或少量噪声的中文普通话语音的字符识别能力，准确率不低于85%；c）对语音清晰、少量背景噪声的单人语音声纹识别能力，召回率不低于80%,精确率不低于70虬5.3.4 视频识别a）对少量改变视频分辨率、添加少量水印文字和标识等噪声或

14、小于15%视频剪辑等变形视频的相 似识别能力，召回率不低于85%,精确率不低于80%；b）对正规版面、背景简单、常见字体等视频简体中文、英文字符的识别能力，准确率不低于95%；c）对不同表情、背景的正面清晰人脸的识别能力，召回率不低于90%,精确率不低于90%。5.4违法不良信息分类和样本库5.4.1 样本数据库a）依据互联网信息内容生态治理规定建设并维护与业务规模相适应样本数据库，包括但不限 于文本、图片、音频、视频等形式；b）明确样本数据库的来源以及更新周期；5.4.2 违法和不良信息分类a）违法和不良信息一般按照安全风险、信息特征等方面进行分类；b）违法和不良信息一级分类至少包括“违反法

15、律法规”、“影响网络生态健康”两个方面，具体可 参考附录A的表A. 4o6安全审核管理要求1.1 组织机构1.1.1 安全管理机构a）互联网信息服务提供者应设立专职安全管理机构，指导信息内容安全审核工作，组织开展信 息内容安全审核监督工作；b）由最高管理者担任安全管理机构负责人。1.1.2 安全管理人员a）指定至少1名主管负责组织开展相关信息内容审核工作，机构应为信息内容审核工作提供必要 的资源保障；b）配备与业务规模相适应数量的专职信息内容审核人员；c）配备与安全事件影响程度相匹配数量的应急处置人员；d）专职信息内容审核、安全事件应急处置人员的数量与业务规模相比，具有一定冗余。1.2 管理制度6 . 2.1审核人员管理a）互联网信息服务提供者应加强信息内容审核人员管理，制定从业人员管理制度；b）互联网信息服务提供者应与信息内容审