社会治理大数据治理平台建设方案.docx

社会治理大数据治理平台建设方案（1）数据存储与分析计算平台3（2）数据采集汇聚平台4（3）数据基础治理平台4（4）数据服务平台4（5）标准地址数据管理平台5一、建设目标随着全社会信息量爆炸式增长，数量巨大、来源分散、格式多样的大数据对社会治理能力提出了新的挑战，社会治理在大数据汇聚、使用面临着诸多问题，首先，全社会信息量爆炸式增长，城市发展积累了很多数据，但没有深入应用；其次，数据虽多，但大都分散在各个政府部门，没有完全整合共享、存在数据不标准、不规范、数据质量差、数据不能直接使用等问题。与此同时，大数据为社会治理能力的提升也带来了发展机遇，通过数据中台建设让海量、动态、多样的数据进行有效治理、开发、融合成为有价值的社会治理数据资产，通过数据赋能推动转变管理理念和治理模式，进而加快治理体系和治理能力现代化，进一步提高市域社会治理系统化、社会化、精细化、法治化、智能化水平建设人人有责、人人尽责、人人享有的社会治理共同体，支撑打造“用数据对话、用数据决策、用数据服务、用数据创新”的现代化治理模式。为持续提升市域社会治理能力现代化水平，完善社会治理体系，支撑“用数据对话、用数据决策、用数据服务、用数据创新”的现代化社会治理模式，实现“一网整合社会治理数据、网格社会治理基础数据规范”的目标，基于云计算、大数据等新一代信息技术手段，通过数据汇聚、数据标准、数据质量、数据集成、数据清洗、数据转换、数据服务等，建设域社会治理大数据平台，夯实市域社会治理数字底座，打造基层社会治理新格局。市域社会治理大数据平台包含数据存储与分析计算平台、数据采集汇聚平台、数据基础治理平台、数据服务平台、标准地址数据管理平台。(I)数据存储与分析计算平台数据存储与分析平台由大数据基础平台和数据仓库组成，其中大数据基础平台通过运行Hadoop>Spark、HBaseKafka>Storm等大数据组件，提供海量的数据信息存储与分析处理能力；数据仓库采用大规模并行处理(MPP)架构，支持行存储和列存储，提供PB级别数据量的处理能力，为数据治理和数据库建设提供MPP数据存储分析能力。(2)数据采集汇聚平台数据采集汇聚平台将社会治理等各类不同来源的结构化数据和非结构化数据资源汇聚并存储到统一的大数据平台中，通过数据提取、数据清洗、数据转换、数据关联、数据集成等功能支撑数据开发过程更规范、更高效，数据采集汇聚平台规范建库流程，缩短建库周期，提升数据开发效率；并通过多种融合策略，获得高质量的融合数据，提升市社会治理相关对内治理和对外服务能力.(3)数据基础治理平台数据基础治理平台从数据产生、采集、存储、处理、应用、开放等的整个生命周期，每个阶段都全程管理和安全保障，从而可以有效监控和管理跨层级、跨地域、跨部门的业务数据在各个生命周期阶段的流转情况，保证特定的数据只能被特定用户访问和应用于特定的业务场景，并为客观准确地评价数据的价值提供依据，保障数据质量和数据安全，确保数据资源在授权范围内“可见、可得、可用、可溯源、可审计”从而提高数据的应用效率。(4)数据服务平台按照应用场景需求进行相关数据服务接口的封装、注册、发布，将数据转化为可调用的服务能力，支撑各类应用场景的数据需求。实现对外提供数据的统一管理、统一授权、统一共享。通过服务接口方式将不同技术架构的、不同结构的服务高效地集成起来，以统一的数据服务能力推动社会治理数据共享和开放。(5)标准地址数据管理平台标准地址数据管理实现对全市房屋、楼栋、社区等地址来源的地址数据进行汇聚接入，然后通过对这些地址数据进行地址切分、地址标注、地名实体识别、地址补全、地址标准化、地址验证、地址匹配一系列规范化处理，形成全市标准地址库。二、建设清单序号名称数量单位规格要求软件部分1数据存储与分析计算平台1套提供数据的存储及分析计算能力。2数据采集汇聚平台1套提供数据采集管理、数据集成管理、可视化编排调度组件、数据填报。3数据基础治理平台1套提供数据治理全景图、数据治理工作台、数据标准管理、数据质量管理。4数据服务平台1套提供服务管理、服务监控、服务审批、服务开发。5标准地址数据管理平台1套提供标准地址数据处理、标准地址数据服务、标准地址维护管理。三、建设内容序号模块名称功能名称功能要求1数据存储与分析计算平台大数据基础分析平台所提供的大数据软件需拥有国内自主知识产权，须附相关发明专利证明；具有自主研发能力，对产品代码自主可控，保障后续产品的连续性；支持异构集群部署，在集群中存在不同规格的虚机，允许在CPU类型，硬盘容量，硬盘类型，内存大小灵活组合。在集群中支持多种虚机规格混合使用。大数据平台的流处理组件支持与多种外部数据源集成,至少包括:Kafka、HDFS、HBaSe或JDBC/RDBMS服务，便于实现涉及多种数据源的业务。支持Hive元数据存储降压,突破元数据量级瓶颈，管理亿级分区和百万级表的能力；支持HBase组件的二级索引，支持为列值添加索引，提供使用原生的Hbase接口的高性能基于列过滤查询的能力。提供图形化的集群健康巡检工具，能够检查集群相关节点、服务的健康状态，提前发现集群中潜在的问题，并生成健康检查报告,方便快速了解系统的健康状况。支持基于时间的服务资源动态调整，即为了保障业务的S1A,同时充分利用系统资源，需要配置不同服务在不同时间段内使用资源的不同比例，来动态自动调整各服务在不同时间段可用系统资源。100%兼容开源组件接口，支持与开源生态对接，支持普通版本的大数据迁移场景，可支撑对接测试。支持HDFSWarPPer特性，存算分离场景下，兼容HDFS接口访问方式。支持所有组件管理节点具备HA高可靠能力。大数据平台的组件进程故障后支持自动重启恢复，无需手动干预。支持数据的快速备份和恢复，可以将元数据存储到其他服务器，支持多种备份目的地；支持系统级安全加固，支持KerberOS认证，支持认证鉴权，支持表和列加密以及数据加密，支持全系统的审计能力。支持标准加密算法AES、国密算法SM4,并支持自定义加密算法。支持在线扩容，扩容过程中数据持续可查询（包括正在数据重分布的表）；数据重分布阶段支持主流DD1（Drop/Truncate/A1tertab1e）。支持多租户管理：租户间CPU、内存、IO等资源隔离，相互不干扰。支持负载均衡：主节点/协调节点为多活设计，具有负载均衡能力或者通过第三方软硬件（如1VS、F5等）可实现负载均衡。支持ANSI/ISO标准的SQ192>SQ199和SQ12003语法；兼容MySQ1、Teradata>OraCIe常用语法,可以在创建库表时指定兼容模式。提供Teradata>OracIe>Mysq1语法转换工具，减少业务迁移代价。支持一套集群按服务器为单位划分为多个逻辑子集群，实现逻辑子集群间物理资源隔离，计算弹性共享，数据授权访问，逻辑子集群内支持资源水平切分的多租户机制。具备自适应压缩算法，支持3种及以上压缩级别，根据压缩级别不同，压缩比可达广20倍，压缩数据对用户透明，无需用户解压直接访问。支持集群级物理备份，支持全量、增量的备份与恢复，支持Schema级细粒度备份和表级恢复。支持服务端和客户端之间通过SS1连接进行数据传输；应用进行JDBC、ODBC接口连接时，可通过配置启用SS1,使数据加密传输。支持用户设置私有表，私有表数据只有所属用户可见，管理员及其他用户均不可见；内置数据脱敏，支持自定义脱敏规则。2数据采集汇聚平台数据采集数据源分类支持OraCIe、Mysq1MPPDB>redis>E1asticSearch、KingbaseES、KiFigbaseAna1yticsDB>Postgresq1SQ1SerVer、GBase、GaussDB1OO、MppDB(GaussDB200)、HiveKerberosJdbc、HWHBaseKerberosJdbc、HWHBaseKerberosJdbcFTP；数据采集支持与大数据平台对接，大数据平台包含华为MRS>华为DWS>华为1IBRA、阿里EMR、GREENP1UM>腾讯TBASE等；产品需提供数据接入采集相关字样的计算机软件著作权登记证书产品需提供数据汇聚平台相关字样的计算机软件著作权登记证书数据源管理支持新增、删除、修改、连接测试以及启用/禁用的功能。数据源查询支持分页展示，展示内容包含数据源名称、数据源分类、用户名、IP、端口、可见范围、所属部门、应用场景、状态等。支持API数据源配置。配置包含新增API数据源、配置清求参数两步，其中新增API数据源包含数据源名称、UR1、格式类型、入参项导入方式（包含手动新增、json文件两个），配置清求参数，配置清求参数支持设置是否分页、返回字段信息。系统通过支持批（全）量采集、增量采集、API数据采集、数据实时采集实现对人口数据采集、企业法人数据采集、城市部件数据采集、事件数据采集功能的支持。数据集成提供融合流程指引，支持提供图形化流程导引方式引导实施人员依流程步骤简单、快捷完成数据接入、归集、清洗、融合、建库全流程，流程导引节点包含环境配置、系统初始化、模型&规则配置、数据集成管理、流程调度监控等5步骤，每个步骤又包含子步骤，处环境配置外每个子步骤支持指向具体功能菜单页面；持清洗融合规则，清洗融合规则包含标准代码集管理、源系统代码集管理、代码映射管理、函数管理、算法包管理；其中标准代码集管理、源系统代码集管理、代码映射管理、函数管理、算法包管理包括新增、修改、删除、筛选功能；提供系统初始化功能，支持快速初始化数据清洗融合所用到的元数据、清洗规则和数据模型和一键式部署数据集成环境。支持数据融合策略，数据融合策略支持一数一源、来源优先级、数据新鲜度、最大值、最小值数据融合策略；提供标准列功能，支持添加标准列，已新增标准列支持修改、上移、下移，已新增标准列支持规则配置（代码映射、算法包管理、混合规则）；支持表关联其他表关联设置功能（添加、删除、筛选），关联后支持对每个关联源表进行字段映射、SQ1配置、业务时间配置。提供数据集成监控功能，包含任务调度配置、任务调度监控、任务告警查询、告警接收管理、任务数据分析和任务数据API等功能实现查询各层数据集成任务执行状态、任务节点日志以及执行详情日志，通过日志快速找到任务异常原因支持字段映射，映射支持手动匹配、自动匹配、列映射导入、排列等；数据填报系统包含总览、结构化资源管理、非结构化资源管理、结构化数据上报、非结构化数据上报五部分；结构化资源管理包含资源管理、表单管理、模板管理、上报授权等；结构化数据上报包含数据上报、数据审核、数据查看、上报记录等。结构化资源管支持表单管理功能，表单管理包含新增、编辑、删除、校验规则设置、数据选项配置、创建模板等子功能；结构化资源管理的查询服务功能支持查询单位授权的目录资源数据。结构化资源的模板管理功能支持模板管理支持模板列表展示、筛选、删除等子功能，也支持模板下载按照表单目录结构生成模板，各业务单位可以通过下载EXCE1模板，通过录入模板数据，进行数据上报。结构化数据上报支持数据上报管理，数据上报分为数据填报、数据导入；数据填报：以表单录入的方式，进行数据填报，支持选择上报部门、期别、业务数据标识（增量、全量）、上报说明；页面支持根据模板新增行、删除行；数据上报支持上报数据校验，校验通过进行页面提示。数据导