大数据融合共享平台技术方案.docx

《大数据融合共享平台技术方案.docx》由会员分享，可在线阅读，更多相关《大数据融合共享平台技术方案.docx（77页珍藏版）》请在第一文库网上搜索。

1、大数据融合共享平台技术方案第一章建设目标31.1 总体规划31.2 建设目标3第二章总体设计52.1 大数据中心系统架构设计52.2 数据流向设计72.3 标准规范设计8第三章详细设计123.1 数据共享交换平台设计123.2 信息资源目录设计213.3 数据管理平台303.4 数据应用平台设计493.5 接口设计58第四章安全方案设计694.1 计算机网络安全设计694.2 防火墙704.3 病毒防护系统704.4 对业务与数据灾难备份恢复的设计714.5 信息安全与保密管理73第一章建设目标1.1 总体规划在统一标准框架下，面向智慧城市建设的信息资源共享和开发需求，依据国家智慧城市建设相关

2、标准，采用云计算、大数据等信息化技术手段，统筹整合法人、地理信息、宏观经济、人口数据资源，构建统一的基础数据资源体系、标准规范体系、安全体系、四大基础库、公共专题库、公共业务库及四大公共平台，建立政务信息的共享和交换机制，面向其他委办部门、对外提供多层次、可扩展、安全可靠的共享服务接口，有效支持各类应用系统的开发和运行，实现对信息资源的深度利用，实现不同部门异构系统间的资源共享和业务协同，有效避免城市重复投资、重复建设、资源浪费等问题。1.2 建设目标城市大数据中心（一期）建设目标为四个平台、三个基础信息库，分别为数据共享交换平台、信息资源目录管理平台、数据管理平台、数据应用平台和基础信息库（

3、法人库、宏观经济库、地理信息库）。其中基础信息库为本期项目建设的重点内容；数据共享交换平台、数据管理平台为大数据中心的数据生产平台，负责获取、整合数据，为基础信息库提供技术支撑和管理能力，并对上层应用系统提供数据服务；数据应用平台为大数据中心的应用平台，结合法人库、宏观经济库、地理信息库、公共专题库、公共业务库提供基于GIS、报表的数据展示和在线数据查询等功能。1、数据共享交换平台负责各委办局数据的采集，通过交换平台将共建部门的业务数据汇总到数据中心。同时提供跨部门的数据共享与交换。2、数据管理平台通过ET1工具将数据从ODS库整合到委办局业务库，提供数据的处理、元数据管理、数据申请授权、错误

4、数据反馈、数据运行监控、数据服务等功能。3、信息资源目录管理平台信息资源目录管理平台主要实现了做为法人库、宏观经济库、地理信息库三大基础库及其它智慧应用数据源的委办局信息资源的管理。4、数据应用平台数据应用平台针对不同的用户提供灵活的信息查询、分主题的统计分析、领导驾驶舱、等丰富的数据应用服务，并支持主题应用的扩展功能。5、基础信息库基础信息库建设包括法人库、宏观经济库、地理基础信息库。主要功能有：综合采集、梳理、交换、整合、建立法人基础信息库、宏观经济库，以及地理基础信息库的整合重构方案设计。第二章总体设计2.1 大数据中心系统架构设计总体框架自下至上包括基础设施层、数据支撑层、数据资源层、

5、服务支撑层、资源展示层以及用户层6层。图3-1系统总体架构图基础设施层：实现了面向全区各政府部门提供计算服务、网络服务、安全服务、存储服务、信息资源服务、以及运行环境、共性支撑、通用组件等支撑软件服务。可支撑政务部门业务应用、政务领域应用、领导决策应用及其他应用，数据共享交换平台的建设依托区已有的政务云进行统一建设部署。数据支撑层：围绕政务信息资源建设的总体规划，实现不同来源数据的交换，整合加工，并按照不同应用模式设置整合基础库、专题库等多种数据库体系，并且实现海量信息资源的一体化整合、管理与监控，对外提供不同层面的数据服务支撑。本期主要建设法人、地理、宏观经济3大基础数据库。服务层：以数据服

6、务总线为核心，为围绕数据资源的注册管理、服务安全管理以及服务运行监控等需求，建设配套的支撑系统和服务功能，提供多种形式的服务接口，实现平台服务管理与监控需要。通过服务二次开发接口，实现平台数据、功能和服务能力的对外提供。应用层（资源展示层及用户层）：搭建统一资源展示门户系统针对管理员、政务用户和公众用户的不同应用需求，提供基于平台各支撑系统的原子服务，并聚合成相应的功能接口集，以支撑构建于平台基础上的各类应用。同时基于平台可搭建多类典型应用。安全保障及标准规范体系：提供统一的身份认证及权限管理功能。遵循信息系统建设相关的国家标准和行业标准，保障平台的安全稳定运行和统一规划实施。本项目依托已有安

7、全保障体系建设。2.2 数据流向设计大数据中心数据流向如下图所示:数据来源数据交换大数据中心数据服务应用系统图3-2大数据中心数据流向图主要原则有如下几条：1、所有来源系统的数据均通过数据共享交换平台集成到数据中心ODS库；2、数据中心里的数据分两类，即大数据库数据和ODS库数据。其中，大数据库数据：数据经过清洗转换后的数据，包括,三大基础库（法人库、宏观经济库、地理信息库），公共业务库，公共专题库。这两类数据的主要区别在于以下几方面；数据质量标准不同：ODS库中的数据，直接集成原始信息系统，数据完整性、一致性较差；大数据库中存储的数据，是数据整合清洗后（保证完整性、一致性、及时性）的数据；数

8、据服务方式不同：ODS库中的数据，数据中心提供有认证的入库查询服务；大数据库中的数据，由大数据管理平台开发数据服务AP1(DataAPI),再经数据服务总线提供数据服务。数据中心是HadoopHDFS承载的传统关系型数据库(OraC1e,DB2,etc)和非关系型数据库(Hive,HBase,etc)实现。传统关系型数据主要用于结构化数据存储，非关系型数据库主要用户非结构化数据以及平展数据存储。这两类数据库承担数据处理任务的区别主要是：基于HadoOP大数据平台的数据库(简称:大数据库)，相对于传统数据库不承担ODS库数据存储处理。C)DS库、法人库、宏观经济库、地理信息库，除实时库建设外，均

9、进行历史库的建设，用于政府数据仓库的建设和数据历史的追溯。2.3标准规范设计通过全方位的标准规范体系建设，将城市信息资源加工、整合、交换共享、应用和管理各个环节业务有机地连接起来，为信息资源的共享服务提供技术准则和指导。设计原则本项目中对涉及的各类标准的选取和制定应遵循以下原则：1、按照“国家标准(或国际标准)一行业标准(或部颁标准)一地方标准一内部规范的次序进行选取。优先采用国家标准(或国际标准），没有国家标准，则采用相关的行业标准（或部颁标准），依次类推依此类推。2、在技术标准的选取过程中，优先选择成熟的主流业界标准和通用化、平台无关的技术规范，尽量不使用私有技术和非主流标准。3、当出现没

10、有任何标准规范可供采用或相关成文标准均不适用的情况，建设方要辅助各管理机构进行相关技术和业务规范的制定，尽可能为数据共享交换平台提供最全面的技术和管理支持。内容设计系统标准体系是在引用现有国家、行业标准的相关标准的基础上，结合实际情况，制定相应的技术规范体系，主要包括以下几方面的内容：1、标准规范体系建设：建设平台统一的标准规范体系，明确标准体系建设的指导思想、主要流程以及标准内容等。2、数据类标准建设：基于国家及智慧城市有关标准，结合平台建设实际需求和业务特点，通过规范、完整的信息资源描述逻辑，形成城市信息资源的元数据、数据元、资源目录、数据交换等标准，支持全面描述各类信息资源的信息。3、管

11、理类标准建设：为了保证系统建设过程中的规范化管理，需要制定项目管理标准规范体系，包括软件工程管理规范、平台运维管理规范、验收与监理制度、软件开发标准、系统测试和评估等标准规范。图3-3标准规范体系建设数据类标准规范基于国家及智慧城市有关标准，结合平台建设实际需求和业务特点，通过规范、完整的信息资源描述逻辑，形成城市信息资源的元数据、数据元、资源目录、数据交换等标准规范，支持全面描述各类信息资源的信息。主要用于数据整合、数据接入、交换和发布等功能，便于数据的采集整合、更新维护以及数据管理,便于数据质量的控制。元数据标准规范：在遵循国家标准和行业标准的基础上，根据本地数据实际情况，形成本地的元数据

12、标准。本系统的元数据规范和标准主要包括业务元数据、技术元数据和管理元数据三类。资源目录与分类代码标准规范：资源目录与分类代码标准主要用于描述平台数据资源与服务资源的逻辑组织与分类展示，其由若干个子标准构成。数据共享交换标准规范：数据整合是平台建设的基础，涉及到多种数据的整合手段，其中数据交换通过服务总线实现应用对接等都需要定义一套通用的数据交换标准，基于此标准实现各个系统间数据的共享和交换，并支持未来更多系统与平台的对接。其它数据标准规范：数据字典标准：该标准规定了信息资源数据库及其内部各类数据的数据字典编写的内容、格式、方法及其技术要求。数据交换格式标准：该标准规定了数据资源交换的格式要求。

13、信息资源库数据表结构规范：该标准规定了信息资源库的数据库表结构。数据维护与更新规范：该标准规定了数据维护、更新、管理流程以及技术要求。数据质量规范：该标准规范了信息资源数据的质量要求和质量标准。数据组织及数据库命名规则：该标准规定了信息资源库的数据组织以及数据库命名规则。属性数据结构：该标准规定了信息资源库的属性数据结构。管理类标准规范为保证平台建设过程中的规范化管理，需要制定项目管理标准规范体系，包括软件工程管理规范、平台运维管理规范、验收与监理制度、软件开发标准、系统测试和评估等标准规范和各种管理办法。第三章详细设计3.1 数据共享交换平台设计平台主要实现政府信息化及其大数据应用建设的需求

14、，满足一个中心、四个库的实施及其应用，满足政府采集、交换各部门数据，以及政府数据平台自定义公开等政府数据相关业务的需求;3.1.1 模块结构与功能关系设计功能业务描述:共享交换平台分为五个模块数据传输模块共享交换的主要模块，2-4模块为其提供支持，实现应用单位前置交换信息库之间的信息处理和稳定可靠、不间断的信息传递和数据同步。JOB管理模块实现对【数据传输模块】交换过程的流程配置、部署、执行和整个信息交换系统运行进行监控、管理，包括交换流程管理、交换监控和管理。抽取组件模块根据【数据传输模块】配置整合及订阅流程过程中，针对各个流程、字段选择不同的组件处理方式，将需要处理和转换的字段根据指定格式

15、进行动态转换。上游配置模块为【数据传输模块】提供数据采集数据源。数据服务模块服务模块的主要产出物。使用方通过订阅模式订阅关注的资源，当资源同步到交换中心后，再通过中心将资源发送到资源的订阅者。模块关系如下图所示：抽取细件去重组I1去空组I1增量组I1全量组I1周期交I1手动交I荐I1库I1库I1库I1馈质Q11换质徉IJoB常理I前置节点管理I5ob管理IJoB监控I元数据记录中心数拈监听数据共享交换平台功能结构图3.1.2 运行设计运行模块的组合【统计局】需求【农业局】、【粮食局】数据。运行描述业务数据的获取由适配器与业务系统共同完成，由资源拥有方的系统管理员完成所需的配置。系统中各种数据采集适配器针对需要采集的数据进行实时采集、监听(1)统计局根据需求确定自己所需数据。(2)通过资源配置模块建立统计局和农业局资源库信息。(3)交换节点的网络与中心网络并非全时段互联互动，只有固定时段才能连通网络，此时适配器仍然正常工作，并采集各个应用单位共享数据的增量数据保存至前置交换库中，并实时将增量数据采集并提交至交换系统参与交换流程。(4)交换过程中非需求数据根据清洗接口组件去除，并实时监听去除数据条数。(5)配置完成交换