大数据分析系统项目方案.docx

《大数据分析系统项目方案.docx》由会员分享，可在线阅读，更多相关《大数据分析系统项目方案.docx（62页珍藏版）》请在第一文库网上搜索。

1、大数据分析系统方案第1章项目述51.1 项目背景51.2 项目必要性51.3 建设目标6第2章需求分析82.1 功能及性能需求82.2 系统集成需求92.3 运行环境102.4 安全需求10第3章总体设计123.1 总体设计原则123.2 总体目标133.3 系统总体结构133.4 系统逻辑结构15第4章详细设计方案164.1 信息资源规划和数据库设计164.1.1 数据模型概述164.1.2 数据建模方法论174.1.3 数据建模基本原则184.1.4 数据库架构设计194.2 数据应用支撑系统设计214.2.1 大数据平台关键技术214.2.2 云平台数据共享功能264.3 数据服务层计3

2、24.3.1 模型的应用334.3.2 平台基础应用334.4 数据处理和存储系统设计344.4.1 大数据处理核心技术344.4.2 数据存储采用MPP与hadoop融合架构.344.5 网络系统设计354.6 安全系统设计354.6.1系统安全满足情况364.6.2系统安全配置管理功能364.6.3系统无安全漏洞保障394.6.4软件自身安全424.6.5性能和可靠性434.7运行维护系统设计451.1.1 7.1服务器管理451.1.2 网络设备管理451.1.3 进程管理451.1.4 服务管理451.1.5 数据库管理451.1.6 中间管理461.1.7 集群管理461.1.8 故

3、障管理461.1.9 性能管理461.1.10 7.10配置文件管理461.1.11 7.11SYS1oG管理464.8 其他系统设计474.9 系统配置及软硬件选型原则474.9.1软硬件部署474.9.2数据要求474.9.3技术要求484.10系统软硬件物理部署方案48第5章项目建设与运行管理505.1 项目领导机构505.2 项目管理机构505.3 项目承建机构525.4 运行维护机构525.5 相关管理制度535.6 项目测试545.6.1 单元测试.545.6.2 集成测试.545.6.3 系统测试.555.6.4 性能测试.555.6.5 验收测试.565.6.6 安装测试.56

4、5.7 安全性测试575.7.1 功能验证.575.7.2 漏洞扫描.575.7.3 模拟攻击实验575.8 项目验收595.8.1 项目验收要求595.8.2 项目验收的目的和原则605.8.3 项目验收的组织和实施605.8.4 项目验收的步骤和程序605.8.5 项目验收的测试方案605.8.6 项目验收的文档清单60第6章项目培训计划616.1 培训对象和培训目标61616.2 培训内容第1章项目概述1.1 项目背景目前，随着改革的不断推进，XX网络系统、信息中心、信息安全系统的规模不断扩大，各类信息应用系统日趋复杂，迫切需要借助云计算平台，实现灵活、高效的软硬件资源分配和管理，从而有

5、效整合XX的各类信息资源，提升XX信息系统的安全性、稳定性、可扩展性。另一方面，随着社会公共安全管理的日趋复杂，XX行业通过大数据应用，把大量的关联信息进行汇总处理，可以重新认知和感知我们的外部环境。不但能快速锁定疑犯，而且还可以预防和打击犯罪。XX云计算+大数据系统，将成为面向各J种的管理和分析利器，通过高效的云计算平台提供强大的大数据应用承载能力，面向各J种提供集中资源、集中管理、集中监控、配套实施的统一大数据应用环境，为各J实战应用提供强大支撑、服务、保障作用。云计算和大数据是改变未来XX工作发展的新趋势，并且已经实实在给XX科技管理与创新来了深刻的变革，有力地推动了XX各J种的工作优化

6、和提升。1.2 项目必要性第一，构建“智慧XX”是未来JW形态演进的必然趋势。近年来，随着XX信息化建设的持续推进，我国XX机关的JW改革已开始迈进智能化发展的快车道，JW与人之间的相互感知和联系越来越紧密，“XX大数据分析系统”建设已成为当代JW发展的新趋势。第二，构建“智慧XX”是新一轮信息技术变革下的时代潮流。当前，全球正进行物联网、移动互联网、云计算等新一轮信息技术变革。新技术往往孕育着新的重大突破，信息资源成为重要的XX战斗力要素，信息化不仅成为推动XXJW方式变革的重要引擎，也给整个社会管理创新带来深刻变化。“XX大数据分析系统”建设将极大地创新XX管理方式，促进“管制型XX”向“

7、服务型XX”转变。应当说，经过最近十年的发展，以网络化、数字化为载体的信息化JW特征日益显现，JW活动中人、事、物之间的互动能力显著增强，JW工作传载的功能不断增多，智能化程度逐步提高,“XX大数据分析系统”建设已成为现代信息技术变革下的时代潮流。第三，构建“智慧XX”是推动XX战斗力生成模式转变的重要途径。XX信息化的“智慧XX”建设是一场新的JW革命，对于整合JW情报资源、改造J情处理流程、创新J情研判模式、降低JW成本、实现JW效能的最优化具有推动作用。这场新JW革命的实质是推动XX建设和JW工作由数量规模型向质量效能型、由人力密集型向科技密集型转变。它要求把传统的XX战斗力生成模式转变

8、到依靠科学技术特别是以信息技术为核心的高新技术上来。在这一转变过程中，大数据将成为XX战斗力生成的核心要素。拥有对海量数据占有、控制、分析、处理的主导权，将大数据优势转化为XX决策优势，继而转化为治安优势，将成为“XX大数据分析系统”的制胜关键。第四，构建“智慧XX”有利于拓展现代JW功能、促进JW机制改革和提升JW管理精细化水平。一方面，“智慧XX”的建设和实施将促进XX机关由传统的一元化管理职能向管理与服务功能并重、融合转化。另一方面，“智慧XX”的建设和应用将改变传统的“金字塔”型XX管理体制，实现JW领导与指挥机制的扁平化，从而减少中间管理层，加快信息流动，达到精减机构、快速反应、即时

9、联动的目的。同时.，构建“智慧XX”还有助于提高XX机关JW管理的精细化和科学化水平，提升XX机关的执法水平和服务水平。1.3 建设目标XX部推行的“扁平化指挥模式”，就是最大限度地压缩指挥层级。减少中间环节,优化现有的情报信息管理，建立情报信息主打JW的相关机制，着力拉近指挥与实战，机关与一线的时空距离，缩短响应时间，提高快速反应能力。基于数据中心融合空间采集、电信运营商、交管部门、XX部门、社会公众的移动位置等数据形成大数据环境，建立大数据分析平台，支持J情处理、宏观决策、情报分析等大数据专题应用。智慧XX大数据分析系统项目一期建设主要目标为: 建立智慧、高效的情报研判体系; 建立扁平、快

10、速的指挥调度体系 建立打防一体化JW管理体系 建立集约化的信息技术支撑体系。 建立专业化的JW指挥作战队伍。第2章需求分析2.1 功能及性能需求 .功能需求作为XX信息化发展到高级阶段的一种JW形态,“智慧XX”主要采用大数据、云计算、等新一代信息技术，将XX工作IT基础设施与物理设施、人际环境等高度融合，以提供智能化XX决策与服务。其建设目标是充分利用科技创新，以“智慧”引领JW改革与发展，打造XX行政高效、JW指挥扁平、治安管控联动、XX服务便捷的良性XX工作机制。“智慧XX”建设是一项涉及XX机关内外各领域、各部门的复杂系统工程,需要从整体上进行统一规划协调，做好顶层设计。 .性能需求

11、软件系统必须保证质量，并在实施前经过完全测试； 系统应具备自动报J功能，以提醒系统管理员避免出现系统崩溃等严重事件； 主服务器宕机时，可实时地切换到备用服务器上，用户的应用应该不受影响； 主备切换时，业务不感知，任务不失败，业务不会中断； 主备切换时间小于1秒； 故障节点重启时间小于2分钟； 系统不得出现数据丢失、切换失败等，影响正常业务运行的故障； 服务器端系统应可长期稳定运行，必须支持负载均衡能力，确保无单点故障； 不会因长期使用或负载过高导致系统故障。系统应具有良好的并行处理机制，对存取冲突的竞争具有有效的仲裁和加锁机制，充分保证事务处理的完整性，并降低系统I/O开销，提高并发用户查询和

12、存取的性能。平台提供自底层硬件到上层处理流程的全面监控体系，帮助运维人员快速定位问题解决问题，使系统持续健康稳定的运行。2.2 系统集成需求软件平台具备集成内外各种运行系统的基本能力。软件平台集成性包括以下几个方面：软件平台具备对不同厂家提供的各类软件产品接入、运营、监控能力；软件平台提供独立的集成平台来提供各种集成手段实现和移动现有业务支撑系统和能力系统的集成，以及对于今后有可能存在的各类业务平台进行业务引入的接口能力等。集成手段包括实时调用、批量数据交换等方式，集成接口兼容WEBSERVICE、FTP、XM1等方式，可以提供服务的封装能力。集成平台能力包括以下方面： 数据路由：能够对经由应

13、用集成平台的数据进行检查和过滤，根据预定义的规则实现基于主题或数据内容的动态路由机制，应支持点对点、广播以及发布/订阅方式； 协议转换:具有系统间传输/调用协议转换的能力，这些协议包括但不限于JMS.FTP、CORBA、Socket、HTTP等; 格式转换：具有不同数据格式转换的能力，能够对来自不同应用系统的数据进行识别和解析，能够以图形化方式定制不同的数据转换逻辑，实现数据格式的转换和数据内容的整理； 消息映射：将来自于源系统的消息结构或业务数据对象映射为目标系统的消息结构或业务数据对象； 事件处理：支持事件驱动的架构技术，支持对系统之间信息交换事件的获取、处理和监控； 集成监控：提供对接入

14、访问、数据传输和集成服务等各种集成处理能力的监控功能，可根据各种日志查询并监控应用集成组件的运行情况。 数据传输：实现各种应用之间的数据交换，数据交换支持基于消息队列和文件传输等模式。集成平台要能保证应用时间数据传输的可靠性，支持交易的完整性，支持数据传输的并行处理，并且支持管理人员对数据传输的过程进行监控和干预。 数据访问：支持但不限于JDBC、ODBC等多种数据库接入模式。2.3 运行环境智慧XX大数据分析系统服务平台需要接收来自XX系统各部门的数据资源，各权属单位向系统共享、交换业务数据，系统需要提供相应的汇交、接收工具，以及导入、导出工具，业务数据的查询、统计等功能，并可以对外发布。2

15、.4 安全需求1 .物理安全要求物理安全要求包括但不限于：物理位置的选择、物理访问控制、供电安全保障、防火防潮等。2 .网络及设备安全要求网络安全要求包括但不限于：系统部署所在的网络结构安全、设备入侵防范、设备防护、安全审计等。3 .数据安全性要求包括数据存储的安全性、数据传输的安全性、数据传输的完整性、数据传输的正确性、数据传输的及时性、数据备份及恢复机制、异常处理机制等。4 .系统安全要求包括数据资源及应用模块的等级访问控制、身份鉴别（不限于数字证书应用）及不可抵赖性、安全审计、系统的容错性等。5 .应用安全要求（1）以CA认证系统为基础，实现用户与服务资源的双向认证机制；（2）以基于角色的授权原则，建立与政务信息资源共享平台业务、平台管理人员、部门管理人员岗位职责相对应的权限管理机制及统一的安全登陆机制；（3）以密码技术为基础的数据完整与保密机制；