企业ETL与数据分析平台运维项目实施技术方案.docx

《企业ETL与数据分析平台运维项目实施技术方案.docx》由会员分享，可在线阅读，更多相关《企业ETL与数据分析平台运维项目实施技术方案.docx（39页珍藏版）》请在第一文库网上搜索。

1、企业ETL与数据分析平台运维项目实施技术方案目录1项目服务方案41.1 服务实施方案41.1.1 项目总体理解41.1.1.1 项目背景41.1.1.2 月艮务目标41.1.1.3 服务内容与工作量41.1.1.4 服务原则51.1.2 总体服务方案61.1.2.1 服务内容范围61.1.2.2 服务响应等级71.1.3 DACP系统保障方案91.1.4 SS运维服务方案91.1.4.1 日常监控运维方案91.1.4.2 月初运维任务方案121.1.5 ETL运维服务方案131.1.5.1 总体服务方案131.2 项目服务场所错误!未定义书签。1.3 服务响应保障211.3.1 服务响应时间2

2、11.3.2 月员务应急预案211.3.2.1 方案设计与预演服务211.3.2.2 应急处理预案221.4 服务支撑保障26IAl服务支撑体系261.4.1.1 故障修复服务261.4.1.2 系统巡检月艮务301.4.1.3 版本管理和软件补丁服务311.4.1.4 辅助故障定位服务321.4.1.5 技术资料服务321.4.1.6 技术支持服务321.4.2服务流程组织321.4.2.1 服务方式331.4.2.2 问题优先级331.4.2.3 服务响应341.4.2.4 每月的总结351.4.2.5 服务流程361.4.3.1 人员备份机制361.5 服务质量保障371.6 信息安全保

3、密承诺381项目服务方案1.1 服务实施方案1.1.1 项目总体理解1.1.1.1 项目背景为保障ETL与数据分析平台的日常生产运维工作，保持运维工作的延续性，需由经 分后台SS、ETL等应用日常维护服务提供相关的监控、维护工作。1.1.1.2 服务目标本次项目的主要目标是在确保ETL与数据分析平台运维工作顺利开展，包括经分现网 系统每日正在运行的上千项流程的日常运维、DACP流程调度、数据分发、进出口数据质量、 ETL配置维护以及及时性监控、月生产维护、重点应用及时完成情况监控。1.1.1.3 服务内容与工作本次ETL与数据分析平台运维项目半年的服务内容与工作量为:序 列 提供现场服务内容和

4、完成目标提供服务机房、驻场地点信息服务级别预计工作量单位：人天承载业务应用用途备注ETL及SS调度系统经分数据仓库1重点流程监控及维钦州72号楼4218ETL及数据处护楼高理调度监控2ETL及SS调度系统日常监控及维护钦州72号楼4楼高217经分数据仓库ETL及数据处理调度监控3月度ETL及SS调度任务监控及维护钦州72号楼4楼高217经分数据仓库ETL及数据处理调度监控4接口抽取、流程调度的查证及工单处理钦州72号楼4楼高109经分数据仓库ETL及数据处理调度监控5优化自动化监控及运维手段钦州72号楼4楼中217经分数据仓库ETL及数据处理调度监控6其他临时运维任务处理钦州72号楼4楼低19

5、6经分数据仓库ETL及数据处理调度监控半年人天工作总量合计：11741.1.1.4 服务原则在本次ETL与数据分析平台运维项目中，服务人员的例行服务必须按规定时间进行， 服务响应时间必须在合同规定的时间内执行，故障应急必须迅速做出反应。准确无误地完成 所承诺的服务。要求避免服务过程中的失误，避免服务过中影响局方的业务稳定。术业有专 攻，提供专业的服务团队为局方提供专业服务，保证服务质量。此外，在项目服务过程中比选要符合局方相关维护规定，做好信息安全保密工作。1.1.2 总体服务方案1.1.2.1 服务内容范围1111提供7X24小时电话支持服务提供7X24小时电话支持，受理报障，咨询和远程技术

6、支持服务，拨打报障电话3次内有 人应答。LL2L2提供常规巡检服务常规巡检月为单位，范围包括：常规巡检作业项目作业周期例行检查监控结果检查、记录4次/月系统例行检查、记录4次/月软件检查业务量检查4次/月业务性能耗时检查4次/月日志检查检查日志中的错误4次/月系统软件和应用软件版本、补丁检查不定期分析和优化为配合新增要求的分析和优化任务。按需为保障系统的健康、高效运行，消除问题隐患，提供系统巡检服务。IIU：提供DACP保障服务提供DACP系统的保障服务，需要保障DACP调度系统上YT机平台及MPP平台的程序正 常运行。LL2J J提供SS运维服务提供SS运维服务，包括了日常监控运维、月初运维

7、任务等。LL1提供ETL运维服务令 保障云化ETL平台、话单合并服务器的正常运行；令 实时监控云化ETL平台的接口运行情况、及时处理因各种故障原因导致失败的接口， 确保平台的数据采集、预处理、传输、入库、库内处理的及时性和准确性；令 定期分析云化ETL平台接口各个环节的运行情况、相关程序内存使用率、ODS表空 间使用率等数据进行分析，设计合理的优化措施来保障平台系统的稳健性及生产效 率。LL2.L6其他服务工作内容按时总结DACP、ETLs分发维护技能及经验，定期组织安排培训，共享维护经验，提 升维护质量及效率。1.1.2.2 服务响应等级在本次ETL与数据分析平台运维项目中，我司将会根据不同

8、等级的故障提供分级别的服务响应，以满足采购人的需求。LL22J故障等级具体，在本次ETL与数据分析平台运维项目中，我司对于故障等级的划分如下：故障级别故障定义服务描述故障级别定义一级故障一经接口、重点应用相关接口故 障或延迟；重点应用、重点模型 调度故障或延迟重点接口或程序延迟或故障。二级故障基础模型DWD、中间层模型DWA的相关接口或程序故障或调度延迟基础、公共层模型或程序故障或延迟三级故障条线主题公共层DWA模型故障或调度延迟主题公共层模型故障或延迟四级故障非重点应用层程序故障或调度延迟。非重点应用故障或延迟具体，在本次ETL与数据分析平台运维项目中，我司对于不同等级故障所提供的服务响应如

9、下：服务响应时间故障级别电话响应时间VPN拨入时间人员到场时间故障恢复时间一级3次内1汾钟2小时内2小时内二级3次内1汾钟2小时内2小时内三级3次内30分钟4小时内4小时内四级3次内60分钟4小时内6小时内1.1.3 DACP系统保障方案在本次ETL与数据分析平台日常维护中，我司将提供DACP系统维护服务，保障DACP调 度系统上YT机平台及MPP平台的程序正常运行。具体服务方案如下：令每天全程监控重点流程：夜间3次定时巡检汇报：2点，5点，8点白天2次重点监控汇报和多次巡检调度系统：重点汇报点，17点令 根据流程的重要程度，按既定的时效及质量要求，及时监控、发现、并处理DACP调 度系统中的

10、各类异常问题；令 重点监控并优化重点流程的调度情况，保障出数的及时性及准确性；令 定期总结DACP调度中的系统、流程调度等问题，并及时进行主动优化或反馈给开 发人员进行优化，以保障DACP调度系统的稳健性及效率。令自动化告警脚本按需求阀值调整、优化。1.1.4 SS运维服务方案1.1.4.1 日常监控运维方案SS日常监控运维工作包括流程调度监控及维护、固定分发新增、临时任务处理及跟LLLLl流程调度监控及维护方案 负责监控DACP平台上程序5800个左右（YT机上1200个左右，MPP上4600 个左右） 负责监控及处理调度流程异常的问题，包括失败，等待，长时间未触发，流程 依赖缺失，权限缺失

11、等问题; 每天通过后台自动化监控脚本，对全量调度流程进行全方位监控，将日常遇到 的失败，延迟等问题进行定位分析并优化处理，程序问题及时协调开发人员及 时进行处理。 对常见问题进行总结分析，归纳问题的发生频率、影响面、共性等，针对性制定优化措施，以减低挂起量，提升出数及时性，提升日常运维效率。LLL1J SS重点流程监控及维护方案重点监控日程序总数：IOOO （个）监控时段：00:00-23:00 （每日）重点监控月程序总数：60 （个）监控时段:00:00-23:00 （ 1号-7号）重点监控分钟程序总数：10 （个）监控时段：00:00-23:00 （每日）I 1 i 1 临时任务处理方案临

12、时任务包括各项临时性、突发性、及专项任务等，诸如系统割接上线配合，因数据错 误、程序问题等需要流程临时调度、批量重跑后续，查找流程下线需要的详细信息以及流程 下线，支撑经分侧查证流程调度情况，重点应用重点支撑保障、固定分发问题查证等。11 LlJ固定分发接口配置方案由于经分生产所需或日常工单需求所需，SS维护人员对现有接口进行修改配置或新增 配置。1.1.4.2月初运维任务方案SS月初运维任务包括属地化基站维表维护、账单科目维表维护、主策划维表、部分DWD 月流程手工维护、月末DWD重点日流程手工维护、以及属地化月表后置流程调度。LLiJJ属地化基站维表维护每月月底最后一天完成属地化基站文件导

13、入数据确认后,维护人员电话督促各属地基站 维护人员必须在1号完成基站维护，如遇不可控因素影响进度必须及时上报。13个属地完成基站维护后，维护人员完成相应的验证工作，验证完成后邮件通知后续维 护人员。Ll 1.22账单科目维表维护每月初对账单科目维表DIM_ACCTEM_CODE按要求进行更新个性化处理。U UJl主策划维表维护每月初对主策划维表DlHSVC_OFF_MAIN按要求进行更新个性化处理;同时打上相应的完 成标识。部分DWD月流程及月末DWD重点日流程维护对于部分需要手工干预的DWD月流程及部分月底的DWD日流程进行前置判断验证,并及时 进行手工调度并跟踪过程、及完成情况。LLL2

14、S属地化月表后置流程调度维护每月月初在用户属地化表已经生成验证通过的情况下,对于依赖该表的后置流程进行手 工干预发起调度，并跟踪过程及完成情况。1.1.5 ETL运维服务方案1.1.5.1 总体服务方案令 保障云化ETL平台、话单合并服务器的正常运行；令 实时监控云化ETL平台的接口运行情况、及时处理因各种故障原因导致失败的接口，确保平台的数据采集、预处理、传输、入库、库内处理的及时性和准确性；令 定期分析云化ETL平台接口各个环节的运行情况、相关程序内存使用率、ODS表空 间使用率等数据进行分析，设计合理的优化措施来保障平台系统的稳健性及生产效 率。1.1.5.2 日常ETL维护方案U云化ETL平台的日常运维方案令基本信息 日接口 1600个左右，月接口 1200个左右，小时接口逾40*24个左右； 涉及外围数据库约35台； 涉及各类外部业务平台约50个；令日常运维包括：D 及时处理各种原因导致的数据抽取