备份系统运行数据采集及分析方法.docx

《备份系统运行数据采集及分析方法.docx》由会员分享，可在线阅读，更多相关《备份系统运行数据采集及分析方法.docx（16页珍藏版）》请在第一文库网上搜索。

1、备份系统运行数据采集及分析方法Aa【导读】本文从个人运维实践经验出发，研究设计备份系统运行数据采集及分析方法，从而能更加洞察系统的运行规律，希望对同行有一定的借鉴和参考价值。前言信息系统的运行虽然遵循一定的运行规律，但也呈现出动态的、易干扰、难以预测的特征。对于IT系统运维人员来说，我们最关注的是系统的稳定运行，有时会过于担忧系统的运行风险，有时也对某些运行中的风险麻痹大意，甚至在面对潜在的、未知的故障时，还会十分恐慌。恐惧源于未知，IT运维人员需要克服这种恐惧，让运维从容不迫。本文将从个人运维实践经验出发，研究设计备份系统运行数据采集及分析方法，从而能更加洞察系统的运行规律，希望对同行有一定

2、的借鉴和参考价值。1.需求数据备份是为应对潜在的数据丢失风险，而将业务系统中的数据加以复制并转储到备份存储的工作。为统一调度不同的数据备份作业，集成管理数据备份服务器以及不同类型的备份存储介质，企业需要规划建设与业务系统架构相适应的数据备份系统。作为数据安全的一道重要防线，稳定运行的数据备份系统是至关重要的。备份系统运维侧重于关注备份作业是否出现报错，备份存储是否存在异常，出现异常或故障时如何去排查、分析、干预等方面。基于备份系统运行数据的收集及分析，来构建备份系统较全面的数字模型，主要用于解决以下三个痛点： 缺乏有效的故障预警：粗粒度、滞后性的运维方式增加了备份系统的故障率，进而影响了备份作

3、业的成功率。 故障溯源困难：故障会导致运行错误，故障分析定位的过程则是从运行错误回溯到故障，找出错误源头，这也是传统运维方式的痛点之一。 系统管控能力不足：备份系统不同于一般的业务系统，往往会忽略了运维的过程管理，包括配置管理、变更管理、容量管理等。如果系统管控能力不足，会大大增加运维风险，严重影响系统的稳定运行。2 .设计策略部分大数据、智能化运维项目更注重于形，即先搭平台，数据收集起来，再慢慢看能做什么样的数据分析和应用。这样的设计策略没有认识到数据质量的重要性，也轻视了系统运行规律和运维经验的指导作用，系统的有效性大大降低。如果数据质量不高或缺失了某些关键指标数据，数据分析的结果必然会有

4、偏差。因此，总体设计策略应先关注领域分析，即有必要深入分析备份系统的整体架构，了解系统各组件之间的关系、数据流路径；然后是数据的场景化设计，针对具体的运维场景确定数据分析及应用场景，再追溯确认需要采集的指标数据；最后详细设计数据收集和数据分析方法。整体设计流程如图1所示：3 图1.设计策略流程图4 .领域分析4.1 备份系统整体架构备份系统主要包括备份管理系统、备份客户端、备份网络以及备份存储介质这几种组件，如图2所示:图2.备份系统整体架构图-备份管理系统包括备份管理软件和备份管理服务器，承担备份作业调度管理、备份存储介质管理等责任，是典型的C/S架构，读取备份客户端数据，并将数据写入备份介

5、质中。备份客户端执行备份任务的业务主机，是用户感知层，一般需安装备份软件客户端代理程序，并与备份服务端通信。备份网络承担备份数据流的传输任务，一般分为基于TCP/IP的备份1AN和基于FC的备份SANo备份存储介质承担备份数据存储的备份设备或介质，常见的包括磁带库，虚拟带库，NAS存储等。3. 2备份数据流备份系统的数据流主要包括备份作业数据流和数据恢复数据流，如图3和图4所示。需要强调的是，数据流传输并不是一个直接调用返回的动作，而是一个持续的数据传输过程，在数据流传输路径的任意一个环节出现堵塞或者故障，备份或恢复作业即会受到影响；另外，由于源端或目的端重复删除技术的应用，备份与恢复的数据流

6、并不对称，需要分别分析。4.场景设计4.1故障管理场景故障管理是运维场景中最重要的一环，一般可分为事前、事中、事后三个阶段。事前阶段的重点是评估分析，做好故障预防；事中阶段则包括故障告警、故障处理和恢复；事后阶段需要做好分析改进。下文将对备份系统常见的故障场景做具体分析。4.1.1作业时长增加数据备份和恢复作业的时长增加是一种隐性故障，一般影响较小。但对于关键业务系统来说，超出备份时间窗口，带来的影响有时也是无法容忍的；而数据恢复作业时长有时也决定了故障恢复时间长短。数据备份恢复时长一般随数据量的增长而缓慢增长，但异常情况下，备份恢复速度也会降低。在事前阶段，我们可以判断数据量是否有突增，可以

7、提前调整备份时间；事中阶段可关注数据吞吐量，如达不到速度预期，甚至严重超出备份时间窗口，可能需要及时中止备份恢复作业；事后阶段主要是排查定位速度下降的原因，主要排查方向是备份网络带宽被占用、读取数据源的速度下降以及写入备份存储的速度下降这三类。4.1.2 硬件故障硬件故障的影响依赖于硬件冗余情况，备份服务器、备份网络、磁带机、磁带等等硬件都需要有冗余，这种问题对备份系统的影响一般是一次性的。除了硬件设备自身故障以外，还可能存在兼容性问题导致的硬件故障问题，这类问题可能会间歇性的影响到备份作业的成功率，定位难度也比较高。在事前阶段，我们需要关注硬件自身的状态，可提前预防硬件故障带来的影响；事中阶

8、段，一般来说硬件故障会导致作业报错，即使硬件自身状态正常，但通过运行日志能判断到硬件故障的可能性较大，需要及时将故障硬件排除出去，先保障备份作业的成功率；事后阶段，综合运行日志情况和故障处理情况，可进一步去定位是硬件自身故障还是兼容性问题，为故障最终处理提供依据。4.1.3 软件异常一般软件异常指的是软件提供的服务不达预期，可能是代码缺陷或服务异常终止，可以分为前端和后端异常，前端异常会导致备份恢复作业报错，后端异常主要是影响server后端作业。前端异常涉及到备份软件server和c1ient,c1ient影响的是使用该代理的备份作业，server端的影响较大。在事前阶段，我们需要确认备份软

9、件进程和服务端口是否正常，防患于未然；在事中阶段应根据作业报错或受影响情况，结合运行日志去判断异常的软件组件，从而权衡需要如何去干预软件运行中异常；事后阶段则需要复盘运行状态和运行日志，为后续类似的软件异常能预防和定位，提供更多数据依据。4.1.4 资源争用备份系统是一种C/S架构系统，会共享备份服务器和备份存储资源。资源共享会带来资源争用，也是资源容量不足引起的。典型的资源争用引起的故障场景主要有磁带机可用数量不足、备份服务器计算资源或网络资源占满、备份存储容量不足或服务能力不足，会带来备份作业报错或性能下降导致的作业超出时间窗口等不利影响。在事前阶段，我们需要做好资源调度规划，合理配置不同

10、时间段的备份任务；在事中阶段，可以通过监视资源调度情况和运行日志中的资源等待情况，及时判断出是否发生了资源争用，可及时中止以确保优先级更高的作业任务的完成；事后阶段则是根据运行中出现的资源争用情况来修改资源调度规划，必要时也可以申请更多的备份资源。4.2运维管理场景运维管理是通过制度化、流程化、标准化的运维手段来指导IT系统的运维，是一套持续改进的机制。相比故障管理场景，运维管理场景更关注的是在平时运维工作中如何去应用备份系统运行数据，以达到持续改进优化的目的。通过数据收集及数据分析，可以更好地实现对备份系统管控，主要集中在下面几个场景。4. 2.1数据管理数据管理的目标是保障数据安全可靠，对

11、备份系统来说，个人认为主要是三点内容需要关注：一是定时备份作业是否成功，可通过收集备份作业结果来确认；二是重要的备份数据通常还会做数据复制，保持主备站点两到三份相同的数据备份，需要定期确认数据是否成功同步；三是备份的数据需要有数据恢复验证机制，可定期确认备份介质中数据的完整性，并针对不同数据类型的备份做数据恢复，以验证数据正确性。4. 2.2容量管理备份系统容量管理工作中主要关注的是数据存储和性能两方面的容量场景。数据存储容量场景关注多的是备份数据源的容量增长趋势、备份存储介质可用容量等，及时做好容量预估，容量估算过程中还需要考虑到重复数据删除和数据压缩技术的应用；性能容量场景是对备份系统整体

12、的服务能力做评估，评估备份作业并发的能力、数据传输的吞吐、备份客户端和服务端的计算资源消耗情况等等。4. 2.3配置管理配置管理场景可以关注新增或优化的备份策略信息以及备份介质中存储的备份数据信息。备份策略信息包括主控服务器、备份服务器、备份客户端、备份策略集、存储策略、定时策略以及存储库等的详细配置信息，是备份管理软件的核心逻辑信息，需要妥善保存；备份介质主要包括在线介质和离线介质，备份介质离线保存后，更需要关注备份介质中存储的备份数据信息，以便即使调取访问，该配置信息变化频率较快，需要保持最新版本的配置信息。4. 2.4监控优化监控优化场景主要关注三个方向：一是丰富监控指标，二是监控阈值优

13、化，三是告警关联。原有的备份系统监控指标主要集中在备份系统软硬件的运行状态、备份作业的成功失败情况，这些监控指标对于潜在故障的覆盖程度不够，系统运行日志中的部分关键字也是监控的重点；监控指标中部分阈值设置时可能采用的是通用经验方式，会出现告警误报的情况，是需要更加系统运行情况来动态调整的；告警关联则更利于故障溯源，利用运维经验、系统规则可将分散的监控告警信息关联起来，便于定位故障。4. 2.5统计报表统计报表是运维工作中一项重要工作，可定期回顾系统运行情况。统计报表场景中，可结合运行数据订制每日、每周、每月的运行情况定时报表，包括特定时间段内的不同备份数据对象的备份作业统计信息，包括完成作业数

14、、失败作业数、运行中的作业数、备份存储消耗情况等等。5. 数据收集设计场景设计确定了数据分析的应用场景，也进一步可以确定所需收集的数据。那么数据收集设计的目标是至少涵盖到已设计场景中所需的指标数据，并且这些指标数据可在多种数据源中获得。设计总体目标是数据收集能够兼顾到高效和低开销，同时对IT系统来说是低影响、无风险的。具体设计方面可按照数据源的不同进行分类，并针对不同数据源设计不同的数据收集方法、数据采集周期以及采集的数据指标信息。5.1 运行日志备份软件的运行日志一般针对记录不同的组件的运行日志及其错误日志，是研究备份系统运行的重要数据源。日志文件有一定的固定格式，每一行日志一般可分为日期、

15、时间、日志级别、详细信息等字段，对应于一条记录信息，发送到Kafka,并最终存储到E1Ko备份软件是C/S架构，server与c1ient的日志采集方法和周期设置上会做区分。Server端日志数据较多，产生速度快，且不属于一般业务系统，可以在server端服务器上安装1ogagent（可自己编写日志代理程序，也可使用fi1ebeat等轻量级日志采集工具）去实时采集；c1ient端服务器上一般运行着业务系统，为降低对其他系统的影响，可设置定时任务，每分钟执行脚本将c1ient日志发送到日志服务器上，再有日志代理程序发送数据。日志采集的整体架构设计如图5所示：5.25.3 硬件设备信息硬件设备主要

16、指的是备份存储、磁带库、虚拟带库、SAN交换机等专有硬件设备，一般可通过snmp轮询、访问硬件设备API以及CMD命令输出等方法来收集硬件状态信息，适宜于设置定时任务定时采集硬件设备信息。硬件设备上可采集的指标数据包括硬件整体及其各部件状态信息、硬件的逻辑配置拓扑和容量信息、备份存储控制器CPU负载、备份存储IO带宽和延时、SAN交换机对应端口的吞吐数据、网络端口IO错误计数器信息等。5.4 备份软件接口数据备份软件也会有对应的API接口或CMD接口来获取备份软件的具体信息，可自行编程定期抓取相关数据。备份软件接口数据可分成配置数据和运行数据，其中配置数据的频度较低，可以每天抓取一份信息即可；而运行数据是动态的，变化频率较高，定时抓取频率可设为分钟级。配置数据主要包括主控服务器、备份