管理制度-最新中国电信ODS规范培训 精品.ppt

《管理制度-最新中国电信ODS规范培训 精品.ppt》由会员分享，可在线阅读，更多相关《管理制度-最新中国电信ODS规范培训 精品.ppt（47页珍藏版）》请在第一文库网上搜索。

1、2022-10-231 ODS规范培训规范培训-技术分册与技术分册与ODS应应用用中国电信股份有限公司广州研究院广东省电信有限公司研究院2022-10-232提纲提纲ODS规范技术分册规范技术分册 系统技术架构系统技术架构 系统技术要求系统技术要求 系统实施系统实施 系统部署系统部署 硬件评估方法示例硬件评估方法示例 第三方工具评价标准及产品比较第三方工具评价标准及产品比较 ODS应用附件应用附件 ODS数据共享数据共享 ODS应用应用2022-10-233系统技术架构系统技术架构 使用者其他应用HTMLWeb服务业务组件数据访问用户界面界面组件ETL/EAI组件生产系统数据界面生成框架规则配

2、置数据服务组件接口层CRM数据计费数据 结算数据整合层参与人 产品帐务事件资源地域数据处理组件 汇总层汇总数据区域数据整合数据存储数据共享数据应用外部访问数据源O OD DS S系系统统REPORT2022-10-234系统技术特点系统技术特点 批量数据加载和实时数据更新并存 三范式模型、星型模型、宽表模型并存 细粒度数据和汇总数据并存 事务型查询和分析型查询的并存 数据保存周期介于生产系统和EDW之间 ODS系统不同于事务处理为主的生产系统，也不同于统计分析为主的数据仓库系统。系统需要支撑跨域数据查询,数据共享等功能，还需要支撑生产系统对一定周期内运营数据数据的统计监控等功能 2022-10

3、-235系统总体技术要求系统总体技术要求 网络与硬件方面网络与硬件方面l采用安全可靠的高速磁盘采用安全可靠的高速磁盘阵列设备，支持多机高可阵列设备，支持多机高可用群集系统，磁盘阵列与用群集系统，磁盘阵列与主机系统采用主机系统采用SAN方式连方式连接；接；l采用高速可靠的网络设备，采用高速可靠的网络设备，提供高速的提供高速的I/O能力；能力；l主机支持多机群集或海量主机支持多机群集或海量并行处理技术，支持分区并行处理技术，支持分区技术；技术；l主机采用高可用性主机采用高可用性(HA)和和负载均衡的方式，防止单负载均衡的方式，防止单点故障，提高系统可用性点故障，提高系统可用性和系统资源的使用率。和

4、系统资源的使用率。 软件方面软件方面l选择对选择对OLTP和和OLAP应用都具备稳定处理应用都具备稳定处理性能的数据库引擎；性能的数据库引擎；l选择能对数据整合过程进行有效监控和管选择能对数据整合过程进行有效监控和管理的数据整合工具或技术；理的数据整合工具或技术；l选择提供各种接入方式的报表查询和统计选择提供各种接入方式的报表查询和统计分析功能的报表工具；分析功能的报表工具；l选择为业务处理、技术实现等环节提供清选择为业务处理、技术实现等环节提供清晰的系统导航功能的元数据管理工具，；晰的系统导航功能的元数据管理工具，； l采用能对系统内的软硬件节点进行监控和采用能对系统内的软硬件节点进行监控和

5、自动预警的系统监控软件；自动预警的系统监控软件；l制定完善的备份与恢复策略，采用成熟的制定完善的备份与恢复策略，采用成熟的备份软硬件，提供快速备份与恢复功能；备份软硬件，提供快速备份与恢复功能；l为了满足数据的高速加载，系统需进行相为了满足数据的高速加载，系统需进行相关优化操作，优化数据抽取调度策略，避关优化操作，优化数据抽取调度策略，避免免CPU、Memory、IO等资源的争抢，设等资源的争抢，设计良好的数据文件计良好的数据文件/表空间表空间/数据表存储规划，数据表存储规划，保证数据在磁盘的优化分布。保证数据在磁盘的优化分布。 2022-10-236提纲提纲ODS规范技术分册规范技术分册 系

6、统技术架构系统技术架构 系统技术要求系统技术要求 系统实施系统实施 系统部署系统部署 硬件评估方法示例硬件评估方法示例 第三方工具评价标准及产品比较第三方工具评价标准及产品比较 ODS应用附件应用附件 ODS数据共享数据共享 ODS应用应用2022-10-237 数据加载数据加载系统技术要求系统技术要求数据整合数据整合 数据整合技术要求 数数据据转换转换 数据清洗数据清洗数据抽取数据抽取数据抽取接口设计应充分考虑ODS系统接口的开放性、可扩展性；接口数据传输控制策略应可靠且完善；具有可靠的接口数据出错处理机制；支持不同的数据源系统平台。支持对多种不同系统平台和数据类型的源系统数据抽取与转换。包

7、括各种关系型、层次型、文件型数据库系统及各种文件格式等源数据；数据抽取尽量减少对源系统的性能影响；支持多种数据装载方式；数据抽取接口应支持实时、准实时数据抽取，例如接口表、FTP、中间件、WEB-SERVICE等；ETL工具支持二次开发，并通过对内嵌脚本语言、存储过程、插件及外部程序来处理复杂的处理，提供调试、跟踪功能；ETL过程支持多个数据库连接，数据转换与加载处理过程应支持并行处理；对于用户资料、客户资料等核心数据加载要求逐步实现实时更新，最终目标控制在秒级；对于除了核心数据以外的ODS日批量数据抽取加载应在3小时内完成；对于帐单等月批量数据抽取加载应控制在5小时内完成；对于加载到系统的日

8、数据以及月数据要及时整合汇总，应控制在4小时内完成；数据转换处理过程支持各种字符集的转换。数据整合过程2022-10-238 数据加载数据加载系统技术建议系统技术建议数据整合数据整合 数据整合技术建议 数数据据转换转换 数据清洗数据清洗数据抽取数据抽取实时抽取接口建议采用自行开发的WEB-SERVICE接口或成熟消息中间件产品；批量数据抽取建议源系统提供文本格式文件并FTP到ODS；数据转换与加载建议采用成熟ETL工具；对数据表比较大，建议采用增量数据抽取方式，定期进行全量更新，对源系统表没有增量时间标志的，由源系统方进行必要的改造，增加时间戳等；在数据整合过程中先进行单一系统内数据整合，然后

9、再进行跨系统的数据整合；对于小数据量的一些管理数据、配置数据等，可以采用全量抽取方式进行抽取；建议数据抽取周期可根据接口对象不同和实际的数据获取需求不同而采取有针对性的设计；建议批量抽取操作尽可能在相关生产系统空闲的时段执行；批量数据转换与加载，建议在应用设计时考虑加载转换的并行化，建议采用内存处理技术；源生产系统可采用改造业务逻辑、数据库触发器、数据库日志触发等不同的方式来实现实时向ODS系统提供需实时提供的源数据。 数据整合过程2022-10-239系统技术要求系统技术要求数据存储数据存储 数据模型技术要求 汇总数汇总数据据层层 整合数据层整合数据层接口数据层接口数据层对于接口层数据模型应

10、贴近源系统数据模型；整合数据层中的数据模型遵循中国电信企业数据模型，作为企业数据标准指导外围系统逐步统一数据模型；ODS各层数据模型的设计需要考虑ODS需同时支持OLTP和OLAP类型应用的特点；模型设计需要考虑高速批量加载及高并发查询的快速响应；模型能够支持不同粒度的查询与报表需求，综合考虑业务需要，具备适应性；通过数据模型的规范化设计，减少不必要的数据冗余；模型具有良好的扩展能力。数据分层存储2022-10-2310系统技术要求系统技术要求数据存储（续）数据存储（续） 数据存储技术要求 汇总数汇总数据据层层 整合数据层整合数据层接口数据层接口数据层能够存储海量数据，满足TB级以上数据存储要

11、求；应能够支持实时数据快速插入更新，也可以支持批量数据快速加载； 应保证物理数据存储的安全性，避免硬件损坏造成数据丢失；应支持过期数据的清理功能，节省存储空间；日增量接口层数据保存1天，月增量接口层数据保存1个月；整合层三户数据长久保存；详单数据保存13个月；其他整合层数据保存13月；汇总层数据保存3年；数据存储能够很好地支持OLTP和OLAP相结合的混合型数据操作；数据存储能够满足在大数据量、大并发量下的快速数据操作，支持数据行级锁、多CPU并行、多服务器并行；数据存储具备开放性，支持主流的硬件平台、软件技术、网络协议、开发技术标准；数据存储具备可管理性，提供管理工具对数据操作过程进行监控，

12、支持设置相应的阀值告警；数据存储具备数据存取的高可用性，避免单点故障，实现实时故障切换；数据存储具备良好的可扩展性，包括数据存储容量、处理性能的扩展，能够实现在线的扩展操作；数据存储具备高安全性，对系统权限、数据权限、角色权限有明确的定义和管理，并对数据操作提供审计功能。 数据分层存储接口数据层接口数据层数据分层存储2022-10-2311系统技术建议系统技术建议数据存储数据存储 数据模型技术建议 汇总数汇总数据据层层 整合数据层整合数据层接口数据层接口数据层接口数据层数据模型可以采用平面表，表结构可以根据需要做无索引、无主键、无外键设计；整合数据层数据模型应采用第三范式的模型设计，考虑到OD

13、S的特点和需要，数据模型可进行适度地不规范化处理；汇总数据层模型设计可以采用宽表、星型模型，也可以进行适度地不规范化处理。数据分层存储2022-10-2312系统技术建议系统技术建议数据存储（续）数据存储（续） 数据存储技术建议 汇总数汇总数据据层层 整合数据层整合数据层接口数据层接口数据层建议采用成熟的企业级数据库，支持OLTP和OLAP类型数据混合型操作，满足海量数据的存储和大并发性操作；建议使用成熟的数据建模工具，能够支持主流的数据库；建议数据库采用表分区技术，提高数据的访问性能和可操作性；建议使用集群技术/并行处理技术，提高数据操作的性能、稳定性和可扩展性；建议提供数据库的自动诊断和调

14、优功能，提供各种优化建议：内存参数、表结构、索引、SQL语句等；建议数据库支持在线备份恢复机制；建议支持灾备解决方案，实现同城或异地数据保护。数据分层存储2022-10-2313 计算应用计算应用系统技术要求系统技术要求数据应用数据应用 数据应用技术要求 动态动态报表报表 固定报表固定报表数据查询数据查询数据应用分类90%查询应在10秒以内返回，99%查询在30秒以内返回。固定报表等前端业务响应时间要求小于10秒，动态报表响应时间要求小于30秒；查询功能和报表工具支持大用户量的高并发访问；应用程序能监控查询的运行进程，并停止长时间未响应的查询，控制资源使用效率。提供查询时间预估功能；查询功能和

15、报表工具提供高效的数据缓存机制，对重复操作无需再次直接查询数据库；应用支持数据级安全性，报表工具支持应用级安全性； 报表工具应具有良好的易用性以及快速开发环境；报表工具支持各种复杂报表，报表能迅速以所见即所得方式进行显示；报表工具应提供二次开发的接口；报表展示界面友好，便于界面集成；其他系统通过界面集成访问ODS系统时，应保证ODS系统与接入系统的统一认证；报表工具支持报表的定时生成与发布；计算应用支持图形化、向导等方式定制各种计算规则；计算应用支持复杂规则的脚本定义；计算应用提供高效的规则计算引擎。 2022-10-2314 计算应用计算应用系统技术建议系统技术建议数据应用数据应用 数据应用

16、技术建议 动态动态报表报表 固定报表固定报表数据查询数据查询数据应用分类对查询SQL进行优化，对大数据量输出的查询进行分页显示，减少网络传输，全面提高查询性能；建议使用连接池、负载均衡、集群等技术提高查询的并发性；使用成熟的第三方报表工具；对复杂应用建议利用第三方报表工具的二次开发接口自行进行开发；对数据量大、规则复杂的计算应用建议使用自主开发的程序完成；对业务逻辑简单的计算应用建议采用ETL工具完成；对数据量小的计算应用建议采用数据库存储过程等处理方法。 2022-10-2315系统技术要求系统技术要求数据共享数据共享 数据共享技术要求 FTP 数据视图数据视图 数据服务数据服务 支持数据视图、FTP文件和Web服务等方式对外提供接口服务；支持高并发性访问；Web服务响应时间应控制在5秒以内；FTP文件单文件不超过2GB，超过2GB时分割成多个文件。 数据共享访问2022-10-2316系统技术建议系统技术建议数据共享数据共享 数据共享技术建议 FTP 数据视图数据视图 数据服务数据服务 对共享数据的提供时间进行控制并可灵活配置。建议一般在营业时间只允许实时查询服务的访问（特殊情况除