企业内容统一注入分发CDN系统设计与开发技术方案.docx

企业内容统一注入分发CDN系统设计与开发技术方案目录1 企业内容统一注入分发CDN系统设计方案21.1 案例说明错误!未定义书签。1.1.1 项目建设目标21.1.2 总体业务;超呈21.1.3 CDN平台需求分析31.1.4 系统总体设计81.1.5 系统概要设计131.1.6 系统详细设计251.1.7 质量过程控制471.1.8 软硬件兼容能力511.1.9 更新迭代优化能力521技术方案1.1 项目建设目标大屏内容统一注入分发系统主要完成支持集团大视频内容（包括元数据和介质）快速一点注入，以及全网CDN加速分发的能力建设。系统主要支撑响应以下两种业务场景： 系统构建支持内容通过系统接口对接或人工上传两种方式，建立临时内容库,存储一定周期内的内容元数据及介质。 支持通过内容分发运营人员，通过选择内容库，进行各省FTP或专用通道两种分发通道，将内容介质及元数据通过CDN平台加速分发至分省。1.2 总体业务流程总体内容分发流程：ii介I1teCP/SP上游系统运营管理系统注入服务受理层注入通道2内&导入CP/SP分发运人员CP/SP分发运雪人员分发场景1分发调度执行层各省FT嗨道分发场景2注入通道1:CP/SP按照服务接口规范，完成内容注入,登录本系统WEB系统,操作内容库，进行分发操作，本系统调用分发通道能力，完成内容全网分发。注入通道2:CP/SP人员上传节目介质，通过本系统WEB页面导入节目元数据信息，分发场景1:CP/SP人员操作内容库，进行分发操作，本系统调用分发通道能力,完成内容分发。分发场景2:CP/SP人员操作内容库，进行分发操作，本系统构建全网FTP分发网络，进行内容全网FTP分发。>CDN加速流程13CDN平台需求分析>GS1B能力构建CDN节点分布主要根据现有电信和联通在全国核心节点分布情况来进行相应的节点部署，用户访问将会由GS1B来决定送往离用户访问质量最好的节点进行处理。用户访问流量的导向判断来至GS1B策略。GSIb系统中用户通过IP段来表示，IP段的细致程度也就决定了我们对用户流量控制的可控程度。目前我们IP段以省级为单位。如果进行用户流量的切换，必须以一个省级的单位为基准。现有单个节点流量负载能力还不够承受如此重大故障切换。目前单节点负载能力日趋上升，其风险也在不断增加。细分IP地址段，以市级为单位。同时对各个运营商的IP段需要长期进行维护分析。为更好进行流量控制和减小因故障处理产生的风险。合理进行CDN节点故障切换降低因故障带来损失。目前我们使用的F5(GTM)处理节点故障切换机制仍然停留在以网络链路的连通性的基础上，这种机制在90%的情况下无法满足现有故障的切换。一般来说导致机房完全丧失服务功能的几率比较小，而大多故障都会导致节点处理用户访问变得低下但不会完全丧失。这种情况一旦发生将会导致GTM无法正确切换,同时也因边缘节点的非正常服务对二级Cache和源站点产生巨大的冲击。如果处理不及时最终将导致全站丧失可服务性。GS1B对节点状态和性能具备检测能力，负载均衡负载、服务器负载、重要应用的可服务性。通过这些状态来进行故障切换，减少故障带来的负面影响力。内容分发内容分发技术是CDN体系中的关键技术之一，决定了内容的质量，好的内容分发方法还能够有效缓解后方服务器的压力。本项目需支持通过对CDN中的内容实行推"一拉，移动站点的内容使之更接近最终用户而减少用户获取Web内容的延迟时间。内容缓存技术是解决源服务器压力的方法，通过缓存服务器可以有效缓解后方源服务器的压力，降低服务器的硬件成本。内容缓存本项目所建设CDN管理平台需要支持Squid的代理服务器和Web缓存服务器，可以处理HTTP、FTP,GOPHER、SS1和WAIS协议。Squid有广泛的用途,从作为网页服务器的前置Cache服务器缓存相关请求来提高Web服务器的速度。Squid主要设计用于在类Unix系统上运行，被广泛应用在CDN的应用中。相比其他同类型软件，Squid具有配置简单，缓存效率高，同时功能强大的优点，Squid能够接收用户的下载申请，并自动处理所下载的数据。边缘节点管理一直以来我们采用Squid部署CaChe.server应用，CaChe.server缺乏多方面的扩展功能。squid单纯作为CaChe.server来讲，因经过多次二次开发和对服务器硬件本身进行从新调配其在性能稳定上有很大提升。但实际所涉及的功能却非常缺乏，无法适应不断发展应用需求。按照需求删除图片信息。一直以来我们对CaChe的Expires时间设置的都比较长。目的是避免过短的Expires导致OBJECT频繁更新导致hit下降，同时对源站点造成压力。删除的图片的数量和与图片相关的服务器数量以及服务器地域性的关系使这项工作只能安排在晚上定时删除。即使是这样效率还是比较差,目前只有squidc1ient工具对object进行purge处理但是此方式类似用户访问80端口由于瞬间产生巨大请求会影响正常用户请求相应同时会操作系统产生高负载。此方式始终不是解决问题最佳方式无法适应实时删除功能。在提升CaChe.server软件性能的同时，还需不断加强扩展功能的开发。以适用将来不断增加的业务需求,毕竟淘宝网有80%的访问流量在CDN产生。目前节点缺乏完整统一的监控系统，虽然前期我们也有部分数据进行了统计分析。但是作为一个CDN系统组成部分，我们需要了解每个环节的具体状态。一个属于CDN的监控，一个统一的管理工具平台出口路由器的端口流量（这个非常的重要，此流量的监控会作为每个月费用结算凭据。）接入层交换机端口流量负载均衡的端口流量，负载均衡状态。与之相关的VIP的流量Cache_server负载，命中,流量,连接数，回源站流量访问日志分析处理。在日常的维护工作中，除了因链路、设备故障等原因外还有其他类似于CaChe.server配置问题（有时会因不同的需求进行调整），网站本身应用程序代码产生的故障都需要进行日志分析排查。深入进行CDN系统中各个环节的监控系统管理，对处理和预防故障有极大帮助。源站点内容对接imgsrc,1ogsrc采用Web访问的方式提供服务。目前主要分布在CM2,CM3机房DN目前最大流量为46G。正常情况下边缘节点CaChe-SerVer命中率在97%左右,46*（3%）=1386回到源站点。通常故障发生时将立即导致imgsrc负载急剧上升，全站丧失服务功能在边缘站点与imgsrc之间搭建二级Cache缓冲回源访问冲击Imgsrc与TFS访问因涉及图片压缩功能释放带来巨大访问量，一般可能是10倍左右的放大率。目前CM2,CM3的imgsrc的负载能力并未达到1:1的性能，这种单边冲击丧失功能性故障将会导致全站崩溃。优化CaChe-SerVer命中率，最大程度上减小给源站点带来的冲击因imgsrc与TFS之间的访问同机房网络结构相关,需要通过对老机房的网络环节进行扩容和在新机房网络结构设计中重新予以注意。当然能够从根本上优化imgsir与TFS之间产生的流量那就更好了。配置管控CDN配置管理系统的出现是为了满足针对CDN节点的配置管理而提出的。在CDN系统中存在了大量的分节点，这些节点分布在全国各地的电信运营商的IDC机房中,用户的访问通过GS1B来进行访问分配,因节点数量多，大多以省份为单位,每个节点下有含有数台服务设备，如果逐一安装配置,工作量大，而且配置无法保持一致性，同时更新麻烦。CDN配置管理系统主要是为了解决大量的CDN业务和设备需要进行配置管理，而缺乏统一的管理平台,手动上机配置,工作量大易出错，配置版本管理混乱，为解决这些问题，开发基于Web界面的配置管理系统,方便运维管理人员管理节点和配置节点。基于上述分析，我们在本次项目中对于CDN管理平台的配置管理需要实现的功能主要功能如下:系统功能表包含功能节点信息添加节点:这个节点可以是测试节点，也可以是OPSfree中己经存在的数据节点，添加节点后可以导入相应的该节点在opsfree中已经存在的server信息。更新节点:将更新这个节点的最新数据，建议在很长一段时间后要进行系统配置，请更新一下数据，以保证系统数据和实际的数据的一致性。添加SerVer:用于添加在OPSfree中没有添加的server数据信息。查看SerVer:查看当前节点中所有的Server0新建任务:用于建立配置的任务,当前包括三种类型的任务:bash任务，haproxy任务;SqUid任务；查看任务:查看针对当前节点的所有任务历史记录:查看当前节点的配置任务的历史版本信息编辑:编辑该节点的相关信息；删除:删除该节点，包括对应的任务和SerVer信息节点信息以任务的形式，查看当前系统中所有的任务数据。模板信息处理系统中数据的重复配置问题而制作的模板，建议先用建立模板这个功能，再使用配置功能。1.4系统总体设计1.4.1 系统设计原则先进性、规范标准性原则本工程的建设应严格遵循集团的相关规范的要求，新增设备应具有国际先进性，并符合相关标准、规范。开放性原则系统遵循开放性架构，采用开放的接口协议与开发平台，为用户提供统一的、开放的接口；平台维护和发展不依赖于设备厂商，能够保证平台的持续升级和发展。安全、可靠性原则系统按照企业级的应用进行设计，系统软硬件架构充分考虑整个系统运行的安全策略和机制。采用成熟稳定并具有企业级运营实例的硬件平台和第三方软件。在系统组网时选用高可靠性的产品和技术，充分考虑系统对可靠性的要求和可能影响系统运转的因素，提高整个系统的容错能力。灵活性、可扩展性原则系统建设需充分考虑目前的业务需求和将来可能发生的一些变化，在解决现有业务实际需求的前提下，可灵活扩展本系统的功能和规模，使系统具有良好的适应能力。平滑升级原则保持现有业务的延续性和稳定性是需要注意的一个原则，系统扩容建设时，业务的改动、升级不可避免。然而，新增功能的部署应保持现有业务的延续性、兼容已开展的业务。投资保护原则本工程的建设应尽量利用前期工程及同期建设的相关工程的软硬件设备，以提高资源的利用率，降低建设成本，充分保护招标人原有的投资。14.2系统架构设计CDN系统通过基于Web的B/S构架。运维人员通过中控机的配置方式收集数据，然后将数据转发到其他服务器节点。1.4.3CDN网络架构大型CDN系统的运行需要一个可靠、安全、可扩展、易维护的应用系统平台做为支撑，以保证网站应用的平稳运行。通常大型动态应用系统可以分为前端系统、负载均衡系统、数据库集群系统、缓存系统、分布式存储系统、代码分发系统几个子系统。通过前端系统将有效请求转发给负载均衡系统，负载均衡系统根据服务器资源的使用情况进行资源分配，同时有效利用缓存系统和数据库集群系统，优化资源，提高网站的访问速度。本项目，我们基于系统的整体考虑，最终设计并采用CDN节点的1VS+HAProxy+Squid+Apache/Nginx+Memcache+MySQ1构架方案。1.4.4CDN节点架构CDN的节点构架方案与CDN系统具有很强的粘合性，本项目所采用的CDN节点的构架方案为：1VS+HAPrOXy+SquickApacheINginx十MemCaChe+MySQ1,具备全国范围内的加速能力。具体本项目所采用的CDN的节点构架方案如下:以下用对新浪网的访问加速为例子来进行说明：在