首页 > 市场研究 > 解析电信行业云计算实施经验

解析电信行业云计算实施经验

2014-06-30 09:47   来源: 商业伙伴  

基本信息

面向行业
应用领域
        中国电信集团公司从2009年开始启动云计算技术的应用研究,2010-2013年持续进行了业务平台领域的云计算技术现场试验,并取得了阶段性成果。2011年在中国电信集团公司的统一部署下中国电信浙江公司(简称浙江电信)初步建成了统一承载浙江电信业务网系统的云计算资源池,以解决传统IT建设碰到的烟囱模式问题,并提高整个电信IT资源利用率。经过2年的发展,浙江电信业务网络云资源池已初具规模,包含绍兴和金华两个节点,部署生产集群和测试集群,共有物理服务器387台、处理器能力7136核(已用3560核)、内存约56TB、共享存储裸设备能力约1100TB(已用450TB)、共计运行虚拟机约1390 台,已承载了110个业务平台。目前全省仅剩下综合业务管理平台(ISMP)一个大型业务平台尚未云化,且计划2014年迁移到业务云资源池。
 
        总体技术架构
 
        按中国电信集团整体体系部署计划,浙江电信业务云资源池通过适配层的方式与中国电信集团资源池管理平台进行对接。业务云资源池最初只有绍兴云计算资源池一个节点,2013年浙江电信在金华城南枢纽楼建立了业务网云计算资源池第二节点,两个节点互为资源备份容灾节点,形成大二层互联。资源池满足省级、本地网、基地各类应用系统、合作类平台、重要能力平台、重要业务管理平台以及部分IT支撑系统平台的资源部署需求。该业务云资源池整体体系如图1所示。
 
 
图1 浙江电信云资源池整体体系
 
        业务云服务管理层:实现并提供业务流程管理、用户服务管理、云服务订购关系管理、服务安全管理、业务包装管理和接口管理等功能。
 
        业务云资源管理层:实现并提供对物理设备(服务器、存储和网络)、逻辑资源(虚拟化计算、存储、网络资源)的统一管理、监控和部署调度,运维管理。
 
        业务云资源池层:资源池主要包括物理资源和虚拟资源两种。物理资源主要包括服务器、存储设备和网络设备,为云计算资源池提供了最底层的物理资源能力。虚拟化资源池是指通过服务器虚拟化、存储虚拟化和网络虚拟化等技术,将物理设备资源进行池化,抽象形成可管理、可调度的逻辑资源。
 
        业务云资源池节点网络建设主要由以下功能区构成。
 
        路由区:主要由路由器构成,提供统一的外部路由资源,包括互联网、中国电信互联网二平面CN2 以及综合数据传送网络DCN等。
 
        网络服务区:主要由防火墙和负载均衡器构成, 提供统一资源池内的应用层负载均衡需求,并提供平台的安全隔离和业务防护功能。
 
        核心交换机区:主要由三层交换机构成,提供资源池内各个虚拟机、物理机的IP全连接,以VLAN 或者特殊标签虚拟交换方式,实现资源池内无阻、分业务IP交换。
 
        存储网络交换区:主要由FC交换机和存储阵列构成。考虑到FC-SAN存储的成熟性以及组网的便利性,存储资源以FC-SAN方式组网。
 
        浙江电信业务云资源池双活节点总体网络架构如图2所示。
 
 
图2 中国电信浙江省分公司云计算资源池网络架构
 
        绍兴和金华两个资源池节点完全对等,上联统一出口,使用连续IP地址段,两个资源池各部署两台核心交换机和两台负载均衡器,核心交换机和负载均衡器均采用4虚1方式部署,逻辑上构成一个跨域大二层网络。
 
        技术实践创新
 
        成功实现国内传输距离最远的核心交换设备多虚一技术
 
        为满足后续业务平台网络横向扩展需求,即承载业务平台的虚拟机可以任意部署到绍兴和金华资源池中的任意服务器集群中,业务平台所使用的虚拟机均运行在同一个二层网络中,业务云资源池核心层交换设备采用了H3C智能弹性架构(IRF)技术方案,并选择了端口密度和交换能力比较高的H3C S12518核心交换机设备。
 
        网络传输方面,如图2所示,部署在绍兴和金华的四台核心交换机形成一个交换机集群(环状组网),两个节点的核心交换机之间用四条10GE 波分链路组网,四条链路捆绑设计,任意一台核心交换机或者一条甚至三条链路产生故障不影响整体网络运行。传输上为满足双路由条件,传输线路需要绕远至宁波、温州等,因此绍兴和金华实际传输距离来回在1600公里以上,延时大约为8ms。所有流量,如交换机IRF堆叠流量、负载均衡虚拟化流量、防火墙心跳流量、业务穿越流量、异地备份流量均通过虚拟化后的核心交换机集群进行传输,通过不同的SLA等级对不同链路进行保障,如虚拟化以及HA的心跳流量等级最高,业务流量居次,备份流量等级最低,以此解决安全性和可靠性问题(如图3所示)。  
 
 
        图3 核心交换机及负载均衡、防火墙设备堆叠示意图
 
 
        浙江电信业务云资源池网关设置在核心交换机上,作为整个二层的转发中心,接入层交换机以纵向虚拟化作为端口延伸接入IRF二层网络,已有接入设备则通过二层透传保持原有链路。
 
        业务云资源池承载的业务整体上可分为两个大类:关键类业务和普通业务。普通类业务只在绍兴或者金华单节点配置资源,其业务系统可将数据、配置等在异地进行备份,出现故障时可手动在异地恢复业务系统;关键类业务的资源在两个节点均衡部署,业务请求通过负载均衡分发到两地的应用服务器,数据库通过准实时同步的方式同步。
 
        引入虚拟堡垒机,构建了立体多维的云资源池安全保障技术体系
 
        业务云资源池安全体系架构思路如下。
 
        南北流量安全:在核心交换机上部署传统硬件防火墙,工作在外部网络和内部网络之间,在资源池入口核心交换机侧部署防火墙设备进行网络层防御,保证业务平台资源池免受外部网络攻击。
 
        东西流量安全:通过部署虚拟化防火墙和支持虚拟化的防病毒、深度包检测IDS/IPS软件,并采用VLAN确保各业务系统之间网络安全隔离和访问控制策略,通过分布式部署方式实现虚拟机迁移时安全策略跟随,避免资源池内各业务系统之间互访流量的路由迂回。
 
        运维安全:通过在生产实践中总结的经验,浙江电信自行研发了虚拟堡垒机系统。虚拟堡垒机承载在虚拟化平台的虚机上,提供对内部和第三方运维操作人员的接入、认证、授权、审计和监控等功能,并提供统一的带外维护手段。虚拟堡垒机系统结合虚拟化技术和堡垒机技术,实现云计算资源池运维体系的安全。
 
        高可用性和扩展性:云资源池的安全防护系统不能成为性能瓶颈,必须保证高可用性,确保业务连续性、更高的可靠性、更短的停机时间、更简便的维护和升级。借助云计算弹性扩容特性、虚拟防火墙、虚拟堡垒机等可以实现灵活扩展。
 
        突破了数据库虚拟化技术瓶颈,实现全系列数据库云化
 
        数据库虚拟化承载是业务平台云化关键问题之一。由于历史原因,中国电信业务平台数据库使用情况较为复杂,在用的数据库包括不同厂商、多个版本的数据库软件,承载数据库系统对虚拟化技术提出了严峻的挑战。为了充分验证x86服务器虚拟化环境中部署承载数据库的可行性和有效性,中国电信北京研究院在2011-2012年组织了“数据库云化”的专项研究和测试工作。对于采用虚拟机部署数据库系统和数据库HA集群或者数据库网格集群进行了TPC-C测试和评估。测试结果表明,采用VMware虚拟化技术单虚拟机承载Oracle、SQLServer、Sybase等数据库的在线事务处理能力较相同配置物理服务器性能保持率在93%以上。基于此次测试验证的结果,浙江电信开始了规模化的数据库虚拟化承载工作。目前,浙江电信业务云资源池承载的110多个业务系统全部采用虚拟机方式承载数据库系统,已稳定运行超过3年时间,应用的数据库主要有Oracle、Sybase、SQLServer、Informix和MySQL等主流数据库,部署方式有单机部署、高可用部署和网格集群部署。
 
        数据库云化过程中,经常面临的问题是数据库集群需要多机同时挂载共享存储盘的方式实现,而虚拟化环境中同时需要保证虚拟机的迁移、HA等高可用性特性,若多虚拟机直接挂载同一物理磁盘设备则不能实现虚拟机迁移和HA。目前,我们采用的方法是,修改SCSI共享总线的读写参数以实现多个虚机共挂VMFS虚拟磁盘。从应用角度, 对共享盘的读写控制仍使用传统应用层HA软件来控制;从性能角度,网络、计算资源相比传统物理方式需要充分考虑资源竞争的情况,对于关键业务系统,可使用资源保障手段保证资源的可用性和性能。若采用VMware虚拟化技术,建议块存储磁盘以VMFS方式进行供给,尽管性能上比RDM方式略微有些下降,但该方式便于管理,同时有效保证虚拟机的迁移、HA等特性。
 
        打造完善的运维体系和流程,实现按需高效的资源分配
 
        浙江电信业务云资源池和业务平台维护界面划分方式是以操作系统为分界线,即操作系统以下部分,包括底层计算存储硬件、虚拟化软件、网络设备等由云计算资源池维护人员维护;业务平台操作系统以上,包括操作系统、应用软件等部分由业务平台维护人员进行维护。并以此为依据, 浙江电信制定了针对业务云资源池和平台维护的相关管理办法。
 
        在实际运维过程中,由于电信业务平台种类多, 平台开发商多种多样,维护水平参差不齐,而大多数厂家维护人员对于云计算的概念理解不够准确,部分维护人员认为系统放在云平台上就可以保障平台的高可靠性和可用性,容易出现维护缺失和失控的局面。而面对众多应用系统以及维护界面的划分,资源池管理维护人员缺乏有效的手段规范和监控单个业务平台的运维状况,因此不仅需要完整的管理流程,更需要有效的手段来规范业务平台的运维质量。
 
        云资源池运维体系流程对资源申请、资源开通、资源使用、资源回收等阶段进行了端到端的规范。浙江电信业务云资源池的资源分配原则是按需分配,其核心原则是所分配的资源满足运行需求即可,资源分配多了容易产生资源竞争, 反而会降低业务系统的运行效率。为此,浙江电信在业务云资源池建立了业务上线前的临时测试区,采用闭环测试的方法来测算出业务系统运行所需的合理资源配置。部署阶段,除了计算能力、存储空间和网络带宽等资源需要按需分配, 也要对相关设备的配置资源合理分配,例如防火墙和负载均衡的配置策略等,尽量使用共享复用的方式。
 
        云计算平台的运行情况和下一步展望
 
        在过去几年的探索和实践中,浙江电信业务云资源池已稳定运行,在日常生产工作中发挥了基石的作用,其重要性也越来越高。下一步整个资源池将实现从虚拟化向全面云化的跨越,对一些关键性的技术问题,中国电信北京研究院的云计算技术团队已依托中国电信与VMware联合实验室进行了前期研究和技术验证,主要解决目前现网部署中仍存在的一些瓶颈问题。一是网络配置复杂度问题,拟于今年引入软件定义网络技术(SDN),采用叠加(Overlay)网络的方式,在不改变现有网络架构下,将各业务平台内的网络配置权限由目前的资源池管理改为平台管理,提高网络资源交付速度,并让业务平台管理员参与到日常网络维护和管理工作当中。二是由于虚拟化技术的引入,共享存储的性能和成本都制约了后续的演进,因此我们将引入软件定义存储技术(SDS),建立弹性可伸缩的存储资源池,解决存储容量弹性伸缩问题,提高存储快速连续扩容的能力;简化存储的维护难度,提供快速维护的手段;提高存储本身的安全性,提高存储的I/O,特别是对大数据分析等高度读写场景。逐步细分存储资源池内的资源,针对需要存储大量非结构化化数据类业务,如音频、视频、图片、网页、日志等,引入“文件”存储和对象存储。
 
        此外,现网还需要进一步优化网络传输路径,减少传输距离,力争将绍兴、金华两个资源池的核心交换机间的网络时延控制在5ms内,开展存储数据实时同步试验;并进一步增强资源池维护手段,提高资源池实时监控能力,快速分析平台各服务器的使用情况和提出扩容预警。
赞 0个人觉得赞
logo

北京东方金信科技有限公司

规模:200-500人

网站: http://www.seaboxdata.com/

北京东方金信科技有限公司(后简称东方金信)成立于2013年2月,是一家专注于大数据平台和大数据解决方案的国内领先企业,拥有ISO9001和CMMI3认证,是首批...

粉丝0

关联信息

关于我们 | 全生命周期管理 | 服务的客户 | 版权说明 | 联系我们

公司名称:北京金誉在线伙伴文化传播有限公司    备案号:京ICP备 15026202号-1

意见
反馈
返回
顶部