为了更好地帮助企业用户淘金大数据,华为公司2014年3月24日-25日在南京举办了“2014年华为中国合作伙伴大会”。在3月24日下午的大数据圆桌论坛上,华为公司邀请了业界大数据领域知名学者、行业专家及华为技术专家,与到场的千余名合作伙伴,共同分享了大数据技术为企业数据平台带来的变革和机会,研讨了大数据技术研究和行业应用所面临的各种挑战。记者在会上随机采访了一些与会代表,他们表示已经能更清晰地把握华为在大数据时代发展趋势下的行业解决方案及产品的核心内涵和理念,他们有信心与华为一道,为建设大数据的美好未来共同努力。
近几年,随着电商的飞速发展和购物网站的访问量倍增,企业对IDC应对来自互联网的大访问流量和大访问连接数的要求明显提高,尤其在购物节日抢购高潮时,面对突发性的流量洪峰表现尤甚。与此同时,随着社交网络的快速普及和相关成功案例的曝光,使得企业对互联网数据的大数据分析需求逐渐增多,相关用户数据的存储、分析和管理等也给IT部门提出了较大的挑战。
面对来自互联网“大”时代的冲击,很多企业选择如今日益成熟的云计算计算来架设云平台,应用分布式集群计算的解决海量数据计算的问题。而针对大数据的存储、分析和处理,则采用当前广受追捧的Hadoop技术,实现用成百上千台服务器相互之间频繁、高速互访,集群处理各种海量用户数据。
企业以云计算为纲,大数据为本,从策略上可以很好地解决企业面临的大并发数,和大数据商业价值分析的问题。但是,同时也带来了网络端问题。很显然,企业的大并发数、大数据分析的“疯狂”,最受都压力放在了网络的肩上,而传统的网络设备和架构根本无法承受。
目前,企业最常遇到的问题是TCP Incast问题。它指的是“多对一”的TCP传输过程中,当传输方节点数目超过一定数目,接收方的吞吐量急剧下降,通常降低一个数量级。根本原因在于,多个server可能同时传输数据给相同的receiver。面对突发流量的冲击,没有应对的网络会频繁丢包、重传,导致网络阻塞,云计算的处理效率被大打折扣,因此优势也不复存在。因此云计算时代对数据中心网络提出了更高要求,具有无阻塞,无间断的交换能力。
如何解决这个让用户头疼的顽疾,华为公司在这方面有一技之长。华为公司近年来将Cloud Fabric 数据中心网络解决方案和CloudEngine数据中心交换机引入到互联网公司的IDC网络的设计和建设中,多年来,一直成为互联网公司打造一张高性能、高可靠、高扩展性IDC网络的中流砥柱,同时还能够帮助互联网公司完美解决网络迁移,业务扩展,大数据,安全性和可维护性等复杂业务问题。
这里,以CloudEngine 12800(简称CE12800)交换机为例,我们来了解一下华为这个系列交换机的理念。据了解, CE12800系列交换机是华为在Interop2012大会上面向数据中心和高端园区而推出的新一代高性能核心交换机。作为核心交换机,CE12800系列交换机的软件平台是基于华为新一代的VRP8操作系统。CE12800系列交换机在提供稳定、可靠、安全的高性能L2/L3层交换服务基础上,能够实现弹性、虚拟和高品质的网络。CE12800系列交换机采用了先进的硬件架构设计,是目前全球最高配置的核心交换机。
在应对IDC网络在大数据和云计算方面的需求,华为CloudEngine12800创新的路由交换架构,实现了单槽位高达2Tbps的无阻塞交换能力,可以保证高密度的万兆、四万兆直至十万兆的线速转发能力,作为整网核心,确保业务数据的高速转发。并且,CE12800系列交换机的整机最大支持百Tbps交换容量,最高支持128个100GE、384个40GE或1536个10GE全线速接口。
同时,华为在CE12800系列交换机的独特之处,还在于平均100ms/10G端口动态缓存设计,可以轻松应对大数据场景中的流量浪涌。并且,CE12800系列交换机线卡单板具备高达3G的大缓存,并且可以动态调整,按需分配,足以应对hadoop等集群计算带来的瞬发突发流量,保证网络无阻塞交换,数据报文的精准转发和业务无间断运转。
根据国际权威机构Miercom发布的针对华为公司CE12800系列交换机测试报告表明,即使在瞬时大流量的环境下,时延也能够保证在2~5微妙内,而且抖动特别小。另外,根据测试报告列出的各厂家(包括Alcatel,Arista,Cisco,HP,juniper,H3C,IBM,Brocade等)数据中心交换机的能耗效率数据,证实CE12800系列交换机的能耗水平也要比同级别的其他交换机好50%。