IDC预测,全球数据总量将在2020年达到40ZB。40ZB的数据量是什么概念呢? IDC给出了一个比喻:如果把一粒沙子当做一个字的话,40ZB的数据量相当于地球上所有海滩上沙子数量的57倍;40ZB的数据量相当于667千亿部高清影片,一个人每天24小时连续不断地看,看完这些电影需要5万6千亿年;目前我们对地球年龄的估值是45.5亿年,意味着,如果这个人从地球诞生的时候就开始看电影,现在他只看完了这些电影总数的万分之八(0.0008)。而这些数据,每两年还将翻一番,呈指数级增长态势。大数据将以一种史无前例规模深刻地影响整个IT行业和人类社会生活; 它也被认为是下一个创新、竞争力和生产力的前沿。如何应对汹涌而来的数据洪水,充分、高效挖掘海量数据中潜藏的巨大机会,正在成为整个IT行业的关键聚焦。越来越多的全球IT巨头开始通过收购、合作的方式来实现技术、产品和解决方案的互补及整合。近日,全球领先的信息与通信解决方案供应商华为,与全球计算创新领域的领先厂商英特尔启动在大数据存储领域战略合作的消息再一次吸引了全球目光。
双方将协作构建“全融合”的大数据存储解决方案,实现对大数据全生命周期的高效存储、使用和管理。根据协议,双方将成立核心技术团队,开展包括架构师合作、研发路标共享等前期技术合作,并在产品、解决方案及前沿技术创新方面进行联合开发、验证和优化,同时启动包括市场战略、合作营销和合作贸易展会在内的全面营销合作。这是华为存储与世界一流IT合作伙伴密切合作、构建和谐共赢行业生态系统战略的重要组成部分。
分析人士指出,此次华为与英特尔的合作源于双方在大数据存储领域的共识;另外,作为具有ICT全行业解决方案能力背景的专业存储厂商,华为拥有全球领先的数据存储能力和完善的存储解决方案体系,而英特尔在大数据、横向可扩展存储和软件定义存储领域具备领先技术,双方的互补优势让业界对此次合作充满期待。
华为表示,大数据存储的基础在于为海量数据提供超大容量、超高性能、超强扩展的存储解决方案,以满足海量数据存储与分析对容量及速度的严苛需求;另外,大数据存储必须具备数据零装载能力,最大化降低海量数据迁移的需要,以此规避由于数据迁移带来的巨大时间和成本损耗,大幅减少数据的管理和使用复杂度。英特尔认为,横向可扩展的、且能同时兼顾存储和计算双重功能的设备正是全方位满足上述需求的理想之选。它们既易于扩展,以响应大数据前所未有的数据增长速度,又能对数据进行存储的同时进行有效的管理和高速的处理和分析,从而让大数据更快转化为有价值的信息,以降低大数据的应用成本。这种存储即计算,计算即存储,打破传统服务器和存储设备边界,实现存储和计算融合的趋势已成为整个产业界的共识。基于英特尔智能化和高I/O带宽的英特尔至强处理器,英特尔以太网和英特尔固态硬盘存储系统,有助于为华为的基础创新,并提供高性能的大数据解决方案。
凭借在大数据存储领域数年的技术积累,华为在业界率先提出了“全融合”的大数据存储管理理念。其核心在于构建“以数据为中心”的大数据存储解决方案,即聚焦大数据基础架构,以分布式文件系统为基础,叠加并行SQL引擎、企业级Hadoop等多种分析组件,进行存储、分析、归档等功能All-in-one的融合,在单一存储系统内实现“大数据全生命周期”管理,以此来消除存储孤岛,减低大数据迁移的必要性,减少设备之间互操作性可能带来的诸多问题。同时,“全融合”还体现为多种存储介质和设备的融合,基于华为存储统一的硬件平台、软件平台和操作系统,打造跨存储设备的融合存储资源池,根据数据类型、冷热程度以及对一致性的不同要求,实现数据在不同的存储设备上自由流动和按需分布。
而英特尔在大数据方面的优势包括:英特尔处理器具有低功耗高性能以及丰富功能来实现分析与管理结构化和非结构化的存储数据,帮助企业提高平台效率及降低成本。随着智能存储功能要求提升,如重复数据删除,数据分层,压缩和擦除编码能力,基于英特尔的解决方案将提供增强的用户体验,并启用新的使用模式。
据悉,华为OceanStor 9000大数据存储系统是华为与英特尔在大数据存储领域合作的关键着力点。OceanStor 9000是华为大数据存储解决方案的核心,它采用全对称Scale-out架构,支持3~288节点的弹性无缝扩展,单一文件系统可扩容至40PB,系统性能也能随着容量增长而线性增长。在2013年全球权威性能评估机构SPEC的性能测试中,华为OceanStor 9000仅用100个节点就达到了前所未有的500万OPS,以领先业界其他产品性能3倍多的卓越表现成为存储业界性能新的领导者。并且,OceanStor 9000创新的“全融合”技术架构,在share-nothing的基础上实现了数据在同一系统内的存储、归档、分析过程的全生命周期管理,“零装载”的独特优势能够让数据在多个业务系统间有效流动,免除跨设备数据装载和迁移,数据使用效率提升高达80%。
目前华为和英特尔已经初步完成对OceanStor 9000的40PB、288节点项目的联合验证,即将发布阶段验证结果。在冷数据存储方面,双方正在联合开发适用于冷数据存储和视频监控方案中的低功耗、低成本高密存储设备。同时,双方将持续在高性能领域加强技术投入:借力英特尔在硅光电子技术领域中的突破,华为将验证在下一代大数据平台中利用该技术实现100GE的主机接口和系统高速互联,这将大幅提升系统带宽和降低系统延时;而在存储加速领域,华为计划使用英特尔 ISA-L指令集进行存储算法优化,预计优化后指令处理效率提升100%,压缩性能提升4倍。
面向未来,华为和英特尔将不断深化在大数据存储乃至整个IT基础架构领域的创新协作,结合双方技术与资源优势,为最终用户打造更高应用价值的解决方案,助力用户完美应对大数据所带来的挑战与机遇,充分挖掘数据价值,实现业务的转型和升级。此外,双方在前沿技术方面的协作也将促进行业发展,推动信息化的发展进程。