首页 > 产品技术 > 因为星环科技的存在 Hadoop就是大数据

因为星环科技的存在 Hadoop就是大数据

2017-05-15 10:11   来源: 《商业伙伴》   作者: 张戈

基本信息

面向行业
应用领域

其实,最早关注星环科技,始于2016年的Gartner数据仓库及数据管理解决方案市场魔力象限报告。此时,星环科技成为国内首家,也是唯一一家入围大数据魔力象限的企业,且初一入围,即进入前瞻者象限。

 

2013年的信息含量

再识星环科技,则是通过对其创始人兼董事长孙元浩的采访。其开场白如此表述:“星环科技是一家创建于2013年的大数据公司,是家关注基础软件的平台型公司。”

看似平淡,其实,此暗藏的年份背景,相当具有信息含量。如将国内大数据产业断代为三个阶段,2013年则处于第一和第二阶段的临界点。此前Hadoop已被广为认知,但如果期望包装Hadoop企业版就能如鱼得水,那市场中大数据平台公司,岂不会多如牛毛?殊不知,在基于Hadoop的数百个趋势方向中,稍有判断失误,就会将企业引向“邪路”。

2013年,星环科技成立,而国内诸多巨头公司也正式入场。与国际市场同步,市场已脱离单纯关注Hadoop平台稳定性的初级阶段,从而进入了引擎之争。此阶段,早期出现过几十种SQL引擎,但三年之后仅剩下Hive、Impala、Spark SQL等“主流思想”。

 

在敌人最强的地方打败他

星环科技被广泛认知,也正是于此时。基于对SQL引擎的研究,其在18个月内,即超越了Cloudera的Impala,而Impala一度被公认为业内最的Hadoop SQL引擎。而对此,孙元浩说:“星环科技必须做到NO.1,只有最优秀的公司,才能获得尊敬。在大数据领域,不能靠客户关系,也不能靠依靠商业运作,必须在敌人最强的地方打败他,避重就轻只能被边缘化。”

当然,如今国人更习惯于将星环科技对标于Teradata,虽然两者技术流派则完全不同。不过,Teradata确实是一家很“奇葩”的公司,身处Gartner魔力象限最右上端,甚至领先于甲骨文、IBM、SAP等老牌企业。其因为对分布式数据库的理解,一个节点的销售额可达到500万元以上,高出同类企业数十倍之多。为何?在7×24小时无人值守状态下,对于百TB级数据仓库的分析处理,此前似乎也只有Teradata成功过。

 

大数据的“怀旧”思潮

回归大数据断代话题,或许是因为Teradata成功实践,也或许是因为星环科技在SQL引擎方面的研究太过出色,市场中出现“怀旧”思潮,重新关注于关系型数据、分布式数据库MPPDB,期待以另辟蹊径的引擎算法,绕开Hadoop,即所谓的大数据在国内的第三阶段。

其实,在诸多采访中,记者曾反复被灌输——Hadoop并非大数据的唯一,Hadoop有诸多“魔咒”尚不能破解,例如对TB级数据的分析处理能力;不适合低延迟数据访问;不支持多用户写入及任意修改文件等。

而如稍加分析2017年Gartner DMSA魔力四象限,似乎也在证明了以上观点,入围大数据企业明显分化为三个流派:其一,传统关系数据库,代表企业包括甲骨文、微软、IBM、SAP等;其二,分布式数据库MPPDB,代表企业包括Teradata、Cloudera、Pivotal等;其三,Hadoop,星环科技必是其中的代表企业。

 

不被看好的MPPDB

当然,孙元浩并不认同此观点,尤其不看好MPPDB的发展。“至今,仍有企业在宣称,Hadoop并不能完全代表大数据,仍有Hadoop所不能触及的领域。但事实上,在几百个项目中,星环科技不断在以Hadoop,替代传统关系数据库和MPPDB分布式数据库。第三方评测数据也已经证明,星环科技在数据处理性能、数据处理规模方面,正在全面超越MPPDB。”

从技术角度看,从关系型数据库,发展到并行数据库,再到MPPDB数据库。虽然MPPDB在OLAP多维复杂查询方面已表现不错,但其也有弱点,例如计算引擎的容错性、扩展性,以及并发支持。以致其无法完成大规模,或长时间的数据分析。也就是说,在诸多场景下,计算进程往往会莫名其妙地自动终止,或者进入絮絮叨叨的“死循环”。

“其实,除了Teradata以外,很少有企业将MPPDB作为数据仓库使用,其仅应用于数据集市。” 孙元浩说:“在过去近20年中,MPPDB用于数据集市场景中是成功的,但试图将其应用于数据仓库领域,则似乎没有一个成功案例。”

 

Hadoop没有“禁区”

而Hadoop出现于MPPDB之后,当然,其初期应用领域也并非用于数据仓库,而是大规模分布式计算。“实际上,Hadoop与MPPDB是两种计算模式之争,我们坚信Hadoop所使用的MapReduce计算模式会最终胜出。” 孙元浩说。“Hadoop具备传统数据库的所有特性,而且在此之外,其在高性能、容错性、可扩展性方面远远超过MPPDB。其同时也实现了与甲骨文、BD2、Teradata等SQL数据库的兼容。当然,在星环科技的研究中,用户还以基于Hadoop进行增删、查改,实现批量式更新。”

由此可见,此前Hadoop的“魔咒”诟病,已被星环科技一一解除,也正因此,星环科技可以服务于银行客户,实现实时数据仓库,进行个人信用等级评估,创新了银行业务模式。星环科技还敢于将其系统应用于能源领域,实现实时监控炼油厂的温度、压强等数据的。

 

再识星环科技

由此,再次回归星环科技的话题。其实,星环科技首先是家基础软件供应商,只不过其踩准了IT技术的变革期,在大数据的起跑线上,在巨头公司听到发令枪后还在观望左右时,星环科技已经出发。

美国人曾经不相信,Hadoop能做数据仓库,但星环科技已经拥有了诸多应用案例。Teradata也曾经不相信,Hadoop可以达到与MPPDB同样的,TB到PB级数据分析处理性能,但星环科技已经做得更好。由此,星环科技的存在,证明了Hadoop再无禁区魔咒。星环科技的存在,证明了Hadoop就是大数据。


 

 

赞 0个人觉得赞
logo

星环信息科技(上海)有限公司

规模:50-200人

网站: http://transwarp.io/

星环信息科技(上海)有限公司是一家高科技大数据创业公司。致力于大数据基础软件的研发,包括 Apache Hadoop 2.0,并超越 Hadoop,提供高于开源...

粉丝0

关联信息

关于我们 | 全生命周期管理 | 服务的客户 | 版权说明 | 联系我们

公司名称:北京金誉在线伙伴文化传播有限公司    备案号:京ICP备 15026202号-1

意见
反馈
返回
顶部