要用Maxcompute,maxcompute

如何评价阿里云王坚十年前研发的Max Compute?现在有什么新动向吗?

要用Maxcompute,maxcompute


可能提到王坚博士,大家最先会联想到飞天、城市大脑,实际上,王坚带领团队自主研发的世界级的大数据计算平台MaxCompute也非常厉害 。十年前,阿里巴巴淘宝流量开始爆发式增长,底层计算系统无法支持如此大规模的流量 。虽然,当时开源的Hadoop是当时主流的大数据技术,但考虑到其规模、可控性、安全性等问题,王坚没有选择在开源的Hadoop来结局流量问题,而是非常有远见地决定,要自主研发出大数据计算平台MaxCompute,目的就是要突破开源大数据在规模上和稳定上的瓶颈 。
就这样,经过王坚和团队的不懈努力,终于在2013年8月,MaxCompute的生产集群达到了5000台规模 。这也让阿里云成为世界上第一个拥有对外提供5K计算能力的科技公司,也给中国在前沿技术领域争了一口气 。此后,MaxCompute也在不断突破 。在2015年和2016年的Sort Benchmark 数据计算能力评测中,MaxCompute刷新了 6 项世界记录; 2017年,MaxCompute将BigBench数据规模扩展到100T,完成了全球首个公共云上的BigBench大数据基准测试;2018年,MaxCompute入选Forrester发布的《The Forrester WaveTM: CloudData Warehouse, Q4 2018》,并在产品功能方面PK掉了微软,成功挤进前七 。
除此之外,MaxCompute还服务了大量企业和机构,例如墨迹天气、新浪微博、华大基因、协鑫光伏、千寻位置、浙江省“最多跑一次”等 。现在,MaxCompute已经能够实现单一集群超过1万台服务器,数据规模更是达到EB级,要知道,全球范围内掌握这种能力的公司也只有Google、亚马逊等少数几家 。此外,MaxCompute不仅帮助阿里巴巴支撑了双11等场景的海量数据,还降低了很多中小型企业的成本,让他们只需要花几百元就能分析海量数据 。
为什么在别人都使用开源大数据技术时,阿里云王坚却坚持自主研发Max Compute?
要用Maxcompute,maxcompute


阿里云已经成为阿里巴在科技领域有一个奇迹,当然奇迹背后必定有太多的艰辛,不完全是身体上的,还有精神上承受的压力,毕竟这个系统不是简单的靠人员的集成式开发就能短时间搞定,所以在前期受到非常大的质疑也属于很正常的范畴,恰逢大数据还在炒概念的阶段,马云拍板投入数十亿开始研发,据后来解密当初阿里巴巴内部分成了两个派系,支持阿里云的研发,坚决反对阿里云的开发,甚至在阿里巴巴内部有人直接提出质疑王坚能不能写上一行代码 。
整体集团内部弥漫着对阿里云研发进度的不信任,甚至很多人喊出来王坚是在骗马云的钱,种种才猜测,王坚在2012年的年会上落泪的视频在网上还能搜到,足以说明当时承担的压力有多大,但王坚还是如同他的名字一样坚强的挺过来了,现在阿里云的全球市场份额占到第三,并且完全实现了技术上的自主研发,并且真正突破了传统意义上的5K技术,备受质疑主要在当时的互联网环境下拿出这么多钱来烧段时间内不能见效,那个阶段是互联网高度的红利期,投入就要见到产出的年代,所以环境的因素很重要,不得不佩服马云的决断力,如果没有当初资金源源不断的投入不可能有今天的阿里云技术,也算是国内科技企业里面为数不多自主研发的技术产品 。
王坚加入阿里正好是阿里技术瓶颈期的时候,业务能力快速的发展,技术能力能不能跟得上都是未知数,整个来讲王坚很好的完成了这一使命,其实换个思路来看这个问题,如果不是王坚可能还会有下一个李坚出来做这个事情,毕竟公司的巨轮会一直向前发展,而王坚恰好出现在合适的时机并且把这个事情干的非常漂亮,但在具体如何去做的时候,王坚的决断力却是非常的勇敢,在尝试了开源的大数据之后发现根本不可能完成任务,于是果断开始自主研发,与其说是自动主张倒不如说成是被逼的,强大的压力下产生无尽的动力,任何有技术含量的东西大家开始都不会太认可,如同开始大家在网上购物都会觉得可能是骗子,万一我交钱了对方不发货怎么办,看看现在购物的人很少担忧这个事情发生,整个社会的价值观已经高度认可这件事情 。

推荐阅读