做Mesos的这家公司倒闭了,输给了Kubernetes更是输给了时代

一个如此受欢迎的开源项目最终落得如今的结局还是非常可惜的。实际上,Mesos不是第一个落魄的,和它关系密切的Hadoop甚至比Mesos还红,如今也沦落了。技术的演进就是如此,长江后浪推前浪,一项技术的窗口期只有短短的几年,错过了就是错了,一旦错过了就成为了历史的过客。
2023-12-14 17:29:31  |   作者:航标  |   来源:航标IT精选

做Mesos的这家公司倒闭了,输给了Kubernetes更是输给了时代

一个如此受欢迎的开源项目最终落得如今的结局还是非常可惜的。实际上,Mesos不是第一个落魄的,和它关系密切的Hadoop甚至比Mesos还红,如今也沦落了。技术的演进就是如此,长江后浪推前浪,一项技术的窗口期只有短短的几年,错过了就是错了,一旦错过了就成为了历史的过客。
2023-12-14 17:29:31
作者:航标
来源:航标IT精选

在充斥着各种裁员消息的今天,一家公司倒闭大家一般不会太在意,尤其是一家国外的公司,不过这家公司有点不一样,它的倒闭可能会给你一些触动。据国外媒体报道,一家名叫D2iQ的公司宣布破产了,正在清盘。D2iQ这个名字我们可能有点陌生,但提到Mesosphere和Mesos有人可能会想起来,尤其是关注过分布式计算的人。D2iQ是Mesosphere向Kubernetes转型后新改的名字。

Mesos是一个非常有名的开源项目,Mesosphere是其背后的商业化公司。Mesos曾经红极一时,是大数据应用(Hadoop、Spark、Kafka等)的首选部署平台。Twitter、Apple都曾是其用户,在中国也有不少大公司(如爱奇艺)部署过Mesos。如今沦落到公司倒闭,Mesos项目前景也堪忧,实在让人唏嘘不已。D2iQ的倒闭也让我们再次看到了一个知名开源项目的兴衰。

Mesos出手不凡

Mesos最早是美国加州大学伯克利分校AMPLab实验室的一个项目,这个项目的负责人是Benjamin Hindman,当时Ben是加州大学伯克利分校的博士研究生。不过,其真正成熟是在Twitter。

Twitter 2006年成立,刚成立时网站流量一直在爆炸式增长,网站很不稳定,经常被流量击垮,每次网站挂了的时候都会出现一张鲸鱼的图片,被称之为“失败之鲸”。为了解决“失败之鲸”的困扰,Twitter从Google的Borg系统中得到启发,准备开发一个类似的资源管理系统。此时Benjamin Hindman加入了Twitter,负责开发和部署Mesos。Mesos在Twitter获得了成功, 很好地解决了 Twitter 面临的可伸缩性和性能上的挑战,管理了30多万台服务器上的应用部署,“失败之鲸”逐渐成为往事。

2010 年时,Twitter将这个项目捐献给 Apache 软件基金会。2013 年,Mesos项目的几位创始人成立了一家名为 Mesosphere 的公司,Benjamin Hindman以首席架构师的身份加入其中,这家公司基于Mesos技术推出了一个企业版的产品DCOS(数据中心操作系统),目标是让用户能像使用一台计算机一样使用整个数据中心。

Mesos问世的时候大数据技术正如日中天,Mesos正是为解决大数据的资源调度而生。借助大数据热和Twitter的背书,Mesos很快就被众多大公司引入,早期就使用它的公司有 Apple、Netflix、PayPal、AirBnb、Yelp、OpenTable 和 Groupon。Mesos在中国也有很多大客户,比如爱奇艺、携程等,后来被Ucloud收购的数人云早期主营业务就有Mesos。

在Mesosphere刚成立的时候很受投资者青睐,2013年成立以后,该公司总共获得了超过两亿美元的融资,估值最高的时候达到了7.75亿美元。有媒体报道,微软在2015年曾经出资1.5亿美元想要收购,还与谷歌商谈过要以2.5 亿美元的价格出售。

不过,好景不长。2013年Docker问世,一年以后Kubernetes问世,Docker Swarm、Mesos Marathon和Kubernetes三者展开了激烈的竞争,在这场“三国杀”中Kubernetes胜出,Docoker和Mesos败下阵来。再后来,拥有先发优势的Mesos每况愈下,Mesos社区也遇到问题,Mesosphere经营也越来越困难。2019年,力挺Mesos超过10年的Twitter公司也全面转向 Kubernetes,给Mesos项目带来非常大的打击。

在市场的压力之下,Mesosphere 在 2019将自己更名为 D2IQ,并将目光投向Kubernetes和云原生产品,希望抛开Mesos的束缚,从云原生市场分一杯羹。2020 年 10 月,Mesosphere宣布停止支持 Mesos / Marathon。没有Mesosphere支持的Mesos越发困难,2021年4月差点被移动至 Apache Attic。Apache Attic 是一种机制,移动到Apache Attic预示项目趋于终止。虽然它最终还是避免了被移动到Apache Attic,但项目终止的危机其实还有。

Mesosphere向Kubernetes的转型并没有彻底拯救它,D2iQ在2020 年4月开始裁员,解雇了34名员工,约占其员工总数的 13%。看来裁员没有改变最终命运,最近被媒体报出已经倒闭,Nutanix 收购了 D2iQ 的一些资产,并聘用了 D2iQ 的一些前员工。

失败结局是注定的

毫无疑问,当初Mesos能够被Twitter、苹果公司等众多大公司看上是有其独特优势的。Mesos是一个分布式系统核心,它将CPU、内存、存储介质以及其它计算机资源从物理机或者虚拟机中抽象出来,把它们整合为一个大的资源池,Mesos把这个资源池(数据中心)当作一台计算机来管理,来构建支持容错和弹性的分布式系统,并提供高效的运行能力。

Mesos采用两级调度机制,内核运行在每台机器上,各种应用程序Framework(如Marathon)提供跨整个数据中心和云环境进行资源管理和调度的API,灵活而且高效。Mesos的成熟稳定尤为值得一提,在Kubernetes、Swarm才刚出道,Mesos就已经有了管理数万节点的多个成功案例。

那么,拥有明显先发优势的Mesos为何没能笑到最后,Mesos和其背后的Mesosphere为何会沦落到今天?最根本的原因在于Mesos技术局限性。Mesos是针对当时的计算环境面向当时的需求设计的,其架构在进入云原生时代的今天存在先天不足,Mesos的淘汰也就不可避免。正如Mesos 项目的创始人、PMC 成员Benjamin Hindman所说,Mesos今天的结局是注定的,即使没有Kubernets,Mesos也会被其他竞争对手替代。

Benjamin Hindman在 Hackernews 曾有一段总结,将Mesos的失败归为两个原因。一个是技术方面,另一个是生态。

在技术上Mesos架构设计有先天不足,尤其是与Kubernetes相比。比如,Mesos最为骄傲的两级调度模式最早其实是面向Hadoop这样的批量工作负载设计的,它最成功的应用也正是处理Hadoop、Spark等大数据批量工作负载,使用它来管理像容器这样的长期运行服务还需要做出很多调整。与Mesos相比,Kubernetes就先进得多,Mesos后来的很多调整也借鉴了Kubernetes。

“Kubernetes 拥有后发优势,承载着谷歌十多年来在构建此类系统方面积累起的丰富经验与知识。Mesos 源自技术研究,随后虽然得到了 Twitter 的实际应用,但负责项目的工程师们(包括我本人)并不具备构建集群管理系统的经验。”他说。

Benjamin Hindman认为Mesos失败的另一个原因是Mesos社区运营不力,没有充分调动用户的积极性,也没有处理好开源贡献者与项目商业收益的关系,厂商、用户和开源社区相互缺乏信任,社区没有活力。

尽管如此,一个如此受欢迎的开源项目最终落得如今的结局还是非常可惜的。实际上,Mesos不是第一个落魄的,和它关系密切的Hadoop甚至比Mesos还红,如今也沦落了。技术的演进就是如此,长江后浪推前浪,一项技术的窗口期只有短短的几年,错过了就是错了,一旦错过了就成为了历史的过客。