美國(guó)西部時(shí)間 5 月 2 日下午 7 點(diǎn)，Twitter 公司在舊金山總部舉行了一次技術(shù)發(fā)布會(huì)兼 Meetup。會(huì)上，Twitter 計(jì)算平臺(tái)（Twitter Computing Platform）產(chǎn)品與技術(shù)負(fù)責(zé)人 David McLaughlin 正式宣布，Twitter 的基礎(chǔ)設(shè)施將從 Mesos 全面轉(zhuǎn)向 Kubernetes。
Mesos 項(xiàng)目發(fā)布于 2009 年，而 Twitter 公司則是 Mesos 項(xiàng)目的早期支持者和使用者之一。作為世界上最成功的社交媒體巨頭之一，Twitter 公司以其龐大的生產(chǎn)集群規(guī)模（萬(wàn)級(jí)別節(jié)點(diǎn)）而備受關(guān)注。2011 年，Twitter 公司開(kāi)始在 Mesos 項(xiàng)目的基礎(chǔ)上開(kāi)發(fā) Aurora 項(xiàng)目以便同時(shí)管理其內(nèi)部的在線和離線業(yè)務(wù)，逐步成為 Mesos 社區(qū)的代言人。
在持續(xù)投入 Mesos 項(xiàng)目近 10 年之后，Twitter公司為什么突然宣布全面轉(zhuǎn)向 Kubernetes 體系？在這個(gè)令人矚目的決定背后，是什么樣的架構(gòu)和設(shè)計(jì)支撐Twitter 基礎(chǔ)設(shè)施360度的“華麗轉(zhuǎn)身”呢？
云時(shí)代，Twitter 基礎(chǔ)設(shè)施面臨新挑戰(zhàn)
Twitter 公司創(chuàng)始于 2006 年。時(shí)至今日，全世界每天都有至少 5 億條推文產(chǎn)生。在過(guò)去十余年飛速成長(zhǎng)和海量數(shù)據(jù)的挑戰(zhàn)下，Twitter 基礎(chǔ)設(shè)施架構(gòu)的演進(jìn)過(guò)程，一直以來(lái)都是全世界技術(shù)公司眼中的標(biāo)桿案例。這其中，像 Mesos 這樣優(yōu)秀的老牌調(diào)度框架、 以及像 Aurora 這樣啟發(fā)自 Google Borg 配置管理的編排引擎，可謂功不可沒(méi)。
事實(shí)上，在互聯(lián)網(wǎng)級(jí)別的技術(shù)場(chǎng)景下，依托頂級(jí)工程師和成熟技術(shù)自建基礎(chǔ)設(shè)施，一直以來(lái)都是一線非云互聯(lián)網(wǎng)廠商的架構(gòu)首選。正是在這個(gè)過(guò)程中，相對(duì)成熟并且工作層次較低的 Mesos 項(xiàng)目收獲到了大量規(guī)模級(jí)生產(chǎn)環(huán)境部署案例。
不過(guò)，隨著云計(jì)算的普及和 Kubernetes 這樣以“云”為核心的容器化基礎(chǔ)設(shè)施項(xiàng)目的迅速崛起，這種傳統(tǒng)互聯(lián)網(wǎng)基礎(chǔ)技術(shù)架構(gòu)選型方法逐步暴露出很多前所未有的問(wèn)題。在本次發(fā)布會(huì)上， David 就以 Twitter 公司當(dāng)前面臨的挑戰(zhàn)為例，對(duì)這些問(wèn)題作出了簡(jiǎn)明扼要的總結(jié)：
1、存儲(chǔ)系統(tǒng)的多樣化與專業(yè)化，使傳統(tǒng)基礎(chǔ)設(shè)施復(fù)雜度急劇上升
相比于傳統(tǒng)技術(shù)架構(gòu)對(duì)存儲(chǔ)系統(tǒng)的單一假設(shè)（比如一套 Ceph 打天下），云時(shí)代的軟件架構(gòu)為用戶存儲(chǔ)選擇帶來(lái)了爆發(fā)性增長(zhǎng)。僅以阿里云為例，它在公有云上能夠?yàn)橛脩籼峁┑母鞣N類型的存儲(chǔ)服務(wù)就多達(dá) 10 余種，其中的細(xì)分方案更是數(shù)不勝數(shù)。隨著互聯(lián)網(wǎng)公司的基礎(chǔ)架構(gòu)和軟件規(guī)模的不斷擴(kuò)張和發(fā)展，互聯(lián)網(wǎng)軟件本身對(duì)存儲(chǔ)的需求也更加細(xì)化和專業(yè)。
比如，在 Twitter，Local Persistent Volume 這種“非典型”存儲(chǔ)訴求，逐漸在平衡性能與成本的過(guò)程中成為一種主流方案。作為 CSI（Container Storage Inerface）的提出者，Kubernetes 社區(qū)不僅擁有最完善的 Local PV 機(jī)制，還能夠憑借標(biāo)準(zhǔn)接口和 PV、PVC 體系，完全為用戶抹平其它數(shù)十種不同存儲(chǔ)服務(wù)的對(duì)接問(wèn)題。這在互聯(lián)網(wǎng)軟件架構(gòu)日趨復(fù)雜和面向多云的發(fā)展趨勢(shì)中，無(wú)疑是至關(guān)重要的。
2、Mesos 和 Aurora 體系與“云原生”始終漸行漸遠(yuǎn)
云時(shí)代一個(gè)重要的技術(shù)發(fā)展趨勢(shì)就是軟件的生命周期會(huì)逐步向“生在云上、長(zhǎng)在云上”的形態(tài)靠攏。這也就意味著作為支撐軟件的核心基礎(chǔ)設(shè)施項(xiàng)目，必然要向“發(fā)揮云的最大價(jià)值”的方向不斷演進(jìn)。
遺憾的是，Mesos 以及 Aurora 項(xiàng)目或許是由于發(fā)布較早，始終沒(méi)能夠?qū)?ldquo;云”變成整個(gè)基礎(chǔ)設(shè)施體系中的“一等公民”。相比之下，Kubernetes 體系從發(fā)布伊始就不斷倡導(dǎo)“聲明式 API”、“容器設(shè)計(jì)模式”、“控制器模型”等各項(xiàng)理念，其實(shí)都是為了幫助用戶能夠在云上以“可擴(kuò)展、可復(fù)制、高度自動(dòng)化”的方式開(kāi)發(fā)、交付和運(yùn)維軟件。如今，這些頂層架構(gòu)設(shè)計(jì)與各種最佳實(shí)踐，被廣大開(kāi)發(fā)者們冠名為“云原生”。這也成為 Kubernetes 項(xiàng)目與其它競(jìng)爭(zhēng)對(duì)手相比最大的不同。
3、傳統(tǒng)的多云、多集群管理成本居高不下，并在可預(yù)見(jiàn)的未來(lái)內(nèi)迅速攀升
在傳統(tǒng)的互聯(lián)網(wǎng)架構(gòu)中，自建數(shù)據(jù)中心和基礎(chǔ)設(shè)施體系是整個(gè)軟件系統(tǒng)的第一假設(shè)。而“云”所扮演的角色，更像是在流量突發(fā)時(shí)應(yīng)付峰值的資源“備胎”。
在這種以“云”為輔助角色的指導(dǎo)思想下，多云和多集群很難成為整個(gè)架構(gòu)的重中之重。這就使得多云和多集群能力，成為底層資源對(duì)接層的職責(zé)，而與更重要的應(yīng)用開(kāi)發(fā)、交付和運(yùn)維體系失去直接關(guān)聯(lián)。這種方案短期內(nèi)固然可以奏效，但長(zhǎng)期的維護(hù)和迭代成本卻很容易因?yàn)樯蠈討?yīng)用本身千變?nèi)f化的形態(tài)與高速迭代而超出把控。
此外，這種設(shè)計(jì)的另一個(gè)極端是讓整體基礎(chǔ)設(shè)施走向“多活”技術(shù)深淵：這實(shí)際上已經(jīng)遠(yuǎn)遠(yuǎn)超出 90% 以上互聯(lián)網(wǎng)公司的技術(shù)能力。在云原生體系普及之后，“每朵云上都有無(wú)數(shù)個(gè) Kubernetes 集群”逐漸成為應(yīng)用基礎(chǔ)設(shè)施能夠依賴的新常態(tài)。
這就為多云和多集群管理提供了一種全新的突破性思路：只要軟件選擇面向 Kubernetes 來(lái)進(jìn)行架構(gòu)、設(shè)計(jì)和實(shí)現(xiàn)，那么“多云、多集群”就自然而然成為應(yīng)用基礎(chǔ)設(shè)施的默認(rèn)能力。在 Twitter 的業(yè)務(wù)越來(lái)越多的需要多云、多集群環(huán)境交付的趨勢(shì)下， Kubernetes 這種從根本上幫助應(yīng)用迅速向多云交付的“捷徑”，成為 Twitter 選擇變更自身技術(shù)體系的另一個(gè)重要原因。
作為不斷在快速發(fā)展和迭代的互聯(lián)網(wǎng)公司，高壓力和快節(jié)奏背景下的企業(yè)往往無(wú)暇顧及基礎(chǔ)設(shè)施架構(gòu)的標(biāo)準(zhǔn)化與兼容性問(wèn)題，這同樣也是 Twitter 公司面臨的主要問(wèn)題之一。所以，在這次轉(zhuǎn)型過(guò)程中，“Kubernetes Native”成為一個(gè)被反復(fù)強(qiáng)調(diào)的關(guān)鍵詞。
大規(guī)模生產(chǎn)環(huán)境的" Kubernetes Native "技術(shù)路徑
作為不斷在快速發(fā)展和迭代的互聯(lián)網(wǎng)公司，高壓力和快節(jié)奏背景下的企業(yè)往往無(wú)暇顧及基礎(chǔ)設(shè)施架構(gòu)的標(biāo)準(zhǔn)化與兼容性問(wèn)題，這同樣也是 Twitter 公司面臨的主要問(wèn)題之一。所以，在這次轉(zhuǎn)型過(guò)程當(dāng)中，“Kubernetes Native”成為一個(gè)被反復(fù)強(qiáng)調(diào)的關(guān)鍵詞。在發(fā)布會(huì)上，Twitter 公司公布了選擇 Kubernetes Native 方向的諸多評(píng)估依據(jù)。
- 良好的開(kāi)源技術(shù)與開(kāi)源生態(tài)；
- 全世界所有的公有云都提供 Kubernetes 服務(wù)，不必?fù)?dān)心廠商鎖定；
- 原生具備有狀態(tài)業(yè)務(wù)（Stateful Application）的管理語(yǔ)義；
- 項(xiàng)目本身快速迭代，具有很強(qiáng)創(chuàng)新能力和先進(jìn)性；
- 具備標(biāo)準(zhǔn)的存儲(chǔ)對(duì)接接口，幫助 Twitter 無(wú)縫遷移各種現(xiàn)有存儲(chǔ)服務(wù)；
最終，Twitter 公司用一句話總結(jié)了這次評(píng)估的結(jié)果：“我們認(rèn)為，使用 Kubernetes 項(xiàng)目作為 Twitter 公司基礎(chǔ)設(shè)施向前演進(jìn)的核心依賴，將會(huì)是一個(gè)正確的選擇”。
而在這條演進(jìn)路徑上，Twitter 也公布了多項(xiàng)具體的技術(shù)舉措，比如：
- 開(kāi)發(fā) Twitter 專屬的有狀態(tài)應(yīng)用管理控制器（TwitterSet）；
- 開(kāi)發(fā)滿足 Twitter 場(chǎng)景的節(jié)點(diǎn)控制器（NodeController）；
- 自定義 Service Discovery 組件以便同 Twitter 自己的流量管理服務(wù)對(duì)接；
- 編寫兼容 Aurora 語(yǔ)義的作業(yè)管理控制器以便將現(xiàn)有的 Aurora 上的業(yè)務(wù)進(jìn)行遷移；
- 開(kāi)發(fā)更豐富的應(yīng)用發(fā)布策略和實(shí)例穩(wěn)定性支持；
- 改造 Aurora 的 DSL 以對(duì)接 Kubernetes，集成現(xiàn)有的 CI/CD 系統(tǒng)。
David 表示：“Twitter 公司基礎(chǔ)設(shè)施的巨大規(guī)模一直不是一個(gè)秘密，但至少在今天，規(guī)模不再是我們的首要擔(dān)心，我們能看到像阿里巴巴這樣的社區(qū)領(lǐng)導(dǎo)者正在將更大規(guī)模的 K8s 集群推向生產(chǎn)環(huán)境”。
David McLaughlin 宣布整個(gè)遷移計(jì)劃將從現(xiàn)在開(kāi)始一直持續(xù)到 2020 年。屆時(shí)，整個(gè) Twitter 的技術(shù)棧都會(huì)運(yùn)行在以 Kubernetes 為基礎(chǔ)的容器化基礎(chǔ)設(shè)施之上，并且呈現(xiàn)“內(nèi)部 K8s 集群 + 公有云 K8s 服務(wù)”的多集群組合形態(tài)。
David 最后對(duì)Twitter的未來(lái)進(jìn)行總結(jié)時(shí)強(qiáng)調(diào)：在 2020 年，Twitter自己的軟件棧會(huì)以“一部分運(yùn)行在自有 K8s 集群，另一部分運(yùn)行在公共云上”的多集群形態(tài)進(jìn)行開(kāi)發(fā)和交付。
顯然，在思考“如何通過(guò)云來(lái)讓自身的基礎(chǔ)設(shè)施能力價(jià)值最大化，然后讓公司專注于更具價(jià)值的核心業(yè)務(wù)”這件事情上，Twitter 已經(jīng)得到一個(gè)相對(duì)清晰而富有遠(yuǎn)見(jiàn)的答案。更重要的是，這個(gè)選擇，很可能會(huì)使公司與得以擁抱 Kubernetes 的 Twitter 工程師們實(shí)現(xiàn)真正意義上的共贏。
世界級(jí)互聯(lián)網(wǎng)公司加持的規(guī)�；圃夹g(shù)
不難看到，Twitter 公司這次走向 Kubernetes Native背后的技術(shù)本質(zhì)，其實(shí)是在最大程度的利用 Kubernetes 項(xiàng)目本身的核心概念與可擴(kuò)展能力取得規(guī)�；ㄖ菩孕枨笈c社區(qū)標(biāo)準(zhǔn)之間的平衡。
這同樣也是阿里巴巴正在社區(qū)倡導(dǎo)的一條關(guān)鍵途徑。從 2018 年開(kāi)始，阿里巴巴聯(lián)合 Google， Facebook，Twitter，LinkedIn，Uber，Netflix，Pinterest 等一大批頂級(jí)互聯(lián)網(wǎng)公司，在美國(guó)硅谷開(kāi)展起了月度 Web-Scale Meetup，以分享自身實(shí)際落地實(shí)踐的方式，為更多互聯(lián)網(wǎng)場(chǎng)景中的社區(qū)“觀望者”樹立信心。
本次發(fā)布會(huì)上，Twitter 公司也邀請(qǐng)了來(lái)自阿里云容器平臺(tái)團(tuán)隊(duì)的工程師李響、張磊、何劍等作為專題演講嘉賓。同時(shí)應(yīng)邀出席發(fā)布會(huì)的嘉賓還有 Google 公司 Kubernetes 團(tuán)隊(duì)工程技術(shù)經(jīng)理 Jago Macleod 。
阿里云容器平臺(tái)團(tuán)隊(duì)即將開(kāi)源 Kubernetes 高級(jí)作業(yè)管理集合
發(fā)布會(huì)上，阿里云容器平臺(tái)團(tuán)隊(duì)透露下個(gè)月即將開(kāi)源內(nèi)部錘煉已久的 Kubernetes 高級(jí)作業(yè)管理集合（Kubernetes Workloads Advanced。Kubernetes 高級(jí)作業(yè)管理集合會(huì)充分利用 Kubernetes 的“聲明式 API” 和“控制器模型”，為用戶提供互聯(lián)網(wǎng)場(chǎng)景下“賴以生存”的容器化應(yīng)用“原地升級(jí)”能力，以及更加精細(xì)化的業(yè)務(wù)發(fā)布策略。Twitter、Pinterest 以及 Netflix 等世界級(jí)團(tuán)隊(duì)，都會(huì)加入到這個(gè)創(chuàng)新性的“云原生作業(yè)管理”項(xiàng)目的合作當(dāng)中。
除此之外，Kubernetes 本身在規(guī)�；c性能提升上的不斷演進(jìn)，也是能夠讓 Twitter 公司最終從“觀望者”變成“實(shí)踐者”的另一個(gè)技術(shù)因素。對(duì)此，Google Kubernetes 項(xiàng)目工程技術(shù)經(jīng)理 Jago Macleod 在演講中專門介紹了 Google 公司與阿里巴巴在這個(gè)領(lǐng)域上正在進(jìn)行的攻關(guān)與合作。
在最近一次嘗試中，雙方工程師正在一起為 K8s 里海量的 WATCH 操作添加“書簽（Bookmark）”，這將使得這些 WATCH 操作的建立者在重啟之后只需要對(duì)“書簽”之外的少數(shù)歷史變化進(jìn)行追溯。在特定情況下，K8s APIServer 的性能會(huì)被提高 40 倍以上。
Kubernetes，以應(yīng)用為中心的“高速公路”
除了技術(shù)和架構(gòu)演進(jìn)上的考量之外，這次Twitter 公司向 Kubernetes 的“華麗轉(zhuǎn)身”，還有一個(gè)至關(guān)重要的非技術(shù)因素。
Twitter 公司的快速成長(zhǎng)，催生出了其標(biāo)桿式的基礎(chǔ)軟件團(tuán)隊(duì)，但也反映出一個(gè)不得不引起重視的問(wèn)題：隨著互聯(lián)網(wǎng)業(yè)務(wù)的快速發(fā)展，公司的基礎(chǔ)軟件團(tuán)隊(duì)很快就開(kāi)始超過(guò)應(yīng)有的規(guī)模邊界，而相應(yīng)的投入產(chǎn)出比卻停滯不前。
所以，正如 David 在一開(kāi)始提到的那樣，過(guò)去互聯(lián)網(wǎng)企業(yè)中“自研（In-house）”為主的基礎(chǔ)軟件開(kāi)發(fā)和架構(gòu)思路，正在伴隨著云計(jì)算和云原生理念的普及發(fā)生微妙變化。憑借像 Kubernetes 這樣的平臺(tái)級(jí)項(xiàng)目標(biāo)準(zhǔn)，互聯(lián)網(wǎng)公司已經(jīng)能夠以較小的代價(jià)將自身的基礎(chǔ)設(shè)施向云遷移。
更重要的是，由于 Kubernetes 這個(gè)標(biāo)準(zhǔn)層的存在，這種“遷移”本身并不會(huì)像 Netflix 與 AWS 那樣形成根深蒂固的廠商鎖定關(guān)系，反而會(huì)在保留大部分“自研”好處的同時(shí)徹底發(fā)揮出“云”本身的價(jià)值和多集群管理能力。這種變革帶來(lái)的優(yōu)勢(shì)，會(huì)在一個(gè)互聯(lián)網(wǎng)公司里的 “AWS 工程師”都變成“K8s 工程師”之后變得尤為凸顯。
不難看到，Kubernetes 項(xiàng)目正在以應(yīng)用為中心，連通“云”、“應(yīng)用開(kāi)發(fā)者”與“基礎(chǔ)軟件團(tuán)隊(duì)”。這種“高速公路”般的溝通、連接與交付能力，也正是像 Twitter 這樣快速迭代的互聯(lián)網(wǎng)公司思考自己基礎(chǔ)設(shè)施架構(gòu)未來(lái)演進(jìn)方向的重要參考。而這種轉(zhuǎn)變，也使得 Twitter 這樣一個(gè)業(yè)務(wù)迅速增長(zhǎng)的商業(yè)組織始終維持一個(gè)數(shù)十人的基礎(chǔ)軟件團(tuán)隊(duì)成為現(xiàn)實(shí)。
寫在最后
從最早 Mesos “代言人”到如今的全面轉(zhuǎn)向 “Kubernetes Native”，Twitter 的舉動(dòng)再一次佐證了“Kuberentes 已經(jīng)成為容器編排事實(shí)標(biāo)準(zhǔn)”這一斷言。更為重要的是，Twitter 這次全面擁抱云原生，也有望能夠?yàn)闃I(yè)界大規(guī)模生產(chǎn)級(jí)云原生技術(shù)落地提供經(jīng)典學(xué)習(xí)范本。
阿里巴巴從去年開(kāi)始在云原生生態(tài)中投入了大量技術(shù)力量，正在逐步成為Facebook、Twitter、LinkedIn、Uber、Netflix、Pinterest 等眾多世界級(jí)互聯(lián)網(wǎng)公司眼中規(guī)模化云原生技術(shù)落地的一位重要引領(lǐng)者。
伴隨著云計(jì)算的進(jìn)一步普及，傳統(tǒng)互聯(lián)網(wǎng)基礎(chǔ)技術(shù)架構(gòu)暴露出很多前所未有的問(wèn)題，以及像 Kubernetes 這樣以“云”為核心的容器化基礎(chǔ)設(shè)施項(xiàng)目的迅速崛起，都在促使越來(lái)越多的世界級(jí)企業(yè)開(kāi)始思考如何借助“云”以及云原生技術(shù)來(lái)?yè)肀ч_(kāi)源生態(tài)和開(kāi)放的技術(shù)標(biāo)準(zhǔn)，準(zhǔn)備迎接一個(gè)具備強(qiáng)勁的迭代能力的、面向“云”的數(shù)字未來(lái)。新聞來(lái)源阿里巴巴云原生公眾號(hào)
