網(wǎng)易數(shù)帆宣布：
開(kāi)源一款名為Curve的高性能分布式存儲(chǔ)系統(tǒng)，
性能可達(dá)Ceph的1.84倍！
網(wǎng)易副總裁、網(wǎng)易杭州研究院執(zhí)行院長(zhǎng)兼網(wǎng)易數(shù)帆總經(jīng)理汪源：
基礎(chǔ)軟件的能力對(duì)于數(shù)字化轉(zhuǎn)型非常關(guān)鍵，當(dāng)前存儲(chǔ)領(lǐng)域需要一款性能更高、可用性/可靠性更好、自治能力更強(qiáng)的分布式存儲(chǔ)系統(tǒng)，Curve的開(kāi)源不僅代表網(wǎng)易數(shù)帆在基礎(chǔ)軟件市場(chǎng)的堅(jiān)持，也為軟件定義基礎(chǔ)設(shè)施生態(tài)的繁榮再添一把火。
采用先進(jìn)架構(gòu)設(shè)計(jì)
單卷性能1.84倍于Ceph
Curve的定位，是提供一個(gè)高性能、低延遲的存儲(chǔ)底座，基于這個(gè)存儲(chǔ)底座，企業(yè)可以打造適用于不同應(yīng)用場(chǎng)景的存儲(chǔ)系統(tǒng)，如塊存儲(chǔ)、對(duì)象存儲(chǔ)、云原生數(shù)據(jù)庫(kù)等。目前，網(wǎng)易數(shù)帆已經(jīng)實(shí)現(xiàn)了高性能塊存儲(chǔ)系統(tǒng)。
汪源介紹，Curve主要具有三大設(shè)計(jì)特點(diǎn)：高性能、高可用和自治。
高性能源自先進(jìn)架構(gòu)。Curve參考了業(yè)界的存儲(chǔ)系統(tǒng)，采用先進(jìn)、高效的開(kāi)源技術(shù)，設(shè)計(jì)了一個(gè)新架構(gòu)實(shí)現(xiàn)高性能低延遲的核心能力，采用高性能的RPC框架來(lái)保障網(wǎng)絡(luò)數(shù)據(jù)流的高性能和低延遲，基于Raft協(xié)議實(shí)現(xiàn)多副本一致性下的低延遲，并針對(duì)Raft協(xié)議的快照實(shí)現(xiàn)進(jìn)一步優(yōu)化。磁盤(pán)IO方面，Curve通過(guò)更細(xì)粒度的地址空間的hash減少IO碰撞，增加IO并發(fā)度，并采用chunkfilepool減小IO放大倍數(shù)，從而最大限度地發(fā)揮硬件的性能。
汪源公布了Curve和CephL版本的測(cè)試數(shù)據(jù)對(duì)比，在單卷的場(chǎng)景下，核心的4K隨機(jī)讀/寫(xiě)的IOPS性能，Curve分別是Ceph的1.84倍和1.58倍，同時(shí)延遲相比Ceph分別降低48.39%和37.50%。
他在采訪中透露，Curve還有一些創(chuàng)新的性能優(yōu)化工作尚未完成，如細(xì)粒度哈希、io_uring落盤(pán)方案，預(yù)計(jì)完成優(yōu)化之后下個(gè)版本還會(huì)有30%的性能提升。換句話說(shuō)，Curve單卷性能將會(huì)達(dá)到Ceph的2倍以上。性能差異來(lái)自架構(gòu)設(shè)計(jì)的不同選擇，分布式一致性Curve采用了Quorum機(jī)制，而Ceph實(shí)現(xiàn)強(qiáng)一致性，前者延遲優(yōu)于后者，而且可以在不太影響IO性能的情況下能從故障中快速恢復(fù)。
Curve與Ceph性能測(cè)試對(duì)比
高可用方面，Curve被設(shè)計(jì)為核心組件都能容忍部分實(shí)例失敗而不影響整個(gè)集群的可用性。汪源介紹，無(wú)論是單臺(tái)存儲(chǔ)故障，還是系統(tǒng)擴(kuò)容，Curve的客戶端IO都不會(huì)受到絲毫的影響，插拔硬盤(pán)、服務(wù)進(jìn)程中斷這些常見(jiàn)異常，IO抖動(dòng)也很小。當(dāng)然，故障恢復(fù)過(guò)程對(duì)上層IO也不會(huì)造成明顯影響。
此外，在自治方面，Curve實(shí)現(xiàn)了一鍵部署、一鍵升級(jí)，運(yùn)維只要很少的人工干預(yù)，并基于Promethues和Grafana等開(kāi)源技術(shù)打造了全面的度量標(biāo)準(zhǔn)和告警體系。
回饋開(kāi)源
強(qiáng)化軟件定義基礎(chǔ)設(shè)施短板
基于Curve的高性能塊存儲(chǔ)系統(tǒng)已經(jīng)作為應(yīng)用在網(wǎng)易的一些核心業(yè)務(wù)中，支持快照克隆和恢復(fù)， 支持QEMU虛擬機(jī)和物理機(jī)NBD設(shè)備兩種掛載方式。
系統(tǒng)上線至今400多天，從未出現(xiàn)數(shù)據(jù)不一致和丟數(shù)據(jù)的情況，沒(méi)有發(fā)生過(guò)重大故障，數(shù)據(jù)可靠性達(dá)到100%，服務(wù)可用率達(dá)到4個(gè)9以上。線上環(huán)境的異常演練，也證實(shí)了異常對(duì)業(yè)務(wù)的影響如上文所述。但對(duì)于網(wǎng)易數(shù)帆來(lái)說(shuō)，這個(gè)成績(jī)只是Curve征途的開(kāi)始。
鑒于目前開(kāi)源領(lǐng)域還沒(méi)有足夠高性能和低延遲的分布式存儲(chǔ)系統(tǒng)，汪源宣布，把網(wǎng)易數(shù)帆Curve開(kāi)源出來(lái)，回饋社區(qū)，讓業(yè)界一起來(lái)使用它，也希望大家一起參與把Curve打造得越來(lái)越好。
Curve項(xiàng)目的最新穩(wěn)定版本已經(jīng)上傳到Github，并提供了部署文檔。作為生長(zhǎng)于中國(guó)本土的項(xiàng)目，Curve首先提供中文文檔，希望降低中文用戶嘗鮮的門(mén)檻。對(duì)Curve感興趣的朋友，可以通過(guò)opencurve.github.io獲取更多信息啦
