“云計(jì)算中心科技獎”由國家科學(xué)技術(shù)獎勵工作辦公室審核并備案(獎勵編號:0319),是社會科技獎勵目錄中在云計(jì)算中心科技領(lǐng)域給予的唯一獎勵,旨在獎勵在云計(jì)算中心軟件、云安全/云原生安全中,針對節(jié)能減排技術(shù)研發(fā)、理論研究、落地實(shí)踐、成本優(yōu)化等方面取得顯著經(jīng)濟(jì)或社會效益的軟件產(chǎn)品和服務(wù)。本次獲獎進(jìn)一步體現(xiàn)了聯(lián)通云對象存儲在安全可靠、節(jié)能減排等方面的突出能力。
聯(lián)通云對象存儲是一款海量、彈性、高可用、低成本的云存儲服務(wù),滿足 EB 級數(shù)據(jù)存儲規(guī)模需求。
01
聯(lián)通云對象存儲有哪些優(yōu)勢?
穩(wěn)定持久
超高性能
采用全分布式架構(gòu),吞吐、IOPS等性能指標(biāo)均可水平橫向擴(kuò)展;小文件在線聚合追加寫入,充分發(fā)揮介質(zhì)性能,小文件寫性能較開源軟件有50%以上的提升。
利用率高
高效靈活的分配算法,空間利用率可達(dá)到95%,成本直降15%以上。
彈性擴(kuò)容
支持橫向擴(kuò)展存儲節(jié)點(diǎn),實(shí)現(xiàn)系統(tǒng)容量和性能的線性擴(kuò)展,可彈性擴(kuò)展至 EB 級容量;支持集群級故障隔離,徹底解決業(yè)務(wù)可用性與數(shù)據(jù)快速重構(gòu)的矛盾。
02
聯(lián)通云對象存儲應(yīng)用場景
視頻監(jiān)控
存儲海量視頻監(jiān)控?cái)?shù)據(jù),如交管局監(jiān)控視頻、物業(yè)監(jiān)控視頻、門店監(jiān)控視頻、家庭監(jiān)控視頻、在線視頻教學(xué)等。對象存儲采用大比例糾刪碼冗余技術(shù),支持高密大容量磁盤,最大幅度地利用磁盤空間,降低存儲成本。
醫(yī)療影像
根據(jù)醫(yī)療行業(yè)合規(guī)性要求,醫(yī)院需長期保存電子病歷,包括圖像、視頻等醫(yī)療影像數(shù)據(jù)。云存儲網(wǎng)關(guān)通過S3協(xié)議對接對象存儲,同時(shí)提供NFS、SMB 等協(xié)議,可無縫對接醫(yī)院 PACS 影像系統(tǒng)。
數(shù)據(jù)備份歸檔
企業(yè)的各類重要數(shù)據(jù)文件、云硬盤備份、數(shù)據(jù)庫備份、日志文件備份等均可備份至對象存儲之上。對象存儲兼容AWS S3標(biāo)準(zhǔn)接口,用戶可以通過兼容S3接口的主流備份軟件、第三方工具等將數(shù)據(jù)同步或備份至云端。
數(shù)據(jù)湖基礎(chǔ)底座
作為云原生數(shù)據(jù)湖的基礎(chǔ)底座,對象存儲具有大容量、高吞吐、低成本、生態(tài)互通等顯著優(yōu)勢。同時(shí),聯(lián)通云并行文件存儲通過高性能硬件、全并行軟件架構(gòu),滿足AI訓(xùn)練、高性能計(jì)算等場景的極致性能需求,為數(shù)據(jù)湖存儲加速。
03
聯(lián)通云對象存儲核心技術(shù)
聯(lián)通云對象存儲采用全分布式架構(gòu),通過分層實(shí)現(xiàn)多層級架構(gòu),存儲網(wǎng)關(guān)層、緩存層、元數(shù)據(jù)層、數(shù)據(jù)層分離,提升各環(huán)節(jié)處理性能,更適合海量數(shù)據(jù)的訪問和彈性平滑擴(kuò)容。
存儲網(wǎng)關(guān)層:對外提供S3服務(wù)接口,與用戶管理與權(quán)限訪問服務(wù)IAM對接,實(shí)現(xiàn)用戶和操作的權(quán)限驗(yàn)證。
統(tǒng)一緩存層:提供S3網(wǎng)關(guān)接口層的元數(shù)據(jù)cache,減少元數(shù)據(jù)存取壓力,提高并發(fā)訪問性能。
元數(shù)據(jù)層:元數(shù)據(jù)節(jié)點(diǎn)包含存儲空間(Bucket)的信息、存儲對象(Object)的元數(shù)據(jù)、切片信息、權(quán)限管理以及各存儲集群的權(quán)值和調(diào)度信息。
BLOB Storage層:采用糾刪碼存儲數(shù)據(jù), 可以靈活配置數(shù)據(jù)冗余比,根據(jù)數(shù)據(jù)中心配置故障域,保證數(shù)據(jù)的高可靠性。
對象存儲支持多可用區(qū)3AZ部署,每個(gè)AZ存儲節(jié)點(diǎn)融合為統(tǒng)一的存儲系統(tǒng),AZ間實(shí)現(xiàn)數(shù)據(jù)自由流動,對外提供無差別的對象存儲服務(wù)。
性能方面,3AZ間通過數(shù)十Gbps高速網(wǎng)絡(luò)互聯(lián),網(wǎng)絡(luò)延遲小于3ms,充分保證用戶的高并發(fā)數(shù)據(jù)訪問需求。
可靠性方面,3AZ架構(gòu)支持三活容災(zāi)機(jī)制,任意一個(gè)數(shù)據(jù)中心整體故障時(shí),OSS仍能保證數(shù)據(jù)正常訪問,故障切換過程中恢復(fù)點(diǎn)目標(biāo)RPO=0,恢復(fù)時(shí)間目標(biāo)RTO小于1分鐘,數(shù)據(jù)可靠性高達(dá)12個(gè)9。
安全性方面,所有存儲服務(wù)均跨3AZ部署,具備故障自動檢測和切換能力,全面保證用戶數(shù)據(jù)安全。
對象存儲在存儲數(shù)據(jù)時(shí),將對象文件進(jìn)行切片,并通過Hash算法保證這些分片均勻離散地映射到3個(gè)AZ的每個(gè)存儲節(jié)點(diǎn)、每塊硬盤上,從而實(shí)現(xiàn)AZ級故障容災(zāi)。
聯(lián)通云對象存儲采用分布式KV鍵值數(shù)據(jù)庫集群,提供滿足ACID約束的分布式事務(wù)接口,并通過Raft協(xié)議保證了多副本數(shù)據(jù)一致性,實(shí)現(xiàn)高可靠、高可用。在規(guī)模方面,單桶支持千億級對象;在性能指標(biāo)方面,單桶支持百萬 QPS,所有 API(包括上傳、下載、遍歷等)都實(shí)現(xiàn)毫秒級延遲;在運(yùn)維方面,數(shù)據(jù)均衡分布,易于集群擴(kuò)縮容。
聯(lián)通云對象存儲采用全分布式架構(gòu),支持大并發(fā)的讀寫訪問,可以根據(jù)用戶的性能需求,進(jìn)行水平橫向擴(kuò)展,提升系統(tǒng)性能。不僅可保障大規(guī)模訪問時(shí)的性能,在系統(tǒng)進(jìn)行Rebalance時(shí)也可以保證高性能的讀寫。
同時(shí),聯(lián)通云對象存儲支持集群級故障隔離,徹底解決業(yè)務(wù)可用性與數(shù)據(jù)快速重構(gòu)的矛盾,當(dāng)某一個(gè)集群因磁盤上下線正在進(jìn)行Rebalance時(shí),系統(tǒng)可以將寫流量靈活調(diào)度到其他集群,減小數(shù)據(jù)寫入的壓力,使Rebalance過程迅速完成。
作為聯(lián)通云的核心云服務(wù),聯(lián)通云對象存儲正在不斷推動云端的創(chuàng)新步伐,為企業(yè)提供更加全面、高效、可靠的云存儲解決方案。憑借著近200個(gè)云池的算網(wǎng)資源覆蓋范圍,聯(lián)通云對象存儲在保障數(shù)據(jù)可用性和連續(xù)性方面具有強(qiáng)大的優(yōu)勢。
未來,聯(lián)通云對象存儲將更加專注于企業(yè)信息化建設(shè)的需求,以高可用、低成本、易運(yùn)維的對象存儲服務(wù)為企業(yè)數(shù)據(jù)存儲提供全面的解決方案,助力千行百業(yè)的數(shù)字化發(fā)展。