據(jù)報(bào)道，近日，由于中國(guó)聯(lián)通整治違規(guī)互聯(lián)網(wǎng)接入及大帶寬業(yè)務(wù)，某CDN/IDC服務(wù)商業(yè)務(wù)中斷，華為云故障一整天，導(dǎo)致生意幫一整天當(dāng)機(jī)，脈脈服務(wù)器掛了，失聯(lián)15個(gè)小時(shí)……

　　接著整個(gè)經(jīng)歷就非常崩潰了：用戶不間斷的咨詢投訴，很多用戶幾百萬(wàn)的生意，重要的戰(zhàn)略合作受影響，重要數(shù)據(jù)和資料的無(wú)法調(diào)用，CDN直播叫停……都因?yàn)榫W(wǎng)絡(luò)故障而停擺，影響甚大。

　　意外在所難免。用戶和客戶是無(wú)辜的。如何保障自己的技術(shù)和服務(wù)的高可用性，做到即使在出現(xiàn)0.0001%的故障發(fā)生率的情況下，仍然可以給用戶和客戶提供高可用性，保證災(zāi)難情況下網(wǎng)絡(luò)服務(wù)的及時(shí)恢復(fù)，是云技術(shù)服務(wù)商、提供商必須面對(duì)，又亟待解決的重要問(wèn)題。

　　什么是高可用性？

　　要了解高可用性對(duì)于服務(wù)提供商的必要性和重要性，首先我們要了解什么是高可用性。一般來(lái)講，一個(gè)靠譜的云服務(wù)一定是：

　　可用性非常高的，24*7隨時(shí)可以用。

　　可控性一定要好，非云服務(wù)你可以上個(gè)鎖，云服務(wù)沒(méi)法上鎖，如何能做到可控性很好是一個(gè)難點(diǎn)。

　　災(zāi)難恢復(fù)，是軟件就會(huì)有問(wèn)題。怎么樣積極地面對(duì)這個(gè)問(wèn)題，多長(zhǎng)時(shí)間恢復(fù)，如何恢復(fù)，是否有成熟的預(yù)案這是任何一個(gè)云廠商都要誠(chéng)實(shí)面對(duì)的問(wèn)題。

　　首先，我們來(lái)看一下可用性的評(píng)判標(biāo)準(zhǔn)，就是SLA，Service Level Agreement。一個(gè)東西是不是高可用，那么就問(wèn)他幾個(gè)九，敢不敢拿出來(lái)說(shuō)一下。

　　3個(gè)9基本上是國(guó)內(nèi)云服務(wù)的基礎(chǔ)線。也就是說(shuō)云服務(wù)至少要做到3個(gè)9才稱為基本上可用，是合格性產(chǎn)品。如果做不到這個(gè)，你的產(chǎn)品就連忽悠客戶都做不到了。回去重新開(kāi)發(fā)，重新裝備，刷到至少3個(gè)9再回來(lái)。

　　從3個(gè)9邁向4個(gè)9，也就是99.99%的可用性，每年只有52.6分鐘的時(shí)間是不可用的。以前谷歌搜索可用度大概是全球5個(gè)9到6個(gè)9之間，每一個(gè)小節(jié)點(diǎn)都是5個(gè)9不到6個(gè)9之間。其實(shí)這個(gè)是很可怕的一個(gè)概念，也就意味著即使有不可抗力，發(fā)生了臺(tái)風(fēng)，洪水，地震等重大災(zāi)害性事件，也只需要5分鐘內(nèi)恢復(fù)服務(wù)。

　　相較而言，大部分國(guó)內(nèi)的IDC機(jī)房都是按照99%設(shè)計(jì)的，一年至少3天是不可用的。這一標(biāo)準(zhǔn)，給了廠商一定的機(jī)動(dòng)時(shí)間，也提供了一定的靈活性。

　　所以說(shuō)，從3個(gè)9往上，每一次提升都是一次技術(shù)的挑戰(zhàn)。SLA直接反映一個(gè)云服務(wù)的靠譜程度：

　　從99%到3個(gè)9，是基本可以靠人力和運(yùn)氣解決的；

　　從3個(gè)9到4個(gè)9，考驗(yàn)的是運(yùn)維自動(dòng)化的能力，災(zāi)備的能力；

　　從4個(gè)9往上基本考驗(yàn)的是服務(wù)基礎(chǔ)架構(gòu)、業(yè)務(wù)設(shè)計(jì)的能力。

　　聲網(wǎng)Agora.io一直在4個(gè)9到5個(gè)9之間努力，這個(gè)目前還是很有難度的。為了保證高可用性，聲網(wǎng)Agora.io特意將核心機(jī)房分布在全球各地，以減少地區(qū)性的網(wǎng)絡(luò)故障對(duì)于通信的影響，同時(shí)，核心機(jī)房用了十幾家不同的IDC，即使某家的網(wǎng)絡(luò)故障了，也能最大限度上保障服務(wù)的穩(wěn)定性。

　　聲網(wǎng)在全球部署了覆蓋四個(gè)大洲的虛擬實(shí)時(shí)通信網(wǎng)，100多個(gè)數(shù)據(jù)中心，近千臺(tái)服務(wù)器，每年為用戶提供數(shù)千億分鐘的網(wǎng)絡(luò)通話服務(wù)，這一系列的舉動(dòng)都是為了充分確保接入SDK的客戶隨時(shí)隨地獲得高質(zhì)量的通話服務(wù)。

　　我們認(rèn)為，要提升高可用性，需要從方方面面整體布局。

　　從架構(gòu)上，聲網(wǎng)的所有服務(wù)都有多點(diǎn)備份，并且所有備份節(jié)點(diǎn)都能夠獨(dú)立服務(wù)，不依賴其他節(jié)點(diǎn)。任何機(jī)房故障，甚至幾個(gè)機(jī)房同時(shí)故障都不會(huì)影響到整體服務(wù)，除非所有節(jié)點(diǎn)同時(shí)發(fā)生故障。

　　聲網(wǎng)的SDK也能夠快速切換，一旦檢測(cè)到某個(gè)服務(wù)節(jié)點(diǎn)不可用，可以快速切換到其他備份節(jié)點(diǎn)。

　　當(dāng)然，武功再高，也怕菜刀。為了防范一些萬(wàn)一的故障導(dǎo)致服務(wù)不可用，聲網(wǎng)還有一系列措施應(yīng)對(duì)故障。

　　首先聲網(wǎng)部署了實(shí)時(shí)故障檢測(cè)系統(tǒng)。在服務(wù)用戶的同時(shí)，該系統(tǒng)收集整個(gè)系統(tǒng)服務(wù)狀態(tài)，并實(shí)時(shí)分析。如果遇到服務(wù)數(shù)據(jù)異常立即報(bào)警。

　　接下來(lái)，聲網(wǎng)的數(shù)據(jù)分析系統(tǒng)可以對(duì)服務(wù)數(shù)據(jù)進(jìn)行多個(gè)維度和層面的分析匯總。在故障發(fā)生時(shí)，可以快速判斷是哪個(gè)模塊或者機(jī)房出現(xiàn)問(wèn)題。有了這個(gè)系統(tǒng)，聲網(wǎng)就可以快速定位故障。比如常見(jiàn)的數(shù)據(jù)庫(kù)故障，進(jìn)程崩潰，遇到性能瓶頸，還有此次事件的主角——機(jī)房故障。

　　在定位了問(wèn)題之后，聲網(wǎng)還有一套工具能夠?qū)崟r(shí)調(diào)整線上系統(tǒng)，進(jìn)行故障隔離。比如遇到某些數(shù)據(jù)庫(kù)瓶頸時(shí)，能夠暫時(shí)關(guān)閉某些數(shù)據(jù)庫(kù)的寫(xiě)服務(wù)，不影響讀數(shù)據(jù)。能夠暫停某個(gè)機(jī)房的服務(wù)，避免用戶受到影響�；蛘吣承┖笈_(tái)服務(wù)故障，暫時(shí)禁用，不讓用戶的音視頻通信受到影響。

　　在進(jìn)行故障隔離后，或者遇到難以隔離的故障，就需要快速恢復(fù)了。對(duì)于常見(jiàn)的進(jìn)程崩潰，聲網(wǎng)有自動(dòng)化的包管理工具可以一鍵重啟，回滾到前一個(gè)穩(wěn)定版本。對(duì)于數(shù)據(jù)庫(kù)故障，有數(shù)據(jù)庫(kù)工具可以快速重建數(shù)據(jù)庫(kù)，并恢復(fù)數(shù)據(jù)。即使遇到這次事件中的機(jī)房故障，除了架構(gòu)設(shè)計(jì)能夠保證服務(wù)基本不受影響外，也有機(jī)房上架工具能夠快速上架，并使用部署工具重新部署一個(gè)新的機(jī)房。一般而言，聲網(wǎng)上架一個(gè)新機(jī)房?jī)H需幾十分鐘。

　　故障隔離處理后，聲網(wǎng)會(huì)盡快對(duì)故障的根本原因做一個(gè)徹底的調(diào)查。首先從系統(tǒng)中收集各種數(shù)據(jù)和日志，進(jìn)行分析，并嘗試建立測(cè)試環(huán)境以確認(rèn)故障的根本原因。

　　最后，需要進(jìn)行服務(wù)改進(jìn)。改進(jìn)主要從幾個(gè)方面著手：第一，修復(fù)問(wèn)題。直接修復(fù)bug，改進(jìn)算法性能等。第二，架構(gòu)改進(jìn)。下一次這個(gè)模塊再出問(wèn)題，怎么樣設(shè)計(jì)系統(tǒng)才能夠讓服務(wù)不受影響？如何設(shè)計(jì)多點(diǎn)備份？第三，工具改進(jìn)。下次再出現(xiàn)這些問(wèn)題，需要哪些工具可以幫助更快速的定位，對(duì)故障進(jìn)行隔離，更快速的恢復(fù)故障？

　　面對(duì)市場(chǎng)上魚(yú)龍混雜的云服務(wù)提供商，開(kāi)發(fā)者應(yīng)該如何正確地甄別和選擇高可用度的服務(wù)呢？三個(gè)層面：

　　觀察該服務(wù)商的架構(gòu)是否符合高可用度，SLA一定要達(dá)到4個(gè)9；

　　是否具備完整的、實(shí)時(shí)的災(zāi)難預(yù)案。從問(wèn)題發(fā)生的預(yù)警，到問(wèn)題定位分析，到問(wèn)題解決和服務(wù)恢復(fù)，是否能在最快的時(shí)間內(nèi)完成，將用戶的損失降到最低，

　　是否把服務(wù)可用性當(dāng)成生命線的信仰。