數(shù)據(jù)中心虛擬化成為了趨勢(shì)，通過服務(wù)器虛擬化提高資源利用率，同時(shí)降低單位能耗。但是，隨著數(shù)據(jù)中心虛擬化程度的不斷提高、虛擬化服務(wù)器規(guī)模的不斷擴(kuò)大，帶來了巨大的管理壓力。這就孕育了云計(jì)算誕生的條件。在大規(guī)模虛擬化的基礎(chǔ)上，實(shí)現(xiàn)了自動(dòng)化管理和集中化管理，就是云計(jì)算的基本模型。這一點(diǎn)在互聯(lián)網(wǎng)行業(yè)尤其重要。

　　一、 互聯(lián)網(wǎng)云計(jì)算對(duì)網(wǎng)絡(luò)的需求

　　互聯(lián)網(wǎng)行業(yè)數(shù)據(jù)中心的基本特征就是服務(wù)器的規(guī)模偏大。進(jìn)入云計(jì)算時(shí)代后，其業(yè)務(wù)特征變得更加復(fù)雜，包括：虛擬化支持、多業(yè)務(wù)承載、資源靈活調(diào)度等（如圖1所示）。與此同時(shí)，互聯(lián)網(wǎng)云計(jì)算的規(guī)模不但沒有縮減，反而更加龐大。這就給云計(jì)算的網(wǎng)絡(luò)帶來了巨大的壓力。

　　圖1. 互聯(lián)網(wǎng)云計(jì)算的業(yè)務(wù)特點(diǎn)

　　大容量的MAC表項(xiàng)和ARP表項(xiàng)

　　虛擬化會(huì)導(dǎo)致更大的MAC表項(xiàng)。假設(shè)一個(gè)互聯(lián)網(wǎng)云計(jì)算中心的服務(wù)器有5000臺(tái)，按照1:20的比例進(jìn)行虛擬化，則有10萬個(gè)虛擬機(jī)。通常每個(gè)虛擬機(jī)會(huì)配置兩個(gè)業(yè)務(wù)網(wǎng)口，這樣這個(gè)云計(jì)算中心就有20萬個(gè)虛擬網(wǎng)口，對(duì)應(yīng)的就是需要20萬個(gè)MAC地址和IP地址。云計(jì)算要求資源靈活調(diào)度，業(yè)務(wù)資源任意遷移。也就是說任意一個(gè)虛擬機(jī)可以在整個(gè)云計(jì)算網(wǎng)絡(luò)中任意遷移。這就要求全網(wǎng)在一個(gè)統(tǒng)一的二層網(wǎng)絡(luò)中。全網(wǎng)任意交換機(jī)都有可能學(xué)習(xí)到全網(wǎng)所有的MAC表項(xiàng)。與此對(duì)應(yīng)的則是，目前業(yè)界主流的接入交換機(jī)的MAC表項(xiàng)只有32K，基本無法滿足互聯(lián)網(wǎng)云計(jì)算的需求。另外，網(wǎng)關(guān)需要記錄全網(wǎng)所有主機(jī)、所有網(wǎng)口的ARP信息。這就需要網(wǎng)關(guān)設(shè)備的有效ARP表項(xiàng)超過20萬。大部分的網(wǎng)關(guān)設(shè)備芯片都不具備這種能力。

　　4K VLAN Trunk問題

　　傳統(tǒng)的大二層網(wǎng)絡(luò)支持任意VLAN的虛擬機(jī)遷移到網(wǎng)絡(luò)的任意位置，一般有兩種方式。方式一：虛擬機(jī)遷移后，通過自動(dòng)化網(wǎng)絡(luò)管理平臺(tái)動(dòng)態(tài)的在虛擬機(jī)對(duì)應(yīng)的所有端口上下發(fā)VLAN配置；同時(shí)，還需要?jiǎng)討B(tài)刪除遷移前虛擬機(jī)對(duì)應(yīng)所有端口上的VLAN配置。這種方式的缺點(diǎn)是實(shí)現(xiàn)非常復(fù)雜，同時(shí)自動(dòng)化管理平臺(tái)對(duì)多廠商設(shè)備還面臨兼容性的問題，所以很難實(shí)現(xiàn)。方式二：在云計(jì)算網(wǎng)絡(luò)上靜態(tài)配置VLAN，在所有端口上配置VLAN trunk all。這種方式的優(yōu)點(diǎn)是非常簡(jiǎn)單，是目前主流的應(yīng)用方式。但這也帶來了巨大的問題：任一VLAN內(nèi)如果出現(xiàn)廣播風(fēng)暴，則全網(wǎng)所有VLAN內(nèi)的虛擬機(jī)都會(huì)受到風(fēng)暴影響，出現(xiàn)業(yè)務(wù)中斷。

　　4K VLAN上限問題

　　云計(jì)算網(wǎng)絡(luò)中有可能出現(xiàn)多租戶需求。如果租戶及業(yè)務(wù)的數(shù)量規(guī)模超出VLAN的上限（4K），則無法支撐客戶的需求。

　　虛擬機(jī)遷移網(wǎng)絡(luò)依賴問題

　　VM遷移需要在同一個(gè)二層域內(nèi)，基于IP子網(wǎng)的區(qū)域劃分限制了二層網(wǎng)絡(luò)連通性的規(guī)模。

　　二、互聯(lián)網(wǎng)云計(jì)算網(wǎng)絡(luò)為什么選擇Overlay

　　針對(duì)互聯(lián)網(wǎng)云計(jì)算對(duì)網(wǎng)絡(luò)提出的這些挑戰(zhàn)，H3C選擇了基于VXLAN技術(shù)的Overlay網(wǎng)絡(luò)架構(gòu)來構(gòu)建自己的云計(jì)算網(wǎng)絡(luò)解決方案。

　　1. Overlay如何應(yīng)對(duì)云計(jì)算網(wǎng)絡(luò)的挑戰(zhàn)

　　首先，Overlay的核心是重新構(gòu)建一個(gè)邏輯網(wǎng)絡(luò)平面，其技術(shù)手段的關(guān)鍵是采用隧道技術(shù)實(shí)現(xiàn)L2oIP的封裝。通過隧道實(shí)現(xiàn)各虛擬機(jī)之間的二層直連。這樣網(wǎng)絡(luò)只看見Overlay邊緣節(jié)點(diǎn)的MAC地址，物理網(wǎng)絡(luò)學(xué)習(xí)到的MAC表項(xiàng)非常有限，現(xiàn)有接入交換機(jī)32K的MAC表項(xiàng)足以滿足需求（如圖2所示）。對(duì)應(yīng)的Overlay邊緣節(jié)點(diǎn)實(shí)現(xiàn)基于會(huì)話的地址學(xué)習(xí)機(jī)制，也就是說只學(xué)習(xí)有交互流量的虛擬機(jī)MAC地址。這樣也嚴(yán)格限制了邊緣節(jié)點(diǎn)的地址表項(xiàng)。

　　圖2. Overlay網(wǎng)絡(luò)如何應(yīng)對(duì)云計(jì)算網(wǎng)絡(luò)的挑戰(zhàn)

　　其次，Overlay網(wǎng)絡(luò)僅僅是一個(gè)邏輯上的二層直連網(wǎng)絡(luò)。其依賴的物理網(wǎng)絡(luò)，是一個(gè)傳統(tǒng)的路由網(wǎng)絡(luò)。這個(gè)路由網(wǎng)絡(luò)是一個(gè)三層到邊緣的網(wǎng)絡(luò)。也就是說二層廣播域被縮小到極致。這樣，網(wǎng)絡(luò)風(fēng)暴潛在的風(fēng)險(xiǎn)大幅度降低。同時(shí)，對(duì)于一些需要依賴二層廣播的協(xié)議報(bào)文，例如：ARP報(bào)文，Overlay網(wǎng)絡(luò)通過ARP代理等方式實(shí)現(xiàn)協(xié)議的內(nèi)容透?jìng)鳎�不�?huì)影響協(xié)議報(bào)文的正常運(yùn)作。

　　再次，針對(duì)4K VLAN上限問題，Overlay網(wǎng)絡(luò)通過L2oIP的封裝字段，提供24bits長(zhǎng)度的隔離ID，最大可以支持16M租戶或業(yè)務(wù)。

　　最后，針對(duì)網(wǎng)絡(luò)虛擬化問題。Overlay網(wǎng)絡(luò)本身就是一個(gè)從物理網(wǎng)絡(luò)中抽離的邏輯網(wǎng)絡(luò)，通過名址分離使得內(nèi)層IP地址完全作為一個(gè)尋址標(biāo)簽，不再具備路由功能，可以實(shí)現(xiàn)不同subnet之間二層互通，保證二層網(wǎng)絡(luò)的連通性不受IP地址段的限制。

　　2. H3C為什么選擇VXLAN

　　從Overlay網(wǎng)絡(luò)出現(xiàn)開始，業(yè)界陸續(xù)定義了多種實(shí)現(xiàn)Overlay網(wǎng)絡(luò)的技術(shù)，主流技術(shù)包括：VXLAN、NVGRE、STT、Dove等（如圖3所示）。

　　圖3 Overlay主流技術(shù)概覽

　　從標(biāo)準(zhǔn)化程度進(jìn)行分析，DOVE和STT到目前為止，標(biāo)準(zhǔn)化進(jìn)展緩慢，基本上可以看作是IBM和VMware的私有協(xié)議。因此，從H3C的角度來看無法選擇這兩種技術(shù)。

　　從技術(shù)的實(shí)用性來看，XLAN和NVGRE兩種技術(shù)基本相當(dāng)。其主要的差別在于鏈路Hash能力。由于NVGRE采用了GRE的封裝報(bào)頭，需要在標(biāo)準(zhǔn)GRE報(bào)頭中修改部分字節(jié)來進(jìn)行Hash實(shí)現(xiàn)鏈路負(fù)載分擔(dān)。這就需要對(duì)物理網(wǎng)絡(luò)上的設(shè)備進(jìn)行升級(jí)改造，以支持基于GRE的負(fù)載分擔(dān)。這種改造大部分客戶很難接受。相對(duì)而言，VXLAN技術(shù)是基于UDP報(bào)頭的封裝，傳統(tǒng)網(wǎng)絡(luò)設(shè)備可以根據(jù)UDP的源端口號(hào)進(jìn)行Hash實(shí)現(xiàn)鏈路負(fù)載分擔(dān)。這樣VXLAN網(wǎng)絡(luò)的部署就對(duì)物理網(wǎng)絡(luò)沒有特殊要求。這是最符合客戶要求的部署方案，所以VXLAN技術(shù)是目前業(yè)界主流的實(shí)現(xiàn)方式。

　　3. VXLAN為什么選擇SDN

　　VXLAN的標(biāo)準(zhǔn)協(xié)議目前只定義了轉(zhuǎn)發(fā)平面流程，對(duì)于控制平面目前還沒有協(xié)議規(guī)范，所以目前業(yè)界有三種定義VXLAN控制平面的方式。

　　方式1：組播。由物理網(wǎng)絡(luò)的組播協(xié)議形成組播表項(xiàng)，通過手工將不同的VXLAN與組播組一一綁定。VXLAN的報(bào)文通過綁定的組播組在組播對(duì)應(yīng)的范圍內(nèi)進(jìn)行泛洪。簡(jiǎn)單來說，和VLAN方式的組播泛洪和MAC地址自學(xué)習(xí)基本一致。區(qū)別只是前者在三層網(wǎng)絡(luò)中預(yù)定義的組播范圍內(nèi)泛洪，而后者是在二層網(wǎng)絡(luò)中指定VLAN范圍內(nèi)泛洪。這種方式的優(yōu)點(diǎn)是非常簡(jiǎn)單，不需要做協(xié)議擴(kuò)展。但缺點(diǎn)也是顯而易見的，需要大量的三層組播表項(xiàng)，需要復(fù)雜的組播協(xié)議控制。顯然，這兩者對(duì)于傳統(tǒng)物理網(wǎng)絡(luò)的交換機(jī)而言，都是巨大的負(fù)荷和挑戰(zhàn)，基本很難實(shí)現(xiàn)。同時(shí)，這種方式還給網(wǎng)絡(luò)帶來大量的組播泛洪流量，對(duì)網(wǎng)絡(luò)性能有很大的影響。

　　方式2：自定義協(xié)議。通過自定義的鄰居發(fā)現(xiàn)協(xié)議學(xué)習(xí)Overlay網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)并建立隧道管理機(jī)制。通過自定義（或擴(kuò)展）的路由協(xié)議透?jìng)鱋verlay網(wǎng)絡(luò)的MAC地址（或IP地址）。通過這些自定義的協(xié)議可以實(shí)現(xiàn)VXLAN控制平面轉(zhuǎn)發(fā)表項(xiàng)的學(xué)習(xí)機(jī)制。這種方式的優(yōu)點(diǎn)是不依賴組播，不存在大量的組播泛洪報(bào)文，對(duì)網(wǎng)絡(luò)性能影響很小。缺點(diǎn)是通過鄰居發(fā)現(xiàn)協(xié)議和路由協(xié)議控制所有網(wǎng)絡(luò)節(jié)點(diǎn)，這樣網(wǎng)絡(luò)節(jié)點(diǎn)的數(shù)量就受到協(xié)議的限制。換句話說，如果網(wǎng)絡(luò)節(jié)點(diǎn)的數(shù)量超過一定范圍，就會(huì)導(dǎo)致對(duì)應(yīng)的協(xié)議（例如路由協(xié)議）運(yùn)行出現(xiàn)異常。這一點(diǎn)在互聯(lián)網(wǎng)行業(yè)更加明顯，因?yàn)榛ヂ?lián)網(wǎng)行業(yè)云計(jì)算的基本特征就是大規(guī)模甚至超大規(guī)模。尤其是在vSwitch上運(yùn)行VXLAN自定義路由協(xié)議，其網(wǎng)絡(luò)節(jié)點(diǎn)數(shù)量可以達(dá)到幾千甚至上萬個(gè)，沒有路由協(xié)議可以支持這種規(guī)模的網(wǎng)絡(luò)。

　　方式3：SDN控制器。通過SDN控制器集中控制VXLAN的轉(zhuǎn)發(fā)，經(jīng)由Openflow協(xié)議下發(fā)表項(xiàng)是目前業(yè)界的主流方式。這種方式的優(yōu)點(diǎn)是不依賴組播，不對(duì)網(wǎng)絡(luò)造成負(fù)荷；另外，控制器通過集群技術(shù)可以實(shí)現(xiàn)動(dòng)態(tài)的擴(kuò)容，所以可以支持大規(guī)模甚至超大規(guī)模的VXLAN網(wǎng)絡(luò)。當(dāng)然，SDN控制器本身的性能和可靠性決定了全網(wǎng)的性能和可靠性，所以如何能夠提高控制器的性能和可靠性就是核心要素。

　　三、VXLAN Fabric網(wǎng)絡(luò)架構(gòu)的優(yōu)勢(shì)

　　云計(jì)算網(wǎng)絡(luò)一直都有一個(gè)理念：Network as a Fabric，即整網(wǎng)可以看作是一個(gè)交換機(jī)。通過VXLAN Overlay可以很好地實(shí)現(xiàn)這一理念——VXLAN Fabric（如圖4所示）。

　　圖4 VXLAN Fabric網(wǎng)絡(luò)架構(gòu)

　　Spine和Leaf節(jié)點(diǎn)共同構(gòu)建了Fabric的兩層網(wǎng)絡(luò)架構(gòu)，通過VXLAN實(shí)現(xiàn)Spine和Leaf之間的互聯(lián)，可以看做是交換機(jī)的背板交換鏈路。Spine節(jié)點(diǎn)數(shù)量可以擴(kuò)容，最大可以達(dá)到16臺(tái)。Leaf節(jié)點(diǎn)數(shù)量也可以平滑擴(kuò)容。理論上只要Spine節(jié)點(diǎn)的端口密度足夠高，這個(gè)Fabric可以接入數(shù)萬臺(tái)物理服務(wù)器。

　　另外，通過VXLAN隧道可以實(shí)現(xiàn)安全服務(wù)器節(jié)點(diǎn)的靈活接入。這些安全服務(wù)節(jié)點(diǎn)可以集中部署在一個(gè)指定區(qū)域，也可以靈活部署在任意Leaf節(jié)點(diǎn)下。通過Service Chain技術(shù)實(shí)現(xiàn)任意兩個(gè)虛擬機(jī)之間可以通過任意安全服務(wù)節(jié)點(diǎn)互聯(lián)。保證網(wǎng)絡(luò)中虛擬機(jī)業(yè)務(wù)的安全隔離和控制訪問。同理，F(xiàn)abric的出口節(jié)點(diǎn)也可以部署在任意位置，可以靈活擴(kuò)展。

　　簡(jiǎn)而言之，VXLAN Fabric構(gòu)建了一個(gè)靈活的、穩(wěn)定的、可擴(kuò)展的Overlay網(wǎng)絡(luò)。這個(gè)網(wǎng)絡(luò)可以有效地解決云計(jì)算對(duì)網(wǎng)絡(luò)的挑戰(zhàn)，是云計(jì)算網(wǎng)絡(luò)發(fā)展的趨勢(shì)。