互聯(lián)網(wǎng)行業(yè)是大數(shù)據(jù)的正兒八經(jīng)的“大客戶”，無(wú)論是從海量、速度、實(shí)時(shí)、類型等任何角度都當(dāng)之無(wú)愧。在成為用戶最多的中國(guó)互聯(lián)網(wǎng)公司后，騰訊這只專下“金蛋”的企鵝所掌握的用戶數(shù)據(jù)量也日益豐富。
如果說(shuō)阿里巴巴擁有90%以上的電商數(shù)據(jù)，百度擁有70%以上的搜索數(shù)據(jù)，騰訊的“金蛋”無(wú)疑是大量社交、游戲等領(lǐng)域積累的文本、音頻、視頻和關(guān)系類數(shù)據(jù)。這些數(shù)據(jù)是騰訊后來(lái)在多元業(yè)務(wù)擴(kuò)展時(shí)屢試不爽的重型武器，有分析人士說(shuō)，“數(shù)據(jù)挖掘”才是騰訊最具門檻性質(zhì)的技術(shù)。
無(wú)論是云，通過(guò)網(wǎng)絡(luò)隨需調(diào)用的計(jì)算資源；大數(shù)據(jù)，關(guān)聯(lián)的可分析在線數(shù)據(jù)；還是各種智能終端，都要依托互聯(lián)網(wǎng)，同時(shí)這些工具又幫助互聯(lián)網(wǎng)從中掘金。當(dāng)然，在數(shù)據(jù)成為“金蛋”前還有個(gè)前提，就是獲取數(shù)據(jù)，并有效的梳理與標(biāo)簽。
騰訊公司數(shù)據(jù)平臺(tái)助理總經(jīng)理蔣杰曾驕傲地表示，在國(guó)內(nèi)互聯(lián)網(wǎng)體系中，騰訊擁有的數(shù)據(jù)覆蓋多個(gè)領(lǐng)域，總存儲(chǔ)數(shù)據(jù)量經(jīng)壓縮處理以后在100PB左右。騰訊QQ目前擁有8億用戶，4億移動(dòng)用戶，在數(shù)據(jù)倉(cāng)庫(kù)存儲(chǔ)的數(shù)據(jù)量單機(jī)群數(shù)量已達(dá)到4400臺(tái)，總存儲(chǔ)數(shù)據(jù)量經(jīng)壓縮處理以后在100PB左右，并且這一數(shù)據(jù)還在以日新增200TB到300TB，月增加10%的數(shù)據(jù)量不斷增長(zhǎng)，現(xiàn)在騰訊的數(shù)據(jù)平臺(tái)部們正在為1000個(gè)PB做準(zhǔn)備。
如果對(duì)各種TP和PB還缺乏感性認(rèn)識(shí)，可以用幾個(gè)每天都會(huì)用到的業(yè)務(wù)說(shuō)明騰訊目前數(shù)據(jù)量的龐大：僅QQ以及微信用戶每天上傳的照片，就是中國(guó)一個(gè)中型互聯(lián)網(wǎng)公司一個(gè)月的數(shù)據(jù)量；2014年除夕夜的高峰時(shí)段，每分鐘有1000萬(wàn)條微信、3270萬(wàn)條QQ信息發(fā)出；微信團(tuán)隊(duì)專門為一些高頻祝福語(yǔ)設(shè)置了隱形的彩蛋功能，比如微信內(nèi)容中出現(xiàn)“萬(wàn)事如意、大吉大利”，屏幕上就會(huì)乒乒乓乓掉落很多桔子……事后統(tǒng)計(jì)，除夕當(dāng)天中國(guó)人的手機(jī)上共掉落了65億多個(gè)桔子，如果榨成汁，足夠灌滿289個(gè)水立方。
“微模塊”之路
要應(yīng)對(duì)不斷爆炸的業(yè)務(wù)數(shù)據(jù)需求，騰訊的數(shù)據(jù)中心部門一直處于“連跑帶顛”的追趕狀態(tài)。“業(yè)務(wù)部門對(duì)我們的要求經(jīng)常以‘周’甚至‘天’為周期。”騰訊網(wǎng)絡(luò)平臺(tái)部數(shù)據(jù)中心架構(gòu)師李典林表示，正是快速、靈活、可擴(kuò)展、高能效的要求，讓騰訊自然而然地走上了微模塊數(shù)據(jù)中心的道路。
從2010年起，騰訊已經(jīng)推出了幾個(gè)版本的微模塊數(shù)據(jù)中心；經(jīng)過(guò)不斷測(cè)試驗(yàn)證，目前已經(jīng)形成了定型的版本。目前，騰訊對(duì)微模塊數(shù)據(jù)中心的標(biāo)準(zhǔn)定義是，以若干機(jī)架為基本單位，包含制冷模塊、供配電模塊以及網(wǎng)絡(luò)、布線、監(jiān)控在內(nèi)的獨(dú)立的運(yùn)行單元。“麻雀雖小，五臟俱全”，這是李典林對(duì)騰訊微模塊數(shù)據(jù)中心的形象評(píng)價(jià)。
騰訊的模塊化數(shù)據(jù)中心設(shè)計(jì)遵循“從小到大”的原則，即從機(jī)架、IT微模塊、機(jī)房模塊、建筑單體和園區(qū)逐層設(shè)計(jì)；而模塊化數(shù)據(jù)中心建設(shè)遵循“從大到小”的原則，即從園區(qū)、建筑單體、機(jī)房模塊、IT微模塊到機(jī)架逐層實(shí)施。“如果把服務(wù)器看成標(biāo)準(zhǔn)磚頭，機(jī)柜看成廚房/陽(yáng)臺(tái)/洗手間，微模塊就是小戶型套房。通過(guò)微模塊，我們可以不斷復(fù)制堆疊，形成機(jī)房樓，乃至整個(gè)園區(qū)。”
騰訊的微模塊數(shù)據(jù)中心在制冷和供電方式實(shí)現(xiàn)了諸多創(chuàng)新。據(jù)李典林介紹，騰訊的微模塊數(shù)據(jù)中心不再采用傳統(tǒng)的架高地板制冷模式，而是采用了行級(jí)空調(diào)近距離送風(fēng)以及冷通道密封技術(shù)，這大大減少了制冷的耗能和成本。
在供電方面，李典林表示，騰訊大多數(shù)數(shù)據(jù)中心已經(jīng)不再采用傳統(tǒng)的UPS，而是轉(zhuǎn)而采用“高壓直流（50%）+市電（50%）”的供電模式。“采用這種供電方案后，市電沒(méi)有中間轉(zhuǎn)換損耗，效率高達(dá)100%;高壓直流側(cè)可采用節(jié)能休眠模式，全負(fù)載范圍內(nèi)可以達(dá)到94%以上高效率。因此，綜合供電效率高達(dá)97%。此外，未來(lái)還可以無(wú)縫升級(jí)成市電主供+高壓直流后備的供電模式，達(dá)到99%以上供電效率。”
位于深圳龍崗區(qū)國(guó)人通信科技園的坪山數(shù)據(jù)中心，是深圳聯(lián)通為騰訊量身訂制的數(shù)據(jù)中心，騰訊負(fù)責(zé)合建數(shù)據(jù)中心及微模塊相關(guān)技術(shù)標(biāo)準(zhǔn)和規(guī)范的制定，而中興通訊集團(tuán)下屬的中興網(wǎng)信則擔(dān)任工程設(shè)計(jì)建設(shè)總承包商的角色。由于坪山中心是聯(lián)通根據(jù)騰訊的需求訂制的，因而簡(jiǎn)化了傳統(tǒng)運(yùn)營(yíng)商數(shù)據(jù)中心根據(jù)客戶需求進(jìn)行改造的過(guò)程。“標(biāo)準(zhǔn)的模塊化數(shù)據(jù)中心，用戶唯一的界面就是微模塊，不會(huì)出現(xiàn)傳統(tǒng)數(shù)據(jù)中心角落能量不夠或者局部熱點(diǎn)等問(wèn)題。在智能化方面，我們做了很多觸摸屏，用來(lái)隨時(shí)了解運(yùn)行狀況，查看精細(xì)化的報(bào)表，未來(lái)還會(huì)與動(dòng)力系統(tǒng)連接起來(lái)，達(dá)到智能運(yùn)行。”
“坪山數(shù)據(jù)中心完全由微模塊組成，一期建設(shè)20個(gè)微模塊，二期建設(shè)40多個(gè)微模塊，總共部署了1200多個(gè)機(jī)柜。整個(gè)項(xiàng)目從裝修進(jìn)場(chǎng)到完工，只花了4個(gè)多月的時(shí)間，二期40個(gè)微模塊從進(jìn)場(chǎng)安裝到通過(guò)測(cè)試驗(yàn)證只用了45天時(shí)間，充分體現(xiàn)了微模塊易復(fù)制、部署速度快的優(yōu)勢(shì)。”
在坪山數(shù)據(jù)中心的建設(shè)過(guò)程中，騰訊部署了由12個(gè)機(jī)柜和18個(gè)機(jī)柜組成的兩種不同的微模塊。“我們?cè)谟兄拥牡胤讲渴鹩?2個(gè)機(jī)柜組成的微模塊，在沒(méi)有柱子的地方部署由18個(gè)機(jī)柜組成的微模塊，這種部署方式幫助我們實(shí)現(xiàn)了空間的靈活利用，”李典林說(shuō)。此外，微模塊內(nèi)部的電源模塊、行間空調(diào)數(shù)量等可以根據(jù)IT機(jī)柜功率靈活配置數(shù)量，滿足不同功率密度的需求，目前微模塊內(nèi)可支持的最大機(jī)柜功率達(dá)到12KW。
作為工程建設(shè)實(shí)施方的中興網(wǎng)信數(shù)據(jù)業(yè)務(wù)部部長(zhǎng)閆朝貴表示：“快速部署和標(biāo)準(zhǔn)化是模塊化數(shù)據(jù)中心的特點(diǎn)，兩者缺一不可。在實(shí)施過(guò)程中不僅要考慮如何快捷部署，也要考慮產(chǎn)品的標(biāo)準(zhǔn)化和通用性。快速部署是通過(guò)組件在工廠預(yù)安裝，到現(xiàn)場(chǎng)快速連接來(lái)實(shí)現(xiàn)。而模塊內(nèi)部的機(jī)柜、線槽、電纜、開(kāi)關(guān)和管道等都采用業(yè)界標(biāo)準(zhǔn)設(shè)計(jì)，降低了客戶的維護(hù)成本。”
通過(guò)綜合采用各種技術(shù)，如高壓直流+市電直供的供電方式、行級(jí)制冷和冷通道密封技術(shù)，空調(diào)系統(tǒng)變頻節(jié)能等技術(shù)，使氣流循環(huán)的路徑最短，節(jié)能10%以上。“在深圳這樣的亞熱帶城市，數(shù)據(jù)中心PUE（Power Usage Effectiveness，數(shù)據(jù)中心消耗能源總量與IT負(fù)載使用的能源之比，越接近1表明能效越高）保持在1.7是一個(gè)不錯(cuò)的水平了，全國(guó)數(shù)據(jù)中心的平均水平在2.0左右，坪山數(shù)據(jù)中心在投產(chǎn)三分之一負(fù)載的情況下PUE值達(dá)到1.5，我們非常有信心在滿負(fù)載的情況下PUE降到1.4。”李典林說(shuō)。雖然只是小小的0.1的變化，但對(duì)于數(shù)據(jù)中心這樣的耗電大戶來(lái)說(shuō)，PUE每下降0.1，就意味著每年上千萬(wàn)元電費(fèi)的節(jié)省。
李典林對(duì)于Google、Fecebook等國(guó)外互聯(lián)網(wǎng)巨頭的數(shù)據(jù)中心能達(dá)到1.2甚至1.1以下的PUE非常羨慕，但缺乏天然冷源的深圳要達(dá)到這一數(shù)值的可能性幾乎為零，他只能將希望寄托在身處北方的騰訊天津數(shù)據(jù)中心，這座亞洲最大的數(shù)據(jù)中心總建筑面積9.33萬(wàn)平方米，預(yù)計(jì)服務(wù)器托管能力超過(guò)10萬(wàn)臺(tái)，建成后PUE將達(dá)到1.3左右的水平。
作為騰訊第一座大規(guī)模的純模塊化數(shù)據(jù)中心，坪山中心的建設(shè)規(guī)格很高，未來(lái)騰訊的微信、游戲等明星業(yè)務(wù)都會(huì)轉(zhuǎn)移到坪山數(shù)據(jù)中心，據(jù)李典林透露，目前微信的備份內(nèi)容已經(jīng)遷移過(guò)來(lái)。
默認(rèn)路徑
“微模塊數(shù)據(jù)中心將是騰訊未來(lái)的數(shù)據(jù)中心建設(shè)思路。”李典林說(shuō)。微模塊數(shù)據(jù)中心在互聯(lián)網(wǎng)行業(yè)得到賞識(shí)和推廣，源于其特點(diǎn)與互聯(lián)網(wǎng)公司的需求有眾多契合，這里面最重要的是：創(chuàng)新技術(shù)傾向與掌控力、快、靈活、標(biāo)準(zhǔn)與規(guī)模。
大型互聯(lián)網(wǎng)公司的業(yè)務(wù)多變性，對(duì)服務(wù)器、網(wǎng)絡(luò)、IDC資源的彈性需求非常大，因此互聯(lián)網(wǎng)公司一般擁有較強(qiáng)的技術(shù)團(tuán)隊(duì)，把控著從服務(wù)器到網(wǎng)絡(luò)設(shè)備，再到數(shù)據(jù)中心系統(tǒng)的優(yōu)化定制——將自己對(duì)業(yè)務(wù)的需求轉(zhuǎn)化為定制硬件需求，并以產(chǎn)品化的思維進(jìn)行開(kāi)發(fā)和快速迭代，這是互聯(lián)網(wǎng)公司的區(qū)別于傳統(tǒng)商業(yè)IDC或企業(yè)數(shù)據(jù)中心的地方。
根據(jù)IDC數(shù)據(jù)中心趨勢(shì)研究人員Michelle Bailey的說(shuō)法，數(shù)據(jù)中心的模塊化模式有望在未來(lái)5年內(nèi)成為建造數(shù)據(jù)中心幾乎默認(rèn)的方法，模塊化數(shù)據(jù)中心將成為未來(lái)數(shù)據(jù)中心發(fā)展的趨勢(shì)之一。
“其實(shí)，目前國(guó)內(nèi)對(duì)數(shù)據(jù)中心的投資力度其實(shí)并不低于4G。”閆朝貴表示，正是因?yàn)閲?guó)內(nèi)風(fēng)起云涌的數(shù)據(jù)中心投資熱，讓多年聚焦海外市場(chǎng)的中興網(wǎng)信回歸國(guó)內(nèi)市場(chǎng)，也帶回了在蘇丹、白俄羅斯等地多個(gè)國(guó)際公認(rèn)最高規(guī)格的Tier4數(shù)據(jù)中心及國(guó)家級(jí)數(shù)據(jù)中心的設(shè)計(jì)建設(shè)經(jīng)驗(yàn)。而相比起國(guó)外流行一時(shí)的集裝箱式數(shù)據(jù)中心，微模塊化數(shù)據(jù)中心的部署方式似乎更討得國(guó)內(nèi)客戶的歡心。
與傳統(tǒng)數(shù)據(jù)中心相比，采用微模塊化的數(shù)據(jù)中心擴(kuò)展性成為一大亮點(diǎn)——數(shù)據(jù)中心的管理員只需要根據(jù)用戶的不同需求將相應(yīng)數(shù)量的微模塊安放到位，在各模塊之間連接主干鏈路就可以完成網(wǎng)絡(luò)的擴(kuò)展。
作為數(shù)據(jù)中心基礎(chǔ)設(shè)施的重要組成部分，將網(wǎng)絡(luò)、供電、制冷、消防、監(jiān)控等等采用模塊化方案部署后，數(shù)據(jù)中心的建設(shè)方式發(fā)生了較大變化——將數(shù)據(jù)中心的設(shè)計(jì)和大部分施工轉(zhuǎn)移到工廠進(jìn)行預(yù)先定制，在將各功能模塊運(yùn)輸?shù)浆F(xiàn)場(chǎng)，以“搭積木”方式配合客戶投資和業(yè)務(wù)發(fā)展需求進(jìn)行搭建，從而靈活實(shí)現(xiàn)分期建設(shè)，大大提升數(shù)據(jù)中心效率。
互聯(lián)網(wǎng)企業(yè)數(shù)據(jù)中心建設(shè)多采用模塊化建設(shè)，一個(gè)或幾個(gè)微模塊支持某一類型的應(yīng)用，當(dāng)新應(yīng)用功能出現(xiàn)時(shí)，相應(yīng)的增加新數(shù)據(jù)中心微模塊，如Google、Facebook、Yahoo等都開(kāi)始采用微模塊方式建設(shè)其數(shù)據(jù)中心。這些巨頭從IT設(shè)備層面深度定制，微模塊設(shè)計(jì)更為精簡(jiǎn)和標(biāo)準(zhǔn)化，都是云時(shí)代IT及基礎(chǔ)設(shè)施深度定制的經(jīng)典案例，也是國(guó)內(nèi)數(shù)據(jù)中心微模塊未來(lái)發(fā)展的方向。
