欧美,精品,综合,亚洲,好吊妞视频免新费观看,免费观看三级吃奶,一级a片女人自慰免费看

您當(dāng)前的位置是:  首頁(yè) > 資訊 > 文章精選 >
 首頁(yè) > 資訊 > 文章精選 >

30萬(wàn)億實(shí)時(shí)計(jì)算背后:騰訊首次揭秘技術(shù)演進(jìn)之路

2019-11-07 14:43:15   作者:   來(lái)源:CTI論壇   評(píng)論:0  點(diǎn)擊:


  同時(shí)擁有多款億量級(jí)App、包括最高11億微信用戶的騰訊,一天會(huì)處理多少實(shí)時(shí)計(jì)算次數(shù)?
  答案是:30萬(wàn)億。
  有一說(shuō)一,騰訊已經(jīng)成為中國(guó)實(shí)時(shí)數(shù)據(jù)計(jì)算量最大的公司。
  騰訊云聯(lián)合內(nèi)部打造一套算力共享平臺(tái),該算力彈性資源池有20萬(wàn)的規(guī)模,大數(shù)據(jù)平臺(tái)每天有1500萬(wàn)的分析任務(wù)、30萬(wàn)億次的實(shí)時(shí)計(jì)算量,并且每天數(shù)據(jù)接入條數(shù)達(dá)35萬(wàn)億條數(shù)據(jù)。騰訊云自身的分布式機(jī)器學(xué)習(xí)平臺(tái),則能支撐1萬(wàn)億維度的數(shù)據(jù)訓(xùn)練。
  走到這一步,騰訊大數(shù)據(jù)能力在十年間進(jìn)行了四次大規(guī)模升級(jí)。自研,正在成為騰訊的關(guān)鍵詞。
  十年前,騰訊管理幾百個(gè)節(jié)點(diǎn)都很困難,為了有效解決計(jì)算能力和大規(guī)模集群?jiǎn)栴},騰訊自研調(diào)度器,相對(duì)原生調(diào)度器性能提升150倍,大大提升了集群可擴(kuò)展性。
  2016年,騰訊打破Sort Benchmark四項(xiàng)世界紀(jì)錄,標(biāo)志著算力已經(jīng)達(dá)到世界領(lǐng)先水平。
  由于騰訊20萬(wàn)臺(tái)彈性資源池的機(jī)器分布在多個(gè)數(shù)據(jù)中心,不同地區(qū)甚至不同國(guó)家,為了降低數(shù)據(jù)使用壁壘,騰訊在2018年自研了漂移計(jì)算引擎SuperSQL。
  作為統(tǒng)一的數(shù)據(jù)分析入口,SuperSQL通過(guò)智能CBO優(yōu)化器,將計(jì)算下推到分布在各地的異構(gòu)數(shù)據(jù)源,數(shù)據(jù)分析性能提高N倍,且數(shù)據(jù)量越大優(yōu)勢(shì)越明顯。
  隨著模型的增大,最初用來(lái)做數(shù)據(jù)訓(xùn)練的MR、Spark已經(jīng)不能滿足上億的模型維度的需求。2015年初,騰訊開(kāi)始自研高性能的分布式機(jī)器學(xué)習(xí)平臺(tái)Angel,采用PS架構(gòu),能支持10億維度。
  目前Angel發(fā)展到3.0版本,能支持萬(wàn)億維度,也可以兼容Spark、PyTorch、TensorFlow等生態(tài),進(jìn)一步降低了使用門(mén)檻。此外,Angel今年還新增了對(duì)深度學(xué)習(xí)、圖計(jì)算等的支持。
  騰訊云副總裁、騰訊數(shù)據(jù)平臺(tái)部總經(jīng)理蔣杰
  目前,騰訊正在研究以批流融合、ABC融合、以及數(shù)據(jù)湖和聯(lián)邦學(xué)習(xí)為方向的下一代大數(shù)據(jù)平臺(tái)的研究,該平臺(tái)將具備混合部署、跨域數(shù)據(jù)共享和邊緣計(jì)算等能力。
  而支撐起這種量級(jí)的計(jì)算(短短5、6年時(shí)間增長(zhǎng)了幾千倍)背后,是騰訊在基礎(chǔ)設(shè)施上的不斷演進(jìn)。
  在Techo大會(huì)現(xiàn)場(chǎng),騰訊首次全面披露了20年來(lái)基礎(chǔ)設(shè)施方面的技術(shù)積累:
  騰訊云副總裁、云架構(gòu)平臺(tái)部總經(jīng)理謝明
  服務(wù)器
  騰訊全網(wǎng)服務(wù)器總量超過(guò)100萬(wàn)臺(tái),是中國(guó)首家服務(wù)器總量超過(guò)百萬(wàn)的公司,也是全球五家服務(wù)器數(shù)量過(guò)百萬(wàn)的公司之一。
  經(jīng)過(guò)早年使用通用服務(wù)器到定制服務(wù)器,騰訊現(xiàn)已推出自研服務(wù)器——星星海
  星星海采用可信鏈傳遞的硬件防篡改能力、先進(jìn)的熱虹吸管散熱技術(shù)以及精細(xì)化的風(fēng)道設(shè)計(jì)和風(fēng)扇控制,實(shí)現(xiàn)了TCO降低30%、負(fù)載能效提升50%、實(shí)例綜合性能提升35%。
  數(shù)據(jù)中心
  第四代數(shù)據(jù)中心T-Block按照搭積木的方式,實(shí)現(xiàn)了全數(shù)據(jù)中心的模塊化配置及快速建設(shè),相比于傳統(tǒng)大規(guī)模數(shù)據(jù)中心,現(xiàn)場(chǎng)施工周期縮短一半,自然冷卻技術(shù)可以將PUE降低至業(yè)界領(lǐng)先的1.2以下。
  采用T-Block方案,一個(gè)擁有30萬(wàn)臺(tái)服務(wù)器的園區(qū)一年可節(jié)省2.5億度電。
  網(wǎng)絡(luò)
  騰訊已經(jīng)與全球超過(guò)100家運(yùn)營(yíng)商建立了網(wǎng)絡(luò)互連。
  基于SDN和NFV自研分布式路由器集群替換傳統(tǒng)商業(yè)大型路由器,騰訊實(shí)現(xiàn)全網(wǎng)所有的軟件路由器的集中管控,能做到根據(jù)目的IP做單個(gè)用戶的流量調(diào)度;通過(guò)構(gòu)建開(kāi)放光網(wǎng)絡(luò),基于SONiC自研交換機(jī)等,將網(wǎng)絡(luò)設(shè)備TCO下降20%+。
  計(jì)算
  騰訊云云計(jì)算操作系統(tǒng)VStation目前做到了每分鐘交付千臺(tái)虛擬機(jī)的能力,使得一個(gè)中等規(guī)模公司的計(jì)算需求可以快速得到滿足。同時(shí),騰訊通過(guò)DPDK、智能網(wǎng)卡等軟硬件方案,將網(wǎng)絡(luò)、存儲(chǔ)等IO消耗卸載到硬件上,實(shí)現(xiàn)了虛擬機(jī)零損耗和虛擬機(jī)之間的零干擾。
  存儲(chǔ)
  騰訊云對(duì)象存儲(chǔ)COS實(shí)現(xiàn)了集群全體節(jié)點(diǎn)參與系統(tǒng)吞吐,磁盤(pán)利用率達(dá)到90%以上,同時(shí)系統(tǒng)的完全自治也大幅降低了運(yùn)維的人工投入。
  數(shù)據(jù)庫(kù)
  從最早的MySQL開(kāi)始,經(jīng)歷QQ、Q-zone等業(yè)務(wù)爆發(fā)增長(zhǎng)的騰訊逐漸選擇了數(shù)據(jù)庫(kù)自研路線。
  目前,騰訊云也通過(guò)開(kāi)源托管、商業(yè)合作、自主研發(fā)三管齊下,提供了接近20種數(shù)據(jù)庫(kù)產(chǎn)品,讓用戶從選云、上云、用云全流程暢通無(wú)阻。
  開(kāi)源
  騰訊正在成為大數(shù)據(jù)領(lǐng)域開(kāi)源最全面的公司。
  在現(xiàn)場(chǎng),騰訊正式對(duì)四大重點(diǎn)開(kāi)源項(xiàng)目進(jìn)行了聯(lián)合發(fā)布,包括:
  • 分布式消息中間件TubeMQ:業(yè)界延遲最低的一款開(kāi)源消息中間件,延遲可低至5ms。
  • Kona JDK:在云場(chǎng)景下,JVM的啟動(dòng)速度最高能夠提升到40%左右。
  • 分布式HTAP數(shù)據(jù)庫(kù) TBase:兼容SQL標(biāo)準(zhǔn),提供完整的分布式事務(wù)能力,金融級(jí)數(shù)據(jù)容災(zāi)。
  • 企業(yè)級(jí)容器平臺(tái)TKEStack:穩(wěn)定管理萬(wàn)級(jí)別的Kubernetes 集群,并且提供全方位的資源管控,解決網(wǎng)絡(luò)帶寬控制、磁盤(pán) IO 等難題。
  截至目前,騰訊已經(jīng)在Github上已經(jīng)開(kāi)源了86個(gè)項(xiàng)目,超過(guò)1000個(gè)貢獻(xiàn)者參與了開(kāi)源貢獻(xiàn),擁有超過(guò)25萬(wàn)個(gè)Star數(shù)。騰訊在Github全球公司貢獻(xiàn)榜上排名前十,并已成為Apache基金會(huì)、 Linux基金會(huì)以及Openstack國(guó)際三大基金會(huì)的頂級(jí)白金贊助商,國(guó)內(nèi)尚屬首家。
  “代碼是一個(gè)最沒(méi)有國(guó)界的語(yǔ)言。“Show me the code”,現(xiàn)在你只要展示出代碼,大家就知道你想表達(dá)什么東西。
—— 騰訊公司副總裁、騰訊云總裁邱躍鵬
  在現(xiàn)場(chǎng),邱躍鵬帶來(lái)了騰訊對(duì)云計(jì)算未來(lái)趨勢(shì)的三大思考:
  • 軟硬件一體化(Cloud Native Hardware):隨著云計(jì)算承載的業(yè)務(wù)規(guī)模越來(lái)越大,軟件和硬件的結(jié)合成為剛需。
  • 無(wú)服務(wù)器計(jì)算(Serverless):把開(kāi)發(fā)者從繁瑣、冗雜的開(kāi)發(fā)配置工作中解放出來(lái),開(kāi)發(fā)者只需關(guān)注自己的業(yè)務(wù)邏輯。
  • 智能化(Smart):隨之而來(lái)的數(shù)據(jù)量不斷增長(zhǎng),對(duì)算力的要求越來(lái)越高,人工智能成為開(kāi)發(fā)者們必須關(guān)注和應(yīng)用的技術(shù)。
  騰訊云的基礎(chǔ)產(chǎn)品也在朝極致彈性的方向努力。
  騰訊云打造的第三代通用計(jì)算平臺(tái)「無(wú)服務(wù)函數(shù)計(jì)算」,能夠提供更好的彈性能力,真正意義上做到資源使用率100%,用戶相應(yīng)成本下降50%以上。
  通過(guò)函數(shù)并發(fā)監(jiān)控?cái)?shù)據(jù)實(shí)時(shí)計(jì)算,提前擴(kuò)容,我們使函數(shù)冷啟動(dòng)率降低到萬(wàn)分之一以?xún)?nèi)。自研的輕量級(jí)虛擬化技術(shù),能在35ms內(nèi)啟動(dòng)一臺(tái)虛擬機(jī),創(chuàng)造了業(yè)界目前能最快啟動(dòng)一臺(tái)虛擬機(jī)的記錄,這一技術(shù)還被穩(wěn)定應(yīng)用于“小程序·云開(kāi)發(fā)”。
  騰訊云對(duì)象存儲(chǔ)COS還提供了不同地域不同計(jì)費(fèi)的方式,用戶根據(jù)使用場(chǎng)景,按需選擇最劃算的方案。
  數(shù)據(jù)庫(kù)產(chǎn)品CynosDB則基于計(jì)算存儲(chǔ)解耦架構(gòu),支持超大實(shí)例并實(shí)現(xiàn)更好的彈性能力。單實(shí)例最多可以達(dá)到百TB級(jí)別,而多計(jì)算節(jié)點(diǎn)間的存儲(chǔ)共享,可以使同一實(shí)例的計(jì)算節(jié)點(diǎn)擴(kuò)展到15個(gè)。
  截至目前,騰訊云已經(jīng)服務(wù)了數(shù)百萬(wàn)開(kāi)發(fā)者,給到開(kāi)發(fā)者的資源扶持超過(guò)100億元。
  今天,用云、上云已經(jīng)變成大勢(shì)所趨,更有越來(lái)越多的產(chǎn)品,直接在云中誕生、在云中生長(zhǎng),云計(jì)算基礎(chǔ)架構(gòu)在一切背后、更在一切之前。我們期待與所有的云上開(kāi)發(fā)者一同成長(zhǎng),共創(chuàng)未來(lái)!來(lái)源:騰訊云

 
【免責(zé)聲明】本文僅代表作者本人觀點(diǎn),與CTI論壇無(wú)關(guān)。CTI論壇對(duì)文中陳述、觀點(diǎn)判斷保持中立,不對(duì)所包含內(nèi)容的準(zhǔn)確性、可靠性或完整性提供任何明示或暗示的保證。請(qǐng)讀者僅作參考,并請(qǐng)自行承擔(dān)全部責(zé)任。

專(zhuān)題

CTI論壇會(huì)員企業(yè)