以數(shù)據(jù)為中心的算力時(shí)代高效提升算力是關(guān)鍵
“算力缺失是以數(shù)據(jù)為中心的算力時(shí)代的最大挑戰(zhàn)，要實(shí)現(xiàn)數(shù)據(jù)的實(shí)時(shí)處理和價(jià)值變現(xiàn)，就需要有強(qiáng)大的算力支撐。”鄭曉龍表示。大數(shù)據(jù)已經(jīng)無處不在，元宇宙、基于大數(shù)據(jù)的病毒傳播跟蹤、基于人工智能的藥物研究、基于用戶習(xí)慣的智能推薦廣告等等，這些大數(shù)據(jù)的成功應(yīng)用都需要強(qiáng)大的算力實(shí)現(xiàn)數(shù)據(jù)快速處理。然而人工智能計(jì)算模型的規(guī)模正在呈指數(shù)級增長，例如，業(yè)界最新發(fā)布的語言模型Megatron-Turing NLG已經(jīng)實(shí)現(xiàn)支持5300億參數(shù)，而在2017年業(yè)界最復(fù)雜的模型還僅支持6100萬參數(shù)，五年內(nèi)計(jì)算壓力增加了10000倍。如何高效提升算力，100%釋放算力的潛能，成為算力時(shí)代首先要解決的問題。
數(shù)據(jù)中心網(wǎng)絡(luò)成為集群算力提升的核心瓶頸
完成一個AI模型（比如GPT3語言模型）訓(xùn)練所要求的百億億次浮點(diǎn)計(jì)算要求，需要眾多計(jì)算服務(wù)器組成一個集群協(xié)同才能完成。然而所有的AI訓(xùn)練集群都存在性能天花板。當(dāng)?shù)竭_(dá)天花板時(shí)，即便再增加服務(wù)器節(jié)點(diǎn)，也不能使集群的性能再進(jìn)一步提升，甚至有可能會下降。這是因?yàn)榧簝?nèi)部存在計(jì)算協(xié)同，當(dāng)網(wǎng)絡(luò)有丟包時(shí)，增大了因協(xié)同等待而產(chǎn)生的時(shí)間等開銷，使算力持續(xù)下降。據(jù)實(shí)驗(yàn)統(tǒng)計(jì)，0.1%的丟包會引起算力損失50%。因此，要提升算力，首先要構(gòu)建一個0丟包的數(shù)據(jù)中心網(wǎng)絡(luò)。
華為超融合數(shù)據(jù)中心網(wǎng)絡(luò)0丟包以太網(wǎng)助力算力100%釋放
華為超融合數(shù)據(jù)中心網(wǎng)絡(luò)CloudFabric 3.0解決方案基于獨(dú)有iLossless智能無損算法，終結(jié)了以太網(wǎng)自誕生以來四十多年的丟包歷史，以高吞吐、低時(shí)延、大規(guī)模的0丟包以太網(wǎng)，助力任意場景下多元算力的100%釋放。
01高吞吐：傳統(tǒng)流量調(diào)度依賴手工僵化配置，無法適應(yīng)網(wǎng)絡(luò)動態(tài)變化。華為智能無損核心技術(shù)ACC（Automatic ECN）可精準(zhǔn)預(yù)測網(wǎng)絡(luò)擁塞狀態(tài)，實(shí)現(xiàn)在任意擁塞鏈路0丟包的基礎(chǔ)上接近100%吞吐。通過第三方權(quán)威測試機(jī)構(gòu)Tolly表明，超融合數(shù)據(jù)中心網(wǎng)絡(luò)可助力全閃存IOPS性能提升93%。2021年8月，智能無損技術(shù)論文《ACC: Automatic ECN Tuning for High-Speed Datacenter Networks》（高性能數(shù)據(jù)中心網(wǎng)絡(luò)中的ECN動態(tài)調(diào)優(yōu)）入選全球網(wǎng)絡(luò)通信頂級會議ACM SIGCOMM 2021，得到業(yè)界專家的一致認(rèn)可，具有世界級技術(shù)影響力。
02低時(shí)延：在HPC高性能計(jì)算中，應(yīng)用時(shí)延=計(jì)算操作的步數(shù)*每步時(shí)延，因此針對時(shí)延敏感型應(yīng)用，減少計(jì)算操作的步數(shù)可以有效降低整體應(yīng)用時(shí)延。華為智能無損網(wǎng)算一體技術(shù)基于在網(wǎng)計(jì)算（In-network computing）和拓?fù)涓兄═opology-Aware Computing）實(shí)現(xiàn)網(wǎng)絡(luò)和計(jì)算協(xié)同，一方面網(wǎng)絡(luò)參與計(jì)算信息的匯聚和同步，減少計(jì)算信息同步的次數(shù)，另一方面盡量確保計(jì)算任務(wù)分布在同一個TOR下，減少通信跳數(shù)，進(jìn)一步降低應(yīng)用時(shí)延。以MPI_allreduce為例，相比傳統(tǒng)網(wǎng)絡(luò)僅做數(shù)據(jù)轉(zhuǎn)發(fā)不參與計(jì)算過程，超融合數(shù)據(jù)中心網(wǎng)絡(luò)可有效降低時(shí)延，提升計(jì)算效率27%。
03大規(guī)模：數(shù)據(jù)中心傳統(tǒng)三層CLOS組網(wǎng)架構(gòu)最大僅支持65k節(jié)點(diǎn)，不能滿足大型數(shù)據(jù)中心規(guī)模訴求。華為超融合數(shù)據(jù)中心網(wǎng)絡(luò)基于新一代直連拓?fù)浣M網(wǎng)架構(gòu)和創(chuàng)新分布式自適應(yīng)路由協(xié)議，不僅滿足算力網(wǎng)絡(luò)0丟包的訴求，更支持270k節(jié)點(diǎn)大規(guī)模組網(wǎng)，組網(wǎng)規(guī)模4倍于業(yè)界，可助力構(gòu)建E級和10E級大型和超大型算力樞紐。
0丟包難題的突破和性能的持續(xù)演進(jìn)對于以數(shù)據(jù)為中心的算力時(shí)代具有重大意義。通過和金融、制造、超算等客戶的聯(lián)合測試證明，華為超融合數(shù)據(jù)中心網(wǎng)絡(luò)CloudFabric 3.0同時(shí)在全閃存、分布式存儲、HPC高性能計(jì)算、人工智能計(jì)算等場景，都具有極強(qiáng)的性能優(yōu)勢。未來，華為將持續(xù)投入智能無損技術(shù)研究，持續(xù)提升無損網(wǎng)絡(luò)能力，充分釋放算力，使能企業(yè)智能化升級。
