GTC 2020 秋季站 - 2020年10月5日– NVIDIA今天宣布推出了NVIDIA Maxine平臺，該平臺為開發(fā)者提供了一套基于云的、GPU加速AI視頻會議軟件，以提升流視頻質(zhì)量。當(dāng)前，流視頻是互聯(lián)網(wǎng)上首屈一指的流量來源。
NVIDIA Maxine是云原生的流視頻AI平臺，能讓服務(wù)提供商每天對大約3000多萬次的網(wǎng)絡(luò)會議提供全新AI功能。視頻會議服務(wù)提供商在云端運(yùn)行基于NVIDIA GPU的平臺，可以為用戶提供包括凝視校正、超分辨率、噪聲消除、人臉補(bǔ)光等全新AI效果。
由于數(shù)據(jù)處理過程發(fā)生在在云端，而非本地設(shè)備，因此，終端用戶無需任何專用硬件就可以盡享這些新功能。
NVIDIA副總裁兼加速計算業(yè)務(wù)總經(jīng)理Ian Buck表示：“視頻會議現(xiàn)已經(jīng)成為人們?nèi)粘Ｉ畹囊徊糠�，能夠幫助�?shù)百萬人工作、學(xué)習(xí)、娛樂，甚至就醫(yī)。NVIDIA Maxine集成了我們最先進(jìn)的視頻、音頻和對話式AI功能，給那些幫助我們保持聯(lián)絡(luò)的視頻會議平臺帶來效率突破。”
AI效率突破，降低帶寬需求，改進(jìn)通話質(zhì)量
Maxine平臺大幅降低了視頻通話所需帶寬。該AI軟件無需流處理全部屏幕像素，而是分析通話中每個人的關(guān)鍵面部特征，然后在通話另一邊的視頻中智能地重新激活人臉。這使得流視頻可通過更少的數(shù)據(jù)在互聯(lián)網(wǎng)上進(jìn)行傳輸。
使用這種在NVIDIA GPU上運(yùn)行的基于AI的新視頻壓縮技術(shù)，開發(fā)者可將視頻帶寬消耗減少到H.264流視頻壓縮標(biāo)準(zhǔn)要求的十分之一。在降低供應(yīng)商成本的同時，為終端用戶提供了更流暢的視頻會議體驗，使用戶能夠享受更多AI服務(wù)，并減少電腦、平板和手機(jī)上的數(shù)據(jù)流。
AI功能提升了視頻會議體驗
NVIDIA研究人員在Maxine中實現(xiàn)新的突破，包括了讓視頻會議的感覺更像面對面的交談。視頻會議服務(wù)提供商將能夠利用NVIDIA在GAN（對抗式生成網(wǎng)絡(luò)）上的研究成果，提供各種各樣的新功能。
例如，人臉校正功能可以自動調(diào)整人臉，使人們在通話中看起來是面對面的。而凝視校正功能可模擬屏幕上的眼神交流，即使攝像頭未與用戶的屏幕對齊也能輕松實現(xiàn)。自今年年初以來，視頻會議的數(shù)量增長了十倍，這些功能可以幫助人們將視線落在屏幕中的視頻上，而不必盯著攝像頭。
開發(fā)者還可以添加一些功能，讓通話參與者選擇自己的動畫角色，通過聲音和情緒實時地自動控制動畫樣式。自動幀選項可以讓參與者在即使離開屏幕時，依舊保持視頻流緊隨揚(yáng)聲器。
通過使用由NVIDIA Jarvis SDK支持的對話式AI功能，開發(fā)者可集成虛擬助手，這些虛擬助手采用最先進(jìn)的AI語言模型進(jìn)行語音識別、語言理解和語音生成。虛擬助手還可以做筆記、設(shè)置動作項目并通過類似人類的聲音回答問題。其他的對話式AI服務(wù)，如翻譯、隱藏字幕和轉(zhuǎn)錄，能幫助確保參與者理解電話中討論的內(nèi)容。
云原生架構(gòu)可節(jié)約成本并實現(xiàn)大規(guī)模AI應(yīng)用
視頻會議的需求很難預(yù)測，數(shù)以百計甚至千計的用戶有可能會試圖撥入同一場會議。NVIDIA DeepStream可在云端的NVIDIA GPU上利用Kubernetes容器集群中運(yùn)行的AI微服務(wù)，幫助開發(fā)者根據(jù)實時需求擴(kuò)展他們的服務(wù)。AI推理能力讓用戶可同時運(yùn)行多種AI功能，且同時滿足應(yīng)用程序的時延要求。
視頻會議服務(wù)提供商通過NVIDIA GPU在云端進(jìn)行AI推理應(yīng)用，可利用Maxine為數(shù)十萬用戶提供領(lǐng)先的AI能力。Maxine平臺采用模塊化設(shè)計，開發(fā)人員可以輕松選擇所需AI功能，并將其集成到視頻會議解決方案中。
全明星NVIDIA AI開發(fā)者工具套件
Maxine平臺集成了多種NVIDIA AI SDK和API。除NVIDIA Jarvis外， Maxine平臺還采用NVIDIA DeepStream高通量音頻和視頻流SDK和NVIDIA TensorRTTM SDK，用于高性能深度學(xué)習(xí)推理。
在Maxine平臺上使用的NVIDIA SDK，提供AI音頻、視頻和自然語言功能。這些功能是通過在全球領(lǐng)先的訓(xùn)練、推理和數(shù)據(jù)科學(xué)工作負(fù)載平臺NVIDIA DGXTM系統(tǒng)上進(jìn)行了數(shù)十萬小時的演練后才開發(fā)出來的。
供貨
開發(fā)音頻和視頻應(yīng)用程序和服務(wù)的計算機(jī)視覺AI開發(fā)人員、軟件合伙人、初創(chuàng)企業(yè)和計算機(jī)制造商，可申請NVIDIA Maxine平臺的早期試用。
