根據(jù)思科公司今年發(fā)布的報(bào)告稱(chēng)，預(yù)計(jì) 2021 年，視頻將會(huì)成為互聯(lián)網(wǎng)產(chǎn)品的主要需求，超過(guò)80%的互聯(lián)網(wǎng)流量將會(huì)被視頻占據(jù)。屆時(shí)，與視頻相關(guān)的服務(wù)與需求將提升約50%，而其中對(duì)超高清的需求將提升約30%。同時(shí)，互聯(lián)網(wǎng)對(duì)直播和其它實(shí)時(shí)視頻服務(wù)的需求將會(huì)是目前的15倍。

　　如此快速的發(fā)展和快速增長(zhǎng)的需求，正是互聯(lián)網(wǎng)公司推動(dòng)新一代視頻編解碼技術(shù)的動(dòng)力。

　　新一代編解碼技術(shù) AV1 已于2018年6月定稿，它有四個(gè)特點(diǎn)：

　　眾所周知，AV1 的前身是 Google 推出的 VP9。相對(duì)于 VP9，AV1 有三個(gè)特點(diǎn)：Performance、Platform、Potential。AOM 的框架使得 AV1 ，以及未來(lái)視頻的發(fā)展都更有活力。盡管 AV1 目前還處于研發(fā)和推廣初期，我們相信它在業(yè)界的廣大支持下，會(huì)獲得比 VP9 更廣泛的應(yīng)用。

　　開(kāi)源媒體聯(lián)盟 AOM 由 Google、亞馬遜、思科等公司聯(lián)合牽頭成立，致力于推廣和研發(fā)多媒體的視頻編解碼技術(shù)。除了當(dāng)前與視頻行業(yè)緊密相連的互聯(lián)網(wǎng)公司外，該聯(lián)盟內(nèi)還有硬件設(shè)備廠(chǎng)商、內(nèi)容供應(yīng)商、主流瀏覽器廠(chǎng)商等。最近蘋(píng)果也加入了 AOM。業(yè)界的生態(tài)系統(tǒng)也都將支持 AV1。

　　AV1 工作組共有四個(gè)：軟件研發(fā)組、硬件研發(fā)組、Tapas 組、測(cè)試組。軟件和硬件研發(fā)組聯(lián)合進(jìn)行 AV1 的研發(fā)，同時(shí)測(cè)試組會(huì)對(duì) AV1 的一致性進(jìn)行檢測(cè)。而 Tapas 組則進(jìn)行專(zhuān)利審核，并提供法律問(wèn)題咨詢(xún)。

　　AV1 的研發(fā)組是個(gè)很有活力的社區(qū)。在整個(gè) AV1 的研發(fā)過(guò)程中，已經(jīng)發(fā)表超過(guò)15篇學(xué)術(shù)論文，約有 100 多個(gè)研發(fā)提案被 AV1 采用。目前大家可以在網(wǎng)上下載到參考代碼，大約有30萬(wàn)行代碼，并且平均每天會(huì)有15個(gè)代碼被提交上來(lái)。

　　AV1 從研發(fā)到推廣，將會(huì)分為四個(gè)階段：

　　從2015年的研發(fā)開(kāi)始，到2018年6月的定稿，我們已經(jīng)完成了第一階段的目標(biāo)。目前，我們正處于第二階段，Google 的 Chrome 瀏覽器上已經(jīng)實(shí)現(xiàn)了軟件解碼。在未來(lái)的第三、第四階段中，我們的主要任務(wù)就是硬件設(shè)備與內(nèi)容供應(yīng)商對(duì) AV1 的支持。預(yù)計(jì)2020年 AV1 將獲得更廣泛的應(yīng)用。

　　與其它視頻編碼軟件相似，AV1 的也分為一系列連續(xù)的模塊，包括分割、預(yù)測(cè)、變換、量化、熵編碼、環(huán)內(nèi)濾波等。在單元塊劃分上，AV1 支持更多的劃分模式和更大的劃分塊。其前身 VP9 支持最大劃分塊為 64x64，對(duì)每個(gè)方塊可以遞歸地進(jìn)行四個(gè)子塊的劃分。AV1 支持最大劃分塊為 128x128，對(duì)方塊遞歸的劃分有10種類(lèi)型，最小的劃分塊為 4x4。

　　AV1 支持56個(gè)方向的預(yù)測(cè)，利用當(dāng)前塊的上邊界和左邊界，重建的圖像，通過(guò)方向的差值來(lái)預(yù)測(cè)當(dāng)前塊的像素值。它的角度的表達(dá)方式是從8個(gè)主要的差值方向中，選擇其中之一，并用一個(gè) Delta 值來(lái)確定精確的角度。

　　除了方向的預(yù)測(cè)之外，AV1還支持其它的方式對(duì)單個(gè)像素或當(dāng)前漸變塊生成預(yù)測(cè)。如下圖所示，有四種不同的差值方法對(duì)當(dāng)前值進(jìn)行預(yù)測(cè)，當(dāng)前值P將會(huì)由深藍(lán)色模塊的像素差值獲得。值得一提的是，另外一種遞歸的方式對(duì)漸變塊進(jìn)行預(yù)測(cè)，利用濾波的方式遞歸地對(duì)每個(gè)像素值進(jìn)行預(yù)測(cè)，在編解碼方面復(fù)雜度會(huì)有所提升。

　　從亮度值預(yù)測(cè)色度值的工具，它利用了視頻圖像當(dāng)中亮度值通道與色度值通道具有高度相似性的特點(diǎn)，通過(guò)選擇適當(dāng)?shù)膮��?shù)再以重建亮度值通道來(lái)預(yù)測(cè)色度值，這個(gè)工具對(duì)于游戲視頻具有很好的壓縮效果。

　　調(diào)色板模式將塊內(nèi)的元素當(dāng)做幾種離散的顏色，不同于直接傳輸像素本身的參數(shù)值，而是通過(guò)傳輸色塊的顏色編號(hào)實(shí)現(xiàn)壓縮的目的。AV1支持從8×8到64×64的塊，支持調(diào)色板模式，編碼器會(huì)自動(dòng)根據(jù)視頻內(nèi)容選擇是否使用調(diào)色板模式，如圖所示的例子，左邊是一個(gè)當(dāng)前模塊被劃分成了3種不同的顏色塊，根據(jù)波前的方式逐個(gè)編碼塊內(nèi)的方塊，它的左側(cè)和上側(cè)的顏色信號(hào)將作為信息在熵編碼中被使用。調(diào)色板模式對(duì)于當(dāng)前塊有單一色調(diào)的場(chǎng)景十分有用，一般這種場(chǎng)景出現(xiàn)在屏幕內(nèi)容的壓縮當(dāng)中。

　　另一個(gè)對(duì)于屏幕內(nèi)容壓縮很重要的工具叫做幀內(nèi)拷貝。它的工作原理就是，在預(yù)測(cè)當(dāng)前塊時(shí)它會(huì)去搜索當(dāng)前幀已重建的圖像部分，比如下圖1中第二個(gè)字母 A 和第三個(gè)字母 A，它將找到第一個(gè)已經(jīng)被編碼的字母A預(yù)測(cè)塊，它的預(yù)測(cè)會(huì)非常準(zhǔn)確，可以達(dá)到提高壓縮效率的目的。圖形中包含了非常多的字母，就會(huì)通過(guò)幀內(nèi)拷貝的模式搜索到非常好的預(yù)測(cè)效果，大大提高了視頻壓縮效率，僅這幅圖來(lái)說(shuō)，壓縮效率就提升了 50%。

　　幀間的壓縮工具比幀內(nèi)的壓縮工具更豐富。AV1 比 VP9 在參考幀的數(shù)量和結(jié)構(gòu)上有了進(jìn)一步的優(yōu)化，支持8個(gè)參考幀，并能夠使用其中的7個(gè)參考幀進(jìn)行預(yù)測(cè)，而 VP9 只使用了其中三個(gè)。AV1 還支持分層結(jié)構(gòu)進(jìn)行雙向預(yù)測(cè)。

　　在現(xiàn)在的視頻壓縮標(biāo)準(zhǔn)中，運(yùn)動(dòng)估計(jì)在比特率中占有很大一部分，運(yùn)動(dòng)的估計(jì)一般通過(guò)搜尋一個(gè)運(yùn)動(dòng)向量找到參考幀中對(duì)應(yīng)的塊對(duì)當(dāng)前塊進(jìn)行預(yù)測(cè)。在 AV1 里我們采用了一種方法叫做運(yùn)動(dòng)場(chǎng)投影的方法來(lái)獲取運(yùn)動(dòng)向量，它的工作原理是通過(guò)當(dāng)前幀的兩個(gè)參考幀，并且找到參考幀的對(duì)應(yīng)參考幀獲得一個(gè)運(yùn)動(dòng)軌跡，將運(yùn)動(dòng)軌跡投影到當(dāng)前來(lái)幀獲得兩個(gè)運(yùn)動(dòng)向量。當(dāng)物體是線(xiàn)性運(yùn)動(dòng)時(shí)，這兩個(gè)運(yùn)動(dòng)向量將能很好預(yù)測(cè)到物體的運(yùn)動(dòng)軌跡，并獲得更精準(zhǔn)的預(yù)測(cè)，從而幫我們獲得更好的壓縮效果。

　　在我們有了這些運(yùn)動(dòng)向量之后，我們還需要傳輸它們。而在現(xiàn)有視頻標(biāo)準(zhǔn)中，傳輸運(yùn)動(dòng)向量已經(jīng)占據(jù)了很大的比例。所以我們 AV1 中采取了一種叫做動(dòng)態(tài)運(yùn)動(dòng)向量索引的方法，它不直接傳輸運(yùn)動(dòng)向量的具體坐標(biāo)值，而是傳輸它在運(yùn)動(dòng)列表中的序號(hào)，然后通過(guò)查詢(xún)得知所用的運(yùn)動(dòng)向量。運(yùn)動(dòng)向量通過(guò)運(yùn)動(dòng)場(chǎng)投影的方式獲得并加入到運(yùn)動(dòng)列表中。我們通過(guò)運(yùn)動(dòng)估計(jì)的測(cè)算將運(yùn)動(dòng)列表的向量值進(jìn)行排序，再通過(guò)編碼器選擇對(duì)好的序號(hào)傳輸給解碼器。

　　現(xiàn)在的視頻壓縮標(biāo)準(zhǔn)都支持雙向預(yù)測(cè)，當(dāng)我們有了兩個(gè)參考幀之后如何把它們?nèi)诤显谝黄鹕�成預(yù)測(cè)塊是值得探討的問(wèn)題。AV1 在這個(gè)方面支持了多種不同的方式來(lái)生成預(yù)測(cè)塊，包括平均值運(yùn)動(dòng)補(bǔ)償、加權(quán)運(yùn)動(dòng)補(bǔ)償、楔形分割預(yù)測(cè)等。

　　運(yùn)動(dòng)塊補(bǔ)償早在 H.263 時(shí)代就被提出，在這里被 AV1 采用。它的原理是利用平滑濾波的方式將兩個(gè)運(yùn)動(dòng)補(bǔ)償塊重疊在一起，特點(diǎn)是能夠消除運(yùn)動(dòng)的不連續(xù)性帶來(lái)的影響，以此提高預(yù)測(cè)準(zhǔn)確率。雙向預(yù)測(cè)中，我們可以通過(guò)調(diào)整兩個(gè)預(yù)測(cè)快的權(quán)重來(lái)達(dá)到生成不同預(yù)測(cè)快的目的。AV1 除了支持平均運(yùn)動(dòng)補(bǔ)償，還會(huì)根據(jù)參考幀的距離來(lái)加權(quán)生成預(yù)測(cè)塊，特點(diǎn)是當(dāng)一個(gè)參考幀距離現(xiàn)在幀非常近的時(shí)候它的預(yù)測(cè)準(zhǔn)確度可能更會(huì)高，于是我們給予它更高的權(quán)重，當(dāng)另一個(gè)參考幀距離比較遠(yuǎn)的時(shí)候我們會(huì)給予遠(yuǎn)處的參考幀一個(gè)更低的權(quán)重，權(quán)重并不直接通過(guò)比特流傳輸，會(huì)通過(guò)傳輸序號(hào)的方式在預(yù)設(shè)置的表格里查詢(xún)對(duì)應(yīng)的權(quán)重。

　　AV1 還支持楔形分割預(yù)測(cè)，可以彌補(bǔ)方塊運(yùn)動(dòng)補(bǔ)償中無(wú)法準(zhǔn)確模擬物體邊界的缺點(diǎn)。楔形分割已經(jīng)作為查表預(yù)存在編解碼器中，通過(guò)編碼器選擇合適的最佳的楔形分割方式傳輸比特流來(lái)告知解碼器。

　　方塊的運(yùn)動(dòng)補(bǔ)償有一個(gè)很大的問(wèn)題，它無(wú)法模擬實(shí)際運(yùn)動(dòng)中的大量的卷曲和變換。AV1 采用了基于仿射變換的方塊補(bǔ)償來(lái)解決這個(gè)問(wèn)題。AV1 支持從幀到幀的全局變換，也支持塊到塊的局部變換。

　　在變換處理方面，AV1 除了支持傳統(tǒng)的 DCT，還支持 ADST、fADST、IDT ，由于他們都是二維可分割的，所以 AV1 共支持16種組合。同時(shí)，AV1還支持多種尺寸的變換快，最大為64x64，最小為4x4，還支持長(zhǎng)方形的變換塊尺寸。AV1 支持 DCT 是因?yàn)�，它�?duì)自然信號(hào)具有近似最優(yōu)解的壓縮效果，而當(dāng)殘差信號(hào)為單調(diào)變化時(shí)，那么 ADST 和反向 ADST 會(huì)有很好的壓縮效果。全等變換對(duì)于視頻是階躍變換時(shí)，會(huì)有很好的壓縮效果。

　　相比 VP9，AV1 增加了很多變換尺寸和變換類(lèi)型，這使得它的搜索空間大幅增加，編解碼復(fù)雜度也有所提升。

　　在量化方面，AV1 在 VP9 的基礎(chǔ)上增加了幾個(gè)新的工具，包括 Delta-q 和 Quantization matrix 等。這些工具使得 AV1 的量化有了更大的靈活性，它的特殊的使用場(chǎng)景下具有很好的使用效果，比如使用參數(shù)矩陣能夠提升主觀(guān)觀(guān)測(cè)的質(zhì)量。

　　在熵編碼方面，AV1 使用了多符號(hào)算數(shù)編碼，能有較高的吞吐量，具備快速概率模型自適應(yīng)的特點(diǎn)。

　　在視頻壓縮技術(shù)中，對(duì)變換后的系數(shù)矩陣的壓縮和傳輸將占比特流的絕大部分，甚至超過(guò)50%，AV1 里針對(duì)這個(gè)變換矩陣的傳輸使用了分層編碼的方法，分層編碼將使用兩次掃描對(duì)當(dāng)前塊的矩陣進(jìn)行壓縮，第一次掃描將會(huì)編碼系數(shù)的絕對(duì)值，第二次編碼將會(huì)編碼系數(shù)的符號(hào)。讓我們用一個(gè)例子來(lái)說(shuō)明分層編碼的過(guò)程。如下圖所示，左側(cè)代表當(dāng)前的系數(shù)矩陣和掃描的順序，第一行表示第一次編碼，第一次編碼從終止位置開(kāi)始，逆掃描方向逐漸走向起始位置，深黃色的塊表示當(dāng)前的像素值，淺黃色表示它能用到的周?chē)�的�?shù)值信息，第二行表示第二次編碼從起始位置開(kāi)始一直到終止位置，第一次編碼只編碼系數(shù)的絕對(duì)值，第二次編碼將編碼系數(shù)的符號(hào)。

　　環(huán)內(nèi)濾波是目前視頻標(biāo)準(zhǔn)的必要組成部分。AV1 除了有傳統(tǒng)的去區(qū)塊濾波器，還增加了新工具，比如約束方向增強(qiáng)濾波器（CDEF），還有幀超分辨率重建、環(huán)內(nèi)重建濾波器，以及電影顆粒膠片效果合成器。

　　AV1 的去區(qū)塊濾波器對(duì) Y、U、V 三個(gè)信號(hào)通道分別采用不同的濾波強(qiáng)度。對(duì) Y 通道，水平濾波和垂直濾波采用不同的濾波強(qiáng)度。這個(gè)設(shè)計(jì)為去區(qū)塊濾波增加了更多可優(yōu)化的空間。

　　約束方向增強(qiáng)濾波器（CDEF），應(yīng)用在去區(qū)塊濾波之后，對(duì)每一個(gè)8x8的塊估計(jì)物體的方向，并沿著物體方向采用增強(qiáng)濾波。它能保留物體邊緣的清晰度，提升重建圖像的質(zhì)量。

　　幀超分辨率重建，應(yīng)用在 CDEF 之后。它首先將圖像沿著水平方向降采樣，只對(duì)低分辨率圖像進(jìn)行編碼，在解碼器升采樣把低分率圖像還原為原分辨率。這個(gè)方法顯著提升了低碼率下的編解碼的主觀(guān)觀(guān)測(cè)質(zhì)量。

　　環(huán)內(nèi)重建濾波器，是另一個(gè)重要的增強(qiáng)圖像質(zhì)量的后期處理方法。它包含了兩種濾波器。編碼器從兩者中選擇其一。Wiener 濾波器采用可分離的對(duì)稱(chēng)設(shè)計(jì)。自導(dǎo)向投影濾波器使用兩個(gè)重建信號(hào)的線(xiàn)性組合來(lái)近似真實(shí)信號(hào)。編碼器通過(guò)比較濾波結(jié)果，選擇合適的參數(shù)，并傳輸給解碼器。

　　電影膠片顆粒效果合成，是針對(duì)高質(zhì)量視頻而設(shè)計(jì)的一個(gè)工具。電影膠片的顆粒效果，很難用傳統(tǒng)的視頻壓縮方法保留。AV1 將顆粒效果合成作為后期處理的步驟，對(duì)顆粒效果單獨(dú)處理。它的工作原理是將電影膠片顆粒效果在編碼前從原視頻中分離出來(lái)。分離后的圖像進(jìn)行普通編解碼，而顆粒效果在最后與解碼后的圖像合成為最終的輸出視頻。

　　我們對(duì)比了 AV1 與 VP9 和 HEVC，嚴(yán)謹(jǐn)?shù)刂v，我們對(duì)比的是這幾種編碼標(biāo)準(zhǔn)所使用的參考軟件實(shí)現(xiàn)，AV1 使用的參考軟件實(shí)現(xiàn)是 Libaom，VP9使用的是 Libvpx，HEVC 使用的是 x265。我們的測(cè)試環(huán)境是 AWCY，它是一個(gè)公開(kāi)的測(cè)試集，包含了30多個(gè)從360p 到1080p 的測(cè)試視頻文件，測(cè)試條件固定 QP60幀。在這樣的測(cè)試環(huán)境下，我們可以看到 Libaom 比 Libvpx 約有30%的壓縮效率提升，比 x265 有27%的效率提升。

　　Facebook 也在他們實(shí)際應(yīng)用場(chǎng)景中，對(duì)比測(cè)試了 AV1、VP9 和 H.264。AV1 的效率比 H.264 提升了 50%，比 VP9 提升了30%。

　　莫斯科國(guó)立大學(xué)每年也會(huì)進(jìn)行編碼器的效果測(cè)試，在他們的測(cè)試結(jié)果中，AV1 取得了最佳的壓縮效果，明顯超越了 H.264、H.265 和 VP9。

　　我們都知道，現(xiàn)在的視頻壓縮標(biāo)準(zhǔn)用更高的編解碼復(fù)雜度換取視頻壓縮效率的提升，當(dāng)然實(shí)際應(yīng)用中我們不可能無(wú)限制提高編解碼復(fù)雜度，那平衡點(diǎn)在哪里呢？對(duì)于視頻點(diǎn)播的公司而言 Netflix 給出了他們的回答。他們認(rèn)為 AV1 的編解碼復(fù)雜度，如果能控制在 VP9 的 4-10 倍，就可以應(yīng)用于他們的產(chǎn)品中。我們 AV1 的復(fù)雜度是多少呢？截止今年8月初，我們對(duì)比了 AV1 與 VP9 在速度 0 到速度 3 的編碼復(fù)雜度。先解釋一下，速度 0 表示壓縮效率最高，但速度最慢，速度 3 反之。相比于 VP9，AV1 在速度0是 VP9的70倍，在速度3則已經(jīng)降低到10倍以?xún)?nèi)。AOM 軟件開(kāi)發(fā)組正在進(jìn)行AV1編解碼的優(yōu)化，這個(gè)數(shù)值也在不斷下降。

　　AV1 當(dāng)前的重要目標(biāo)是編解碼的優(yōu)化，在編碼端需要更多的 SIMD 代碼支持，還要重新設(shè)計(jì)編碼，尤其是降低在硬件端的復(fù)雜度。在編碼方面，我們需要加快編碼速度，我們需要更高效的分割算法，更優(yōu)的濾波器類(lèi)型、編碼類(lèi)型、運(yùn)動(dòng)估計(jì)算法等。

　　在 AV1 中，我們使用了很多機(jī)器學(xué)習(xí)算法，它使得 AV1 能做出很多快速的決定，比如對(duì)搜尋方塊劃分的類(lèi)型。我們相信在接下來(lái)的工作中，更好的機(jī)器學(xué)習(xí)算法會(huì)有助于 AV1 視頻編解碼的加速。我們?cè)谖磥?lái)還將繼續(xù)嘗試其它新的視頻壓縮工具，比如光流的算法、基于機(jī)器學(xué)習(xí)的預(yù)測(cè)與合成的算法、基于機(jī)器學(xué)習(xí)的變換方法等。相信在 AOM 的框架下，以及各個(gè)成員與整個(gè)生態(tài)系統(tǒng)的支持下，AV1 在不久的將來(lái)會(huì)獲得更廣泛的應(yīng)用。

　　陳誠(chéng)：目前 AV1 處于第二階段，我們已經(jīng)完成了標(biāo)準(zhǔn)的定稿以及瀏覽器軟件解碼的支持。未來(lái)一兩年內(nèi)會(huì)完成與硬件相關(guān)的設(shè)計(jì)與優(yōu)化，預(yù)計(jì)在2020年，AOM 組織內(nèi)的成員將都支持 AV1，那時(shí)任何人都可以使用到它。

　　觀(guān)眾：我們很關(guān)心 AV1的性能問(wèn)題。跟其它編碼器相比，在同樣的質(zhì)量條件下，壓縮同樣的內(nèi)容能節(jié)省多少碼率。剛剛您已經(jīng)提供了一些比較詳細(xì)的數(shù)據(jù)。我有一個(gè)疑問(wèn)，印象中，在 Facebook 的測(cè)試中，與 H.264進(jìn)行對(duì)比，AV1能節(jié)省一半的碼率，我們知道 HEVC 和 H.264 的比較也是提升了一半。從這個(gè)角度講，AV1 和 H.265壓縮比應(yīng)該是相當(dāng)?shù)摹５珡钠渌鼒?bào)告來(lái)看，又顯示 AV1 略勝于 H.265，但是數(shù)據(jù)略有浮動(dòng)，有的是20%，有的是40%。您能提供一個(gè)比較權(quán)威的對(duì)比解讀么？AV1到底比 H.265 強(qiáng)多少？

　　陳誠(chéng)：我的說(shuō)法僅是個(gè)人意見(jiàn)，無(wú)法作為官方解釋來(lái)參考。不同的測(cè)試環(huán)境會(huì)導(dǎo)致測(cè)試效果的不同。我認(rèn)為有兩方面的差異導(dǎo)致了結(jié)果不同。首先是所使用的測(cè)試集，其次就是測(cè)試條件不同。關(guān)于測(cè)試條件，AV1 的研發(fā)目前主要為互聯(lián)網(wǎng)公司的視頻點(diǎn)播提供壓縮算法。以 youtube 和 Netflix 來(lái)說(shuō)，他們是給一個(gè)固定的碼流來(lái)進(jìn)行壓縮，而AV1與HEVC的對(duì)比是基于固定 QP 作為對(duì)比條件。AV1 的設(shè)計(jì)初衷是在一個(gè)固定碼流下進(jìn)行壓縮，并沒(méi)有針對(duì)固定 QP 進(jìn)行優(yōu)化。這就導(dǎo)致了在很多的對(duì)比測(cè)試中，AV1 看起來(lái)并沒(méi)有比 HEVC 提升多少。我在解釋是基于 youtube、Netflix 等公司在實(shí)際應(yīng)用環(huán)境中的測(cè)試結(jié)果，他們認(rèn)為 AV1 已經(jīng)超過(guò)了 H.264、H.265。