【硬體編年史】秦始皇都做不到統一！視頻編碼的那點事

空間占用是一回事，如果視頻網站上都是這種大小的視頻，那你觀看個10分鐘的4K視頻就要花掉600GB的流量，多看幾個視頻，房子就歸運營商的了。因此視頻壓縮編碼就尤為重要了，在傳統數據壓縮算法來看視頻文件裡面基本上是沒有什麼冗餘信息的，所以人們就有必要去開發針對視頻的壓縮算法，把實際存在的冗餘信息給去掉，從而減少它的數據量，達到減小占用容量的目的。

規格的制定者：國際電聯ITU-T & 國際標準化組織ISO & 新勢力

長期以來視頻編碼標準主要由兩個國際組織負責制定：國際電信聯盟ITU-T和國際標準化組織ISO。當然這兩個國際組織的實力還是在的，其中ITU-T的視頻編碼專家組名稱為：Video Coding Expert Group 即VCEG，H.26X系列就出自它之手。而國際標準化組織ISO/IEC的視頻編碼專家組名稱為：Moving Pictures Experts Group即MPEG，它的作品則是MPEG-1、MPEG-2、MPEG-4等。

當然除了上述的兩個國際組織外，在視頻編碼領域也不乏挑戰者，像比較有影響力的則有Google，在收購了On2後陸續推出了VP8和VP9兩種編碼格式，一度成為最強力的挑戰者；我們熟悉的老朋友微軟也推出過自己的視頻編碼標準即VC-1，不過後來也逐漸沒落了；國產化的道路也沒有停止，國內也有自己的標準——AVS，並且至今一致疊代中。當然還有近年來才創立的AOMedia，它們推出的AV1有望成為未來的趨勢。這些視頻編碼格式我們也將在下文中詳細介紹。

一張圖帶你了解一下視頻編碼發展的漫長曆程，其中還有不少你聞所未聞的視頻編碼標準，不過有些已經淹沒在歷史的車輪中，有些則憑藉更新的技術不斷疊代甚至進化成了全新的標準，挑戰視頻編碼界的老前輩們。閒言少敘，下面我們一同見證視頻編碼的發展。

首個數字視頻壓縮標準：H.120（1984）

最早的視頻編碼標準誕生在1984年，它被命名為H.120，由ITU-T的視頻編碼專家組制定，同時它也是首個國際視頻壓縮標準，主要用於視頻會議或保存電視內容，雖然它沒能大規模的使用，但不得不說這是一次偉大的成就。

一切的開始：H.261（1988）

後來，隨著網際網路的發展，用戶開始有在網絡上看視頻的需求後，更高級的H.261誕生了。H.261與首個數字視頻編碼標準H.120不能說一模一樣，只能說毫不相干。為了這個更高級的視頻壓縮編碼，無數研發人員使用了一直延用至今的離散餘弦變換（DCT）算法。

其實DCT算法簡單來說就是利用了人眼對畫面細節的分辨是有限的，人的眼睛沒辦法捕捉到那些細緻入微的小細節，因此DCT算法就是將圖像從空間域轉換到頻率域，即分為低頻域跟包含細節的高頻域，然後經過量化後，保留絕大部分的低頻信息，減少人眼不敏感的高頻信息，從而實現圖像的壓縮，減少體積。

不過這只是早期針對圖像的一種壓縮，對於視頻壓縮來說並不算重大發明，因此研究者引入了一系列針對視頻的特性，這也奠定了現代視頻編碼的基礎，其中主要有宏塊（Macroblock）和基於宏塊的運動補償（Motion Compensation）。

怎麼理解宏塊？研究者發現絕大部分視頻中可以分為主體跟背景兩部分，而背景有很長時間是不動的，因此可以利用重複利用不動的影像，降低視頻的體積。所以一個視頻的每一幀可以劃分為無數個小區塊，這樣兩幀視頻之間重複且沒有運動的區塊就可以沿用前一幀的畫面，而產生運動的區塊則只需要給它增加一個方向和距離的矢量，這就是「基於宏塊的運動補償」，而視頻本身需要存儲的只有那些少數與前一幀完全不同的區塊即可，這樣大大的減少了視頻體積，不得不說想出這個辦法的人真的聰明。

在上面我們說到記錄前一幀的畫面可以形容為完整的幀，稱為關鍵幀I幀，它就是一張完整的靜態圖像，可以直接被解碼出來，而後續那些通過相關方向和距離矢量運動補償算法計算得到的就是預測幀P幀。這種基於宏塊的運動補償與DCT算法的結合就組成了現代視頻編碼的開山鼻祖H.261。

VCD的標準：MPEG-1（1991）

在ITU-T創造H.261的同時，另一邊也在奮起直追，在1988年，ISO和IEC兩大國際標準化組織建立了MPEG（動態圖像專家組，Moving Picture Experts Group），並在1992年完成了MPEG-1的制定，後來也成為了VCD的標準，一度風靡世界。由於它在H.261的基礎上進行了改進，因此可以理解為MPEG-1是H.261的Plus版本，它繼承了H.261的宏塊、運動補償、DCT算法等，還新增了幀序列、雙向預測幀、亞像素精度的運動補償等新技術。

其中值得說道的就是這個雙向預測幀，在H.261時可以分成兩種幀，一種是完整的關鍵幀I幀，一種是通過運動補償算法在I幀基礎上計算得到的預測幀P幀，而MPEG-1在此基礎上引入了幀類別的概念，不僅有完整的I幀與P幀，還有雙向預測幀B幀，顧名思義，B幀即可以通過前面的關鍵幀I幀進行補償算法運算出部分信息做參考，同時也可以通過後續的P幀補充前面預測所缺失的部分細節。由於比預測幀I幀參考了更多的信息，雙向預測幀B幀相比預測幀I幀能夠節省更多空間。

但是，由於雙向預測幀B幀的引入也帶來了一個新的問題，即編解碼難度上升了，所需要的算力也增加了。而幀序列的意思是一些按順序排列的圖像幀的組合，簡稱為GOP，一個完整的GOP內，一個I和P幀之間隔了三個B幀，視頻編碼時會通過I幀預測生成P1和P2幀，再通過這三幀畫面雙向預測出中間的B1、B2、B3幀。因此實際視頻編碼中，B幀確實是最多的幀，編解碼難度上升也是意料之中了。

除此之外，H.261中引入的幀間預測精度為像素級的，對很多宏塊的運動預不夠精確，而MPEG-1在此基礎上進行了優化，引入了亞像素級別的運動補償，更高精度的像素能夠更準確的命中運動的宏塊，提高預測準確度。以上這些技術已經初步形成了視頻編碼技術的基礎，後續絕大多數視頻編碼標準都是在此基礎上進行改進，通過不斷優化算法，提升預測時的像素密度從而實現更高的壓縮比。

DVD的標準：H.262/MPEG-2（1994）

在MPEG-1推出不久後，MPEG-2來了，不過它還有一個名字，就是H.262，相比MPEG-1，它其實並沒有太大的改動，主要是在傳輸和系統方面做了更加詳細的規定和進一步的完善。並且MPEG-2在制定時充分考慮到了數位電視系統的需求，也加入了對隔行掃描的支持。

除此之外，MPEG-2最大的亮點就是DVD的應用，由於它能夠提供更高的碼率，因此在當時一度成為了DVD的標準，從而順利地成為了世界範圍內通行的視頻編碼格式，時至今日，它仍然被大量地應用在數位電視等系統中。

3GGP座上賓：H.263（1995）

H.263就比較複雜了，H.263是國際電聯ITU-T制定的，是為低碼流通信而設計。但實際上這個標準可用在很寬的碼流範圍，而非只用於低碼流應用，它被多數人認為是用於取代H.261。不過H.263的編碼算法與H.261一樣，只是做了一些改善，例如：加入了新的運動向量中值預測法，在編碼效率上相比H.261有較為明顯的提升。

並且H.263的同門師兄弟眾多，在初版之後還存在H.263+和H.263++兩個官方升級版。與H.263標準相比，H.263+標準主要有以下幾個方面的改進。提高了壓縮效率，相對初版有15~25%的總體提升，主要是通過增加幀內編碼模式和增強PB幀模式做到的；而H.263++標準則在H.263+基礎上增強了參考幀的選擇模式和增加數據分片選項，這樣做能夠提高編碼效率。

後續H.263也得到了廣泛的應用，它與FLash一度活躍在各種視頻網站上面，風光程度不亞於MPEG-1和MPEG-2稱霸VCD與DVD；並且在通信業，H.263在3GPP中占有很高的地位，包括運營商的標準一直保留著H.263，地位遠遠高於它的師弟H.264。

老熟人：MPEG-4（1998）

MPEG-2之後，MPEG組織為了追趕隔壁的H.263，開始奮起直追，終於在1998年時，MPEG-4標準正式誕生，它主要應用於視像電話，視像電子郵件和電子新聞等。它的核心設計實際上與H.263趨同，但是包含了更多關於編碼效率的增強。

儘管MPEG-4是一個野心勃勃的編碼，但它依舊遭到了業界的冷待和批評。一個是它的壓縮率雖然相比起MPEG-1有不小的提升，但相比起它的前作MPEG-2並沒有質的提升，更多是小修小補，而且還有授權和專利費用等問題因此普及率遠不及後續的H.264/AVC。

曾經一統江山：H.264/AVC（2003）

H.264 是目前公認的效率最高的的視頻編碼。它是由國際電信聯盟通電信標準部 (ITU-T) 和國際標準化組織/國際電工委員會動態圖像專家組 (ISO/IEC MPEG) 共同開發的一種視頻壓縮技術。它的另外一個名稱是 MPEG-4 AVC或MPEG-4 Part10。

目前 H.264 被廣泛的運用在藍光電影、數位電視、衛星電視、網絡媒體等領域。可以說 H.264 是目前被運用得最為廣泛的視頻編碼。並且它在多方面進行了改善，總結下來主要有如下的幾點：更靈活的宏塊劃分方法、數量更多的參考幀、更先進的幀內預測和壓縮比更高的數據壓縮算法。

在上面我們介紹了宏塊，而H.264/AVC在原有的宏塊劃分上進行了改進，原本的宏塊劃分是以16 x 16像素為一個，不過這種劃法在2003年顯然不太夠用了，因此H.264引入了16 x 8、8 x 16、8 x 8、8 x 4、4 x 8和4 x 4這些精細度更高的劃分方式。並且亞像素精度的運動補償描述從MPEG-1的1/2像素精度細化到了1/4的程度，在預測過程中，能夠提高更準確的精度，同時還能進一步提高壓縮率。

而「數量更多的參考幀」是指H.264/AVC在原本I幀與P幀中僅含3幀B幀的情況下，將限制放大到16幀，因此可參考預測的幀將會變多，能夠提升畫面質量及降低視頻體積。「更先進的幀內預測」則是類似一幅圖裡數據在包含了多種顏色、光亮，而人的肉眼很難察覺的所有的變化，對於這些數據可以認作是冗餘，直接壓縮掉的。這裡只是簡單描述，而H.264對4 x 4的宏塊規定了9種預測模式，對16 x 16的亮度平面宏塊規定了4種可用模式，整體能夠減少單幀圖像的數據量，並且保證畫面質量。

最後再來說說這個「更高的數據壓縮算法」，在數據壓縮時通常需要編碼，而H.264在VLC編碼的基礎上研發了兩種無損數據壓縮編碼，一種是VLC的升級版——CAVLC，另一種是複雜程度更高的CABAC，簡單來說就是能夠使用編碼來替代數據，從而達到壓縮的效果。

也正是因為這些技術手段的改進，使得H.264/AVC至今仍然應用廣泛，甚至一度統治了視頻編碼界，即使在現在這個新視頻編碼不斷湧現的時代，它依舊憑藉超高的泛用性和不錯的壓縮性能宰治著4K以下的視頻編碼領域。

曇花一現：VC-1（2003）

同年誕生的還有一個VC-1，全名VC-1視訊編解碼器（Video Codec 1），是微軟所開發的視頻編解碼系統。2003年提出標準化申請，最早名字是VC-9。2006年4月正式通過成為標準。它的前身其實是微軟的Windows Media Video 9(WMV9)格式，不過由於VC-1的疊代更新，WMV9格式現在已經成為VC-1標準的實際執行部分。

總的來說，從壓縮比上來看，H.264的壓縮比率更高一些，也就是同樣的視頻，通過H.264編碼算法壓出來的視頻容量要比VC-1的更小，但是VC-1 格式的視頻在解碼計算方面則更小一些，一般通過高性能的CPU就可以很流暢的觀看高清視頻，講人話就是VC-1在軟解上對CPU更加友好。

另外， VC-1多為 「.wmv」後綴，如果你是90後在一些高清DVD或藍光光碟上應該也見過這個格式，不過也因為VC-1與高清DVD有一定的捆綁關係，在那個DVD興起的時代，這個視頻編碼格式紅極一時。但隨著現在流媒體時代的開始，VC-1也隨著DVD逐漸淡出人們的視野，不過也因為它極佳的兼容性，「.wmv」這個後綴的視頻在現在還有不少人在用，但大多數都是在問「wmv怎麼轉mp4」。

本土力量：AVS（2006）

視頻編碼也有「國標」！我國視頻編碼領域的專家從1996年開始追蹤國際標準化工作。除了上面提到的兩個國際標準化組織以外，2002年6月，我國正式成立了數字音視頻編解碼技術標準工作組（AVS），其主要任務是面向我國的信息產業需求，聯合國內企業和科研機構，制（修）訂數字音視頻的壓縮、解壓縮、處理和表示等共性技術標準。自AVS工作組成立以來，至今，已制訂了三代 AVS 標準：AVS、AVS+/AVS2和AVS3，其中2006年2月，AVS視頻編碼成為國家標準，獲批的標準號為GB/T20090，並於2006年3月1日起實施。

AVS最直接的產業化成果是未來10年我國需要的3-5億顆解碼晶片，最直接效益是節省超過10億美元的專利費。另外早在2005年時，AVS就與華為、TCL、海信等企業成立了AVS產業聯盟，推動AVS的產業化進程，早日形成完整的產業鏈和多廠家供貨環境，為中國音視頻產業的發展注入強勁動力。後續華為海思也在2019年發布了全球首顆基於AVS3.0視頻標準的8K/120fps解碼晶片Hi3796CV300，該產品的發布也有助於引領我們未來5年到10年8K超高清和VR視頻產業的發展。

飽受爭議：VP8（2008）

VP8 是類似於H.264/AVC的另一種視頻編碼，由On2公司開發。不過後來Google收購了 On2，因此VP8現在歸Google所有。在收購On2不久之後，Google就宣布了VP8將永久免費。至於它的編碼性能，從壓縮效率的角度上，VP8比H.264差很多，這也是因為VP8想要規避H.264/AVC的相關專利所作出的妥協。

另外由於VP8在開發過程中參考了H.264/AVC的代碼，對於很多技術細節，只有幾段代碼而沒有任何相關解釋。所有的技術細節幾乎掌握在谷歌手中。並且x264 的主要開發者之一曾對 VP8 的參照實現的原始碼進行過仔細分析，得出的結論是VP8和H.264過於相似，很難相信沒有任何專利侵權之處。

雖然谷歌一直宣稱VP8不會有專利問題，但不少公司為了不必要的麻煩都選擇了專利更為明確且收費的H.264/AVC，這也是VP8遲遲無法推動的原因之一。

後繼有人：H/265/HEVC（2013）

隨著視頻解析度的提高，4K甚至8K對H.264/AVC就有些力不從心了，因此更強的H.265/HEVC應運而生。同樣的，它也是由MPEG和ITU-T聯合制定的國際標準編碼。因此從誕生之處就有多個名字，在ITU-T這，它是H.26x家族的新寵——H.265，而在MPEG那，它又被稱為MPEG-H Part 2。

H.265/HEVC主要是針對高清及超清解析度視頻而開發的，H.265/HEVC標準在H.264/AVC的基礎上對一些技術進行改進，僅需原來的一半帶寬就可以播放相同質量的視頻。值得一提的就是H.265/HEVC在編碼和解碼過程中不使用宏塊。相反，它使用了全新的編碼樹單元 (CTU)，它們的大小或形狀不一定相同，但保留了可分割的特性。單個CTU可以小至4 × 4像素，大至64 × 64 像素，這使得程序可以更有效地壓縮數據。

除此之外，單個CTU單元還可以繼續被切割、分類，可以成為預測單元（Prediction Units），並且可以指示該單元採用何種預測形式，無論是幀內預測還是幀間預測亦或者是其他形式；當然這個CTU單元也可以成為轉換單元（Transform Units），可以配合DCT算法進行更精確的變化，真正做到有的放矢，精細化操作，讓轉碼效率變得更高效。

正因為引入了CTU這一概念，H.265/HEVC還配套性的提供更高效的運動補償和預測技術，使其成為非常動態視頻的特別好選擇。如：H.265/HEVC將DCT算法的最大尺寸擴大到了32 x 32的地步，使其有著更高的壓縮率；另一個改動則是將宏塊的幀內預測方向擴張至35種，一系列的操作都使得視頻壓縮過程更加高效。

當然，別看H.265/HEVC在性能上突飛猛進，但在推廣上可是碰了一鼻子灰。究其原因主要是兩點，一是它的編解碼難度比H.264/AVC高了太多，不過這點已經通過軟體優化跟新的硬體編碼器化解了，真正妨礙H.265/HEVC推廣的其實還是它高昂的專利費用問題，每個用戶需要1美元左右，對於普通人可能沒什麼，但對那些以流媒體或直播為主的網站那就是一筆不小的開支，並且收專利費這個行為在業界普遍追求開放、開源的今天無疑是一大劣勢。

VP8的繼任者：VP9（2013）

VP8的表現並不理想，Google很快就推出了它的繼任者——VP9。但與上次設計VP8一樣，谷歌參考了H.265/HEVC，但與後者最大的區別是前者使用時基本不需要支付費用，不過還是因為VP8中類似的原因，眾多廠商為了避免不必要的麻煩還是選擇使用了收費的H.265/HEVC協議，並且由於VP9是谷歌獨自研發的，在實際推廣中，不少公司也不願看到 VP9一家獨大，甚至於主流視頻編碼格式被壟斷。因此目前VP9的應用範圍實際局限在Google自家的YouTube中。

不過它的視頻編碼性能還是值得說道一下的，其編解碼性能與 H.264/AVC相當或略快，但質量更好。

而VP9的編碼視頻質量在相似比特率下可與H.265/HEVC相媲美，在實際應用中幾乎不存在差異。

至於VP10嘛，谷歌的說法是：VP10視頻編碼的技術被收錄在開放媒體聯盟所領導的AV1編碼中，因此不會繼續推出VP10視頻編碼技術，不過從AV1的AOMedia成員名單中也可以看到谷歌的身影，這也側面佐證了這一點。

未來的趨勢：AV1（2015）

不少廠商也注意到了H.265/HEVC的專利問題，而視頻服務商也是苦不堪言，終於受不了H.264/H.265的收費模式了，所以聯合起來開放媒體視頻聯盟（Alliance of Open Media Video），我們先看看這個聯盟里有誰！谷歌、蘋果、微軟、英特爾、思科等，好傢夥，一眼看過去全是大廠！

上面提到了這些大廠聯合成立了開放的AOMedia，劃重點！「開放」！這也意味著它們推出的AV1視頻編碼格式是不受專利限制的，任何廠商和用戶都可以直接使用。這也是AV1區別於H.265/HEVC等格式的地方，開放且免費是它的重要優勢之一，這也是為什麼它能夠快速推廣普及的原因。

作為下一代主流的視頻編碼技術，AV1有著自己獨特的優勢，更快的編碼速度和更高質量的流媒體傳輸性能，讓越來越多的剪輯軟體和視頻網站青睞於它，像我們熟悉的達文西、剪映等工具已經支持AV1編解碼，而熱門的流媒體平台，像B站等也悄咪咪的支持了AV1的應用，可以說未來AV1將會成為一個新趨勢，距離全面普及只是時間問題。

相比傳統的H.264編碼，AV1編碼的效率平均提升了40%，在同碼率下AV1編碼的畫質將更好。目前大部分直播的解析度和清晰度，均受限於平台規定的最大比特率。以Twitch限制的8Mbps為例，可以看到在同等帶寬下，同為2K 60幀的畫面，採用AV1編碼的清晰度明顯比H.264更高。

當然，直播只是我們更容易見到的AV1優勢，在視頻工作的所有環節，AV1編碼都可以帶來極大提升。比較顯而易見的優點是AV1編碼的文件占用空間也比H.265要小，無論是4K解析度還是8K解析度，使用AV1編碼後，文件整體大小能夠降低25%以上。並且AV1編碼的視頻在畫質上與H.265也沒有明顯差距。

說到這裡你可能會覺得既然AV1那麼好，大家全換AV1編碼就好啦，這裡就要給你潑一盆冷水了，與H.265.HEVC一樣，由於AV1的壓縮率更高，因此它對硬體的計算要求也不是一般的高，沒有硬體優化的話，僅僅是解碼觀看AV1視頻就會讓用戶感覺電腦在忙，風扇在起飛似的。

這是因為不支持硬體級的AV1解碼只能將這份工作轉交給CPU，此時CPU的負載必然升高，那風扇不就起飛了嘛。想要擁有硬體級的AV1編解碼最簡單的方式還是換裝新，像NVIDIA的RTX 40系，蘇媽家的RX 7000系以及的Arc系列顯卡甚至11代及以上帶核顯的酷睿處理器均支持AV1的硬體解碼。而手機端像天璣1000、驍龍8Gen2等主流處理器也已經支持AV1的硬體解碼技術，可提供更好的視頻體驗。

最後值得一提的是，AOMedia在2020年開始了下一代標準AV2的研發工作，下一代視頻編碼標準AV2將為多媒體通信產業界打開新的局面並創造新的機遇。

新的挑戰者：H.266/VVC（2020）

面對AV1的進擊，ITU-T和ISO/IEC在2020年也給出了自己的答案，那就是最新的H.266/VVC，從技術角度來看，和H.265/HEVC問世時類似，H.266進一步優化了壓縮，大約可以節省50%的數據流量，同時保證視頻傳輸清晰度不變。簡單來說，基於H.265編碼的一段90分鐘UHD 4K視頻需要10GB左右，基於H.266則僅5GB。

總的來說，H.266/VVC的意義相當非凡，如今網絡視頻已經普及，使用新的視頻編碼之後，同等清晰度下，可以進一步節省帶寬，減少卡頓等情況，提升用戶體驗，同時降低企業成本。如果H.266/VVC得到普及，所有與超高清視頻相關的行業將迎來巨大變革，說視頻編解碼技術H.265/H.266是4K/8K超高清視頻發展的基石也不為過。

但還是老生常談的問題，從歷史來看，H.265/HEVC的採用可以說相當緩慢，2013年標準簽署，直到2017年才在iOS 11上被蘋果支持。而如今，H.264/AVC仍舊占據相當主流。再加上使用H.26X系列需要支付專利費的問題，並且新的H.266/VVC的專利費相比H.265/HEVC還要小幅增長，這對它的普及又是一個不小的鴻溝。

除此以外，H.266/VVC還要面對以AV1為代表的開放標準的挑戰，儘管它改進了一堆技術，但在免費開源面前，如果專利授權費用問題沒能有很好的解決方式，那恐怕難以複製H.264/AVC當年的奇蹟。

寫在最後

隨著現在顯示設備的解析度越來越高，不少觀眾享受到了更高清的觀看體驗，這其中也少不了視頻編碼的功勞。從視頻編碼的發展史看，從最早推出的H.261開始，開發者致力於提升算法，讓編解碼的效率更高效，不少新推出的視頻編碼在帶寬與容量上面下足了功夫，相比舊的編碼方式，節約的可不止一點半點，甚至更新的編碼在畫質表現上也更有優勢。

眾所周知，網際網路中最大的流量使用就是視頻，而隨著設備的疊代，流媒體的興起，這部分的流量只會越來越大，而網際網路的帶寬有限，無限提升視頻流量顯然是不智之舉，更新更高效的視頻編碼就是最好的解決方案，即為B站、YouTube這種流媒體網站節省帶寬、流量的開銷，也為用戶節約流量與存儲空間。

而在過去十年來，視頻編碼標準領域也逐漸從H.264的一家獨大轉向了多種編碼方案共存、共同競爭的局面。對於整體市場而言，更多競爭無疑能夠打破壟斷、帶來更多選擇，推動行業技術更快進步，像我們上文提到的AV1、VP9甚至是VVC等都是未來的編碼趨勢。這次的硬體編年史就到這啦，我們下次再見~另外本文筆者只是通過簡單的描述，想讓更多人了解視頻編碼的發展史，其中也存在諸多的不足，還望了解的讀者指出。