高通和騰訊聯(lián)手打造全球首個(gè)H.266/VVC手機(jī)優(yōu)化演示
通信世界網(wǎng)消息(CWW)多功能視頻編碼(VVC,Versatile Video Coding)是國(guó)際電信聯(lián)盟電信標(biāo)準(zhǔn)化部門(ITU-T)和國(guó)際標(biāo)準(zhǔn)化組織/國(guó)際電工委員會(huì)(ISO/IEC)聯(lián)合制定的最新國(guó)際視頻編碼標(biāo)準(zhǔn)。與前代高效視頻編碼(HEVC)相比,VVC編解碼器能夠在保證相同視頻質(zhì)量的情況下,縮減視頻數(shù)據(jù)大小約50%。在網(wǎng)絡(luò)視頻流量不斷增長(zhǎng)的時(shí)代,視頻壓縮變得越來(lái)越重要。隨著使用生成式人工智
2023-08-01 10:08:54
來(lái)源:通信世界全媒體??

通信世界網(wǎng)消息(CWW)多功能視頻編碼(VVC,Versatile Video Coding)是國(guó)際電信聯(lián)盟電信標(biāo)準(zhǔn)化部門(ITU-T)和國(guó)際標(biāo)準(zhǔn)化組織/國(guó)際電工委員會(huì)(ISO/IEC)聯(lián)合制定的最新國(guó)際視頻編碼標(biāo)準(zhǔn)。與前代高效視頻編碼(HEVC)相比,VVC編解碼器能夠在保證相同視頻質(zhì)量的情況下,縮減視頻數(shù)據(jù)大小約50%。在網(wǎng)絡(luò)視頻流量不斷增長(zhǎng)的時(shí)代,視頻壓縮變得越來(lái)越重要。隨著使用生成式人工智能(AI)制作視頻內(nèi)容的浪潮即將到來(lái),同時(shí)視頻內(nèi)容制作和內(nèi)容消費(fèi)的節(jié)奏不斷加快,減少多媒體內(nèi)容的比特?cái)?shù)仍是一個(gè)重要問(wèn)題。

讓我們來(lái)看看那些使VVC區(qū)別于當(dāng)前所使用的視頻編碼器的基礎(chǔ)創(chuàng)新,以及高通技術(shù)公司為打造一個(gè)充滿活力的VVC生態(tài)系統(tǒng)所做出的努力。

新一代視頻編碼器中的基礎(chǔ)創(chuàng)新:推動(dòng)生態(tài)系統(tǒng)向前發(fā)展

面向常見用戶體驗(yàn),優(yōu)化視頻編碼

不止于顯著降低數(shù)據(jù)大小,在視頻會(huì)議、屏幕共享和全景視頻等特定視頻場(chǎng)景中,VVC編解碼器還引入了多種特別實(shí)用的智能工具。

視頻會(huì)議

新冠疫情對(duì)人們的工作方式產(chǎn)生了深遠(yuǎn)的影響,致使人們對(duì)遠(yuǎn)程辦公工具(尤其

是視頻會(huì)議軟件)的需求劇增,視頻通話已成為個(gè)人和專業(yè)用途中很重要的通信方式。

在視頻通話中,會(huì)持續(xù)監(jiān)測(cè)兩端的網(wǎng)絡(luò)帶寬,并相應(yīng)調(diào)整入站和出站視頻質(zhì)量,使視頻數(shù)據(jù)適應(yīng)可用帶寬。對(duì)于以前的視頻編解碼器,比如高效視頻編碼(HEVC)和高級(jí)視頻編碼(AVC),當(dāng)視頻分辨率發(fā)生變化以適應(yīng)可用網(wǎng)絡(luò)帶寬時(shí),服務(wù)器需要發(fā)送一種特殊類型的幀,稱為“即時(shí)解碼刷新”(IDR)幀。這會(huì)中斷時(shí)間預(yù)測(cè),意味著無(wú)法引用來(lái)自先前幀和后續(xù)幀的數(shù)據(jù)估算。

VVC提供了一種叫做“參考圖像重采樣”(RPR)的特殊功能,可以彌補(bǔ)當(dāng)前這一代視頻編解碼器的不足。在解碼時(shí),RPR能夠改變視頻的分辨率,而無(wú)需IDR幀。這能夠避免大量IDR幀帶來(lái)的數(shù)據(jù)量激增,從而實(shí)現(xiàn)更流暢的視頻通話體驗(yàn),不會(huì)出現(xiàn)卡頓。

新一代視頻編碼器中的基礎(chǔ)創(chuàng)新:推動(dòng)生態(tài)系統(tǒng)向前發(fā)展(1)799.png

VVC中的參考圖像重采樣可實(shí)現(xiàn)更流暢的視頻通話體驗(yàn)

屏幕共享

屏幕共享在團(tuán)隊(duì)協(xié)作中變得越來(lái)越受歡迎,尤其是在遠(yuǎn)程辦公的時(shí)代。借助屏幕共享功能,團(tuán)隊(duì)成員可以輕松地展示他們的工作并實(shí)時(shí)進(jìn)行項(xiàng)目協(xié)作。隨著屏幕共享使用需求的不斷增長(zhǎng),與攝像頭生成內(nèi)容一起被渲染、混合或疊加的圖形數(shù)據(jù)的使用需求也在增長(zhǎng)。

從一開始,VVC就是一種旨在支持對(duì)屏幕共享內(nèi)容進(jìn)行編碼的編解碼器。VVC編解碼器包括五個(gè)主要的與屏幕內(nèi)容編碼相關(guān)的底層工具:變換跳過(guò)殘差編碼(TSRC)、基于塊的差分脈沖編碼調(diào)制(BDPCM)、幀內(nèi)塊拷貝(IBC)、自適應(yīng)顏色變換(ACT)和調(diào)色板模式。

通過(guò)減少需要傳輸?shù)臄?shù)據(jù)量,這些工具幫助提升編碼屏幕內(nèi)容的色彩準(zhǔn)確度和總體數(shù)據(jù)效率。以前的視頻編解碼器增加了一些屏幕編碼改進(jìn)特性,但這些不夠高效,且并非被所有終端支持。相比之下,由VVC定義的屏幕共享內(nèi)容的編碼工具在主檔次(Main Profile)中被默認(rèn)支持,并且應(yīng)該在大多數(shù)支持VVC的設(shè)備上可用。

相較于其他視頻編解碼器所展現(xiàn)出的高效率,可以說(shuō),VVC將會(huì)是那些擁有全部或部分屏幕共享內(nèi)容應(yīng)用的主流選擇。

 新一代視頻編碼器中的基礎(chǔ)創(chuàng)新:推動(dòng)生態(tài)系統(tǒng)向前發(fā)展(1)1289.png

VVC改善屏幕共享的色彩準(zhǔn)確度和總體數(shù)據(jù)效率

全景視頻

全景視頻已超越傳統(tǒng)視頻的被動(dòng)范式,提供更高程度的沉浸感和交互感。此項(xiàng)革命性技術(shù)能夠使用戶與場(chǎng)景或環(huán)境交互,在虛擬空間中感受參與感和臨場(chǎng)感。虛擬現(xiàn)實(shí)(VR)是一個(gè)已經(jīng)在我們?nèi)粘I钪袑?shí)現(xiàn)的沉浸式技術(shù)范例,在娛樂(lè)之外,對(duì)電子醫(yī)療、電化教育和文化遺產(chǎn)展示等重要經(jīng)濟(jì)領(lǐng)域產(chǎn)生影響。

VVC為全景視頻引入智能工具:碼流提取與合并、子圖像、虛擬邊界和水平環(huán)繞運(yùn)動(dòng)補(bǔ)償。全景視頻通常需要以時(shí)間同步的方式同時(shí)處理多個(gè)基本碼流。對(duì)于以前的視頻編解碼器,每個(gè)基本碼流需要一個(gè)實(shí)例化的視頻解碼器。不過(guò),碼流的提取與合并定義了一種在壓縮域拼接和剪裁視頻的方式,解耦了視頻應(yīng)用所需的基本碼流數(shù)和在終端上運(yùn)行所需的視頻解碼器實(shí)例數(shù)。

子圖像是VVC中引入的全新圖像分區(qū)方案。它是一個(gè)矩形編碼區(qū)域,獨(dú)立于鄰近區(qū)域進(jìn)行編碼,因此可獨(dú)立提取圖像。子圖像可以對(duì)應(yīng)于一個(gè)感興趣的區(qū)域,比如消費(fèi)者通過(guò)VR頭顯看到的區(qū)域?;谟脩粢曄颍軌蛑С謨?yōu)先處理并向頭顯終端發(fā)送更高保真度的子圖像。

新一代視頻編碼器中的基礎(chǔ)創(chuàng)新:推動(dòng)生態(tài)系統(tǒng)向前發(fā)展

VVC支持子圖像,改善360度視頻體驗(yàn)

在360度視頻中,當(dāng)我們將其轉(zhuǎn)化為二維表示時(shí),某些投影(例如立方體貼圖cubemaps)的非對(duì)齊面邊界可能出現(xiàn)間斷點(diǎn)。但通過(guò)在邊緣處禁用環(huán)路濾波,可以減少這些偽影。借助VVC,我們能夠通過(guò)水平或垂直虛擬邊界來(lái)進(jìn)行環(huán)路濾波的控制,虛擬邊界的配置也會(huì)在碼流中進(jìn)行標(biāo)記和傳輸。

環(huán)繞運(yùn)動(dòng)補(bǔ)償支持從圖像的左邊界以外開始執(zhí)行運(yùn)動(dòng)補(bǔ)償,在水平方向上進(jìn)行環(huán)繞預(yù)測(cè),并使用來(lái)自圖像右側(cè)的像素值,反之亦然。這一全新的靈活性有助于使用等距柱狀投影格式對(duì)全景視頻進(jìn)行編碼。

領(lǐng)先的基礎(chǔ)視頻技術(shù)

20多年來(lái),高通技術(shù)公司在重要視頻技術(shù)的發(fā)展中扮演了至關(guān)重要的角色,這些技術(shù)徹底改變了視覺內(nèi)容在智能手機(jī)、平板電腦、PC、電視和其他終端上被拍攝、傳輸以及消費(fèi)的方式。這些創(chuàng)新使視頻質(zhì)量更佳,內(nèi)容更豐富,同時(shí)還降低了帶寬和存儲(chǔ)空間,為生態(tài)系統(tǒng)中的消費(fèi)者和公司都創(chuàng)造了巨大效益。我們的發(fā)明家獲得廣泛認(rèn)可,我們技術(shù)發(fā)明的影響力不僅限于移動(dòng)生態(tài)系統(tǒng),對(duì)更加廣泛的領(lǐng)域也有所助益。業(yè)界廣泛部署由高通技術(shù)公司助力推動(dòng)的視頻技術(shù),其中包括領(lǐng)先的視頻編解碼器、流協(xié)議(streaming protocol)和多媒體文件格式。

在推動(dòng)VVC技術(shù)發(fā)展方面也不例外。與HEVC一樣,高通技術(shù)公司是本文中所介紹的VVC標(biāo)準(zhǔn)的主要貢獻(xiàn)者。

通過(guò)智能手機(jī)VVC演示,推動(dòng)生態(tài)系統(tǒng)向前發(fā)展

VVC在生態(tài)系統(tǒng)中的發(fā)展勢(shì)頭強(qiáng)勁,目前已經(jīng)被加入DVB核心規(guī)范(Digital Video Broadcasting Project/國(guó)際數(shù)字視頻廣播組織),用于廣播和寬帶應(yīng)用的視頻編碼。巴西數(shù)字電視廣播技術(shù)標(biāo)準(zhǔn)ISDB-T International(又稱SBTVD),也采用了VVC作為主要視頻編解碼器——預(yù)計(jì)其他廣播標(biāo)準(zhǔn)也將相繼采用該視頻編碼標(biāo)準(zhǔn)。

在高通技術(shù)公司,我們對(duì)VVC編解碼器如何提升當(dāng)下的視頻體驗(yàn)感到興奮。為此,我們已經(jīng)開始與生態(tài)系統(tǒng)中的伙伴合作,期待將VVC技術(shù)帶給消費(fèi)者。

近日,我們攜手騰訊公司,在集成Adreno GPU的第二代驍龍8移動(dòng)平臺(tái)上對(duì)其VVC軟件解碼器進(jìn)行了優(yōu)化。該預(yù)商用原型實(shí)現(xiàn)了超過(guò)30%的性能提升,能夠穩(wěn)定且實(shí)時(shí)流暢地播放4K 10-bit 60幀/秒(FPS)的超高清VVC內(nèi)容。7月28-31日,2023年中國(guó)國(guó)際數(shù)碼互動(dòng)娛樂(lè)展覽會(huì)(ChinaJoy 2023)于上海舉辦,我們首次演示了這款經(jīng)優(yōu)化后的解碼器。我們相信,經(jīng)優(yōu)化的軟件解碼器(例如這款來(lái)自騰訊公司的解碼器)將有助于加速在視頻內(nèi)容服務(wù)中采用VVC編解碼器的進(jìn)程。

原創(chuàng)文章
最新文章
1
空調(diào)線上市場(chǎng)半年觀察:價(jià)格戰(zhàn)兇猛 美的格力小米居銷量前三
2
三星Galaxy Z Flip7正式發(fā)布:AI賦能輕巧機(jī)身 智能外屏煥新升級(jí)
3
三星Galaxy Z Fold7正式發(fā)布:樹立Galaxy智能手機(jī)新標(biāo)桿
4
央視探訪海信空調(diào)實(shí)驗(yàn)室,揭秘賽場(chǎng)外的黑科技
5
1-2nm 水分子革命:華帝如何用技術(shù)重構(gòu)沐浴邏輯
6
2025年“灣區(qū)杯”網(wǎng)絡(luò)安全大賽啟航 面向全國(guó)開放報(bào)名 ——守護(hù)智慧安全未來(lái)城市
7
華潤(rùn)入主康佳,半導(dǎo)體和消費(fèi)電子起飛在即?
8
快手集中整治“虛假回收”類違規(guī)行為,保護(hù)用戶權(quán)益免遭損失
9
快手直播大舞臺(tái)遍地開花,打造現(xiàn)象級(jí)文旅新爆款
10
科技副總裁宋婷婷:數(shù)字技術(shù)賦能女性發(fā)展,繁榮生態(tài)綻放“她力量”
11
第三屆北京網(wǎng)絡(luò)視聽藝術(shù)大會(huì)成功舉辦,“新大眾文藝”主題研討引熱議
12
美的格力海爾都布局的廚房空調(diào),雞肋還是剛需?
13
電商行業(yè)破局重構(gòu),"618"大促展現(xiàn)六大新趨勢(shì)
14
5G-A時(shí)代,“大上行”的含金量還在上升
15
新型儲(chǔ)能海外訂單爆增400%,專家提示潛在風(fēng)險(xiǎn)
16
蘋果Mac全家桶下半年登場(chǎng):首發(fā)M5芯片
17
業(yè)界唯一!榮耀Magic V5免費(fèi)送內(nèi)屏寶
18
618中國(guó)電視市場(chǎng)“量額”齊增,品質(zhì)提升成未來(lái)主旋律
19
關(guān)稅沖擊下 家電出口的短期承壓與長(zhǎng)期破局
20
美越貿(mào)易協(xié)議落地,中國(guó)企業(yè)供應(yīng)鏈面臨重塑挑戰(zhàn)
關(guān)于我們

微信掃一掃,加關(guān)注

商務(wù)合作
  • QQ:61149512