用AI摳圖 谷歌新應(yīng)用讓你成為各大視頻的“主角”
編 | 白鴿智東西3月2日消息,據(jù)Tech Crunch報(bào)道,今日,谷歌為You Tube添加了一項(xiàng)新的AI功能。即通過(guò)構(gòu)建的卷積神經(jīng)網(wǎng)絡(luò),讓用戶(hù)拍攝視頻時(shí)可自動(dòng)更換視頻背景(摳圖)。據(jù)悉,摳圖是一門(mén)應(yīng)用了幾十年的特效技術(shù),不過(guò)做起來(lái)很費(fèi)時(shí)間,也很復(fù)雜。如在拍電影時(shí),導(dǎo)演會(huì)讓演員在綠幕前表演,之后使用計(jì)算機(jī)的數(shù)字特效更換綠屏。此前,因計(jì)算機(jī)在一秒內(nèi)至少需要計(jì)算30次,所以在移動(dòng)設(shè)備上想要更換普通的
2018-03-04 08:30:15
來(lái)源:智東西??

編 | 白鴿

智東西3月2日消息,據(jù)Tech Crunch報(bào)道,今日,谷歌為You Tube添加了一項(xiàng)新的AI功能。即通過(guò)構(gòu)建的卷積神經(jīng)網(wǎng)絡(luò),讓用戶(hù)拍攝視頻時(shí)可自動(dòng)更換視頻背景(摳圖)。

123

據(jù)悉,摳圖是一門(mén)應(yīng)用了幾十年的特效技術(shù),不過(guò)做起來(lái)很費(fèi)時(shí)間,也很復(fù)雜。如在拍電影時(shí),導(dǎo)演會(huì)讓演員在綠幕前表演,之后使用計(jì)算機(jī)的數(shù)字特效更換綠屏。此前,因計(jì)算機(jī)在一秒內(nèi)至少需要計(jì)算30次,所以在移動(dòng)設(shè)備上想要更換普通的RGB圖像,也不是很容易。如此可見(jiàn)想要更換視頻背景的難度。

谷歌工程師們則認(rèn)為這是一個(gè)挑戰(zhàn),并為此建立了一個(gè)卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu),使其通過(guò)數(shù)千張被標(biāo)記的圖片進(jìn)行訓(xùn)練。

image5

通過(guò)訓(xùn)練,該神經(jīng)網(wǎng)絡(luò)可以分辨臉部特征,如眼睛、頭發(fā)、眼鏡、嘴等部位的特點(diǎn),并將這些特征與其它東西區(qū)分開(kāi)來(lái)。為了做到這一點(diǎn),谷歌工程師對(duì)其進(jìn)行了一系列的優(yōu)化,從而降低了需要壓縮的數(shù)據(jù)量。此外,它還將先前的計(jì)算結(jié)果作為下一步的計(jì)算基礎(chǔ),盡管它看起來(lái)有點(diǎn)作弊,但卻可以進(jìn)一步降低移動(dòng)設(shè)備的負(fù)荷。

在研發(fā)該功能中,其具體的任務(wù)是制作一個(gè)二進(jìn)制蒙版,以計(jì)算從前景到背景進(jìn)行分離的每一幀視頻所用的時(shí)間。其中,實(shí)現(xiàn)計(jì)算跨幀蒙版的時(shí)間的一致性是關(guān)鍵點(diǎn)。目前的方法是利用LSTM或 GRU進(jìn)行計(jì)算,但對(duì)于移動(dòng)設(shè)備來(lái)說(shuō),這樣操作是非常昂貴的。而谷歌研究人員則通過(guò)將之前計(jì)算掩碼作為之后計(jì)算掩碼的基礎(chǔ)進(jìn)行計(jì)算,從而保持時(shí)間上的一致性,如下圖所示:

image7

(原始幀(左)在其三個(gè)顏色通道中分開(kāi),并與之前的蒙版連接,并被用作神經(jīng)網(wǎng)絡(luò)的輸入來(lái)預(yù)測(cè)當(dāng)前幀的蒙版(右))

而在視頻分割過(guò)程中,還要實(shí)現(xiàn)幀到幀的時(shí)間連續(xù)性,同時(shí)也要考慮到諸如在拍攝視頻過(guò)程中突然出現(xiàn)其他人物,以至于造成時(shí)間上不連續(xù)等問(wèn)題。為訓(xùn)練其模型適應(yīng)這些問(wèn)題,谷歌研究人員通過(guò)以下幾點(diǎn)對(duì)其進(jìn)行優(yōu)化:

1、清空之前的蒙版,訓(xùn)練神經(jīng)網(wǎng)絡(luò)在第一幀和第一個(gè)場(chǎng)景人物之間正常工作,并且模擬出了某人出現(xiàn)在相機(jī)中的場(chǎng)景。

2、將其轉(zhuǎn)換為真正的背景蒙版,通過(guò)轉(zhuǎn)換訓(xùn)練,可使神經(jīng)網(wǎng)絡(luò)將其調(diào)整到前一幀蒙版之前。

3、轉(zhuǎn)換圖像。該功能實(shí)現(xiàn)了在相機(jī)中進(jìn)行平滑流暢且快速的圖像轉(zhuǎn)化。

這樣做的結(jié)果就是其神經(jīng)網(wǎng)絡(luò)在移動(dòng)設(shè)備上運(yùn)行的速度非???,如在iPhone 7上實(shí)現(xiàn)了運(yùn)行速度100+ FBS,在Pixel 2上實(shí)現(xiàn)了40+ FBS,并且其更換背景的準(zhǔn)確性非常高。

刪除或替換背景工具對(duì)用戶(hù)來(lái)說(shuō)很具有吸引力,所以該功能的推出對(duì)于很多人來(lái)說(shuō)都是一個(gè)好消息。想要體驗(yàn)該功能嗎?遺憾的是,它目前只能讓 YouTube Stories用戶(hù)使用該功能。

原文來(lái)自:Tech Crunch、Google Blog

原創(chuàng)文章
最新文章
1
空調(diào)線(xiàn)上市場(chǎng)半年觀(guān)察:價(jià)格戰(zhàn)兇猛 美的格力小米居銷(xiāo)量前三
2
三星Galaxy Z Flip7正式發(fā)布:AI賦能輕巧機(jī)身 智能外屏煥新升級(jí)
3
三星Galaxy Z Fold7正式發(fā)布:樹(shù)立Galaxy智能手機(jī)新標(biāo)桿
4
央視探訪(fǎng)海信空調(diào)實(shí)驗(yàn)室,揭秘賽場(chǎng)外的黑科技
5
1-2nm 水分子革命:華帝如何用技術(shù)重構(gòu)沐浴邏輯
6
2025年“灣區(qū)杯”網(wǎng)絡(luò)安全大賽啟航 面向全國(guó)開(kāi)放報(bào)名 ——守護(hù)智慧安全未來(lái)城市
7
華潤(rùn)入主康佳,半導(dǎo)體和消費(fèi)電子起飛在即?
8
快手集中整治“虛假回收”類(lèi)違規(guī)行為,保護(hù)用戶(hù)權(quán)益免遭損失
9
快手直播大舞臺(tái)遍地開(kāi)花,打造現(xiàn)象級(jí)文旅新爆款
10
科技副總裁宋婷婷:數(shù)字技術(shù)賦能女性發(fā)展,繁榮生態(tài)綻放“她力量”
11
第三屆北京網(wǎng)絡(luò)視聽(tīng)藝術(shù)大會(huì)成功舉辦,“新大眾文藝”主題研討引熱議
12
美的格力海爾都布局的廚房空調(diào),雞肋還是剛需?
13
電商行業(yè)破局重構(gòu),"618"大促展現(xiàn)六大新趨勢(shì)
14
5G-A時(shí)代,“大上行”的含金量還在上升
15
新型儲(chǔ)能海外訂單爆增400%,專(zhuān)家提示潛在風(fēng)險(xiǎn)
16
蘋(píng)果Mac全家桶下半年登場(chǎng):首發(fā)M5芯片
17
業(yè)界唯一!榮耀Magic V5免費(fèi)送內(nèi)屏寶
18
618中國(guó)電視市場(chǎng)“量額”齊增,品質(zhì)提升成未來(lái)主旋律
19
關(guān)稅沖擊下 家電出口的短期承壓與長(zhǎng)期破局
20
美越貿(mào)易協(xié)議落地,中國(guó)企業(yè)供應(yīng)鏈面臨重塑挑戰(zhàn)
關(guān)于我們

微信掃一掃,加關(guān)注

商務(wù)合作
  • QQ:61149512