這款人工智能“橡皮擦”能把視頻里的你抹掉了
天空中翱翔的海鷗從稀薄的空氣中消失，沙漠中的背包客在行走時蒸發(fā)。這些需要電影制片人完成的視頻效果再次被人工智能所"學(xué)"。
最近，歐洲計算機視覺國際會議(ECCV)開發(fā)了一種人工智能視頻處理算法，它可以從視頻圖像中刪除移動物體，同時保持移動邊界的清晰性。
這項名為"光流-邊緣引導(dǎo)視頻完成"(Flow-edgeGuidedVideoCompletion)的研究由美國弗吉尼亞理工學(xué)院(Virginia Institute Of Technology)和Facebook進行。該研究的主要作者是美國弗吉尼亞理工大學(xué)計算機工程專業(yè)的博士生。
目前，高正從弗吉尼亞理工大學(xué)助理教授賈賓黃那里學(xué)習(xí)計算機攝影和計算機視覺，專注于圖像/視頻處理和視覺場景理解。
騎馬的運動員和馬一起消失
在高湛和他的同事們的研究成果中，各種運動物體，如擺動秋千、運動員騎馬、海上帆船等，都消失在沒有痕跡的視頻中，肉眼看不到人造的編輯痕跡。
這項研究的另一位作者賈秉黃在社交媒體上透露，該算法可以無縫地刪除物體、水印或在隨機視頻中拓寬視野。該算法也是人工智能科學(xué)家、圖靈獎得主揚勒村推薦的。
高湛等人在本文中介紹，這是一種基于光流的視頻完成算法。視頻完成(視頻完成)的任務(wù)是用新合成的內(nèi)容填充給定的時空區(qū)域。它有許多應(yīng)用，例如修復(fù)(去除劃痕)、視頻編輯、特效工作流(刪除不想要的對象)、刪除水印和標志以及視頻穩(wěn)定性。
對于視頻完成任務(wù)，困難在于新生成的內(nèi)容需要無縫地嵌入到視頻中，而變化應(yīng)該盡可能不被發(fā)現(xiàn)。幾年前，業(yè)界的一般方法是基于補丁的合成技術(shù)。然而，這些方法合成速度通常較慢，合成新內(nèi)容的能力有限，只能對視頻中現(xiàn)有的補丁進行重新組合。
后來，出現(xiàn)了一種基于學(xué)習(xí)的技術(shù)，它可以達到更合理的綜合效果，但由于對視頻的高內(nèi)存要求，存在一個解決問題。
那個在噴泉邊旋轉(zhuǎn)跳舞的女孩在起飛后消失了.
作者認為，最成功的視頻完成方法是基于光流技術(shù)，它可以合成顏色和光流，沿著光流軌跡傳輸顏色，以改善視頻的時間相干性，從而減少存儲問題，實現(xiàn)高分辨率輸出。
這項新的研究還采用了一種基于光流的方法。作者說，以前的光流完成方法往往無法保持移動邊界的清晰性，它們開發(fā)的方法首先提取并完成運動物體的邊緣，然后以光流邊緣作為完成光流的指南。因為這種方法并不能填充視頻中所有缺失的區(qū)域，所以研究人員引入了非局部光流，這樣視頻內(nèi)容就可以在移動的邊界上傳播。
作者認為，可視化和定量的結(jié)果都表明，它們的方法比最新的算法具有更好的性能。它們還指出，該方法的速度為0.12fps(FramesPerSecond，每秒傳輸幀)，這與其他基于光流的方法相似，而且運行速度慢是一個很大的缺點。
