火山引擎4K修復(fù)影片入選北影節(jié) 相關(guān)技術(shù)在CVPR2024奪冠互聯(lián)網(wǎng)+
2024-04-22 11:39
4月18日，第十四屆北京國際電影節(jié)正式開幕。
4月18日，第十四屆北京國際電影節(jié)正式開幕。由中國電影資料館、抖音和火山引擎聯(lián)合4K修復(fù)版的港片《A 計劃》與《賣身契》入選“致敬·修復(fù)”單元，并于4月18日、19日進行放映。
4K版《A計劃》《賣身契》電影海報
《A計劃》《賣身契》分別上映于1983、1978年，距今已四十多年。2023年8月，中國電影資料館、抖音和火山引擎共同發(fā)起了“經(jīng)典香港電影修復(fù)計劃”，宣布將4K修復(fù)100部香港電影。此次放映的這兩部影片就來自上述項目，影片的原始拍攝底片在香港完成4K規(guī)格掃描，整個修復(fù)流程包括中國電影資料館的物理和數(shù)字修復(fù)，火山引擎的AI技術(shù)修復(fù)，以及雙方合作的藝術(shù)修復(fù)等環(huán)節(jié)。
火山引擎是字節(jié)跳動旗下的云服務(wù)平臺，曾分別攜手西瓜視頻和抖音，完成100部國產(chǎn)經(jīng)典動畫和Beyond經(jīng)典演唱會的4K修復(fù)。
在“經(jīng)典香港電影修復(fù)計劃”中，火山引擎首次將AIGC技術(shù)應(yīng)用于老片修復(fù)場景，借助視覺大模型強大的生成能力和豐富的先驗知識，實現(xiàn)修復(fù)效果在清晰度、色彩、流暢度和瑕疵消除等方面的全方位提升。
“一方面，大模型生成能力強，借助Stable Diffusion大模型的生成能力，修復(fù)效果優(yōu)于之前的算法，畫面細節(jié)更自然；另一方面，大模型具有非常強的信息結(jié)構(gòu)化能力，在學習了海量數(shù)據(jù)對后，可以在其中提煉出大量的知識并“存儲”在模型參數(shù)之中，其生成空間更豐富，能夠應(yīng)對更多的修復(fù)場景。”火山引擎視頻云技術(shù)架構(gòu)總監(jiān)王悅介紹。
目前，火山引擎已針對視覺大模型在一些場景下容易生成偽影或者虛假紋理，以及視頻多幀場景的穩(wěn)定性等問題，在算法和工程上進行了一系列優(yōu)化，提升了大模型在4K場景下的處理效率并兼顧算力成本。
隨著修復(fù)工作的深入，火山引擎多媒體實驗室通過引入自適應(yīng)特征加權(quán)模塊、無監(jiān)督學習與有監(jiān)督學習相結(jié)合、文字語義先驗等訓練手段，對視覺大模型進一步的調(diào)優(yōu)，在極低畫質(zhì)人像重建、褪色膠片顏色調(diào)整和文字缺失筆畫生成等幾個方面取得了較好效果。
修復(fù)前vs修復(fù)后
褪色膠片顏色調(diào)整前后對比
為保持“修舊如舊”的原片膠片質(zhì)感，技術(shù)團隊在提升受損圖像紋理的平滑度、夜景噪聲去除等效果的同時，還特意研發(fā)了自適應(yīng)質(zhì)感增強方案，添加模擬膠片噪聲的顆粒。
與此同時，解決老片修復(fù)中的各項實際問題，也為火山引擎多媒體實驗室的學術(shù)研究提供了價值。在計算機視覺頂級會議CVPR 2024中，火山引擎多媒體實驗室一舉奪得了NTIRE（ 圖像恢復(fù)與增強的新趨勢New Trends in Image Restoration and Enhancement）賽道的冠軍，其奪冠方案是基于提示學習（Prompt Learning）的圖像增強恢復(fù)，主要解決的問題，就是修復(fù)類似于老片中大量存在的不可預(yù)知的復(fù)雜損害（未知復(fù)雜退化）。
“老片修復(fù)這件事情，其實我們每天都在做。”王悅說，老片中常見的清晰度低、流暢度低、色彩失真、有瑕疵等畫質(zhì)問題，在抖音的海量投稿里也廣泛存在。通過服務(wù)抖音，火山引擎在老片修復(fù)方面已經(jīng)形成了一套較為完整的智能處理技術(shù)方案。
公開資料顯示，電影修復(fù)工藝繁雜瑣碎，一位經(jīng)驗豐富的修復(fù)師需要1個月才可以修復(fù)完成一部影片。近些年，通過深度學習等AI技術(shù)，大幅提升老片修復(fù)的質(zhì)量和效率成為可能。
香港城市大學計算機系助理教授馬柯德表示，當前人工智能技術(shù)的快速發(fā)展顯現(xiàn)出巨大的潛力，未來不僅一些老電影中音畫不同步的問題將借由AIGC得到更有效的解決，甚至有望讓AI學會自動評判修復(fù)效果。
老港片承載著許多觀眾的青春記憶，成龍在《A計劃》中的精湛演技與驚險動作場面，以及許冠文在《賣身契》中幽默詼諧的表演，都曾給觀眾帶來無數(shù)驚喜，伴隨修復(fù)技術(shù)的提升，這些舊時光里的經(jīng)典將重新煥發(fā)生機。
在《A計劃》的映前活動環(huán)節(jié)，曾任成龍中國副總裁的資深電影制片人孫嶸現(xiàn)場與影迷分享，成龍此前認為《飛鷹計劃》里隧道的光不夠亮，“經(jīng)典香港電影修復(fù)計劃”團隊根據(jù)意見調(diào)整，彌補了他當年創(chuàng)作的遺憾。
恐龍影業(yè)創(chuàng)始人，前成龍中國副總裁、耀萊影視副總裁孫嶸在映前分享
目前，觀眾在抖音、西瓜視頻，可線上觀看“經(jīng)典香港電影修復(fù)計劃”已修復(fù)完成的電影，其余電影的4K修復(fù)版也將陸續(xù)上線。
1.TMT觀察網(wǎng)遵循行業(yè)規(guī)范，任何轉(zhuǎn)載的稿件都會明確標注作者和來源；
2.TMT觀察網(wǎng)的原創(chuàng)文章，請轉(zhuǎn)載時務(wù)必注明文章作者和"來源：TMT觀察網(wǎng)"，不尊重原創(chuàng)的行為TMT觀察網(wǎng)或?qū)⒆肪控熑危?br>
3.作者投稿可能會經(jīng)TMT觀察網(wǎng)編輯修改或補充。
