開發與維運

阿波羅登月51週年,程序員用DAIN技術還原阿波羅登月高清影像,效果震撼

本文來自微信公眾號“新智元”(ID:AI_era)
7月20日是阿波羅登月51週年。1969年7月20日,尼爾阿姆斯特朗成為登月第一人,他在月球上邁出的一步是令人難以置信的一步。

1.gif
想當年,阿姆斯特朗的聲音通過電視傳到了世界的各個角落,並寫入歷史:「對一個人來說,這是一小步,但對人類來說,這是一次飛躍。」

2.png
觀看阿波羅登月的所有歷史性鏡頭令人興奮又激動,但有時觀影質量體驗並不是那麼好。儘管NASA致力於恢復和增強一些最流行的阿波羅影像,但其中一些鏡頭仍然模糊不清。

3.gif
近日,一位YouTube名為DutchSteamMachine的照片和電影恢復專家,使用 AI 技術來增強阿波羅原始影像的效果,從而製作出清晰,生動的視頻剪輯和圖像。

4.png
他告訴《今日世界》雜誌,「我想提供一個前所未有的復現舊影像的體驗。」

登月鏡頭像素提升至60 FPS,如同觀賞1080p的影片

一起來感受下Charlie Duke 和 John Young一起進行的阿波羅16號月球車穿越過程中的增強鏡頭,通過AI修復,最初以每秒12幀(FPS)拍攝的鏡頭已提升到每秒60幀。

看看這凹凸不平的月球,如此清晰的畫面簡直令人驚歎,第一視角讓人身臨其境。

5.gif
在增強的阿波羅15號 Hadley Rille 著陸點景象中,月球表面的清晰景象讓人震撼,每一個坑窪都清清楚楚,即便沒有VR眼鏡,也完全讓你感受到自己登上了月球。

6.gif
再看尼爾阿姆斯特朗在Apollo 11 進行登月的「第一步」視頻的增強版中由月球模塊內部的16mm攝像機拍攝的清晰度如何?

7.gif
登月第一人的腳重重地踏在月球表面,右腳後揚起了土的畫面都那麼清晰。

8.gif
不僅如此,這些錄像還同步了特定任務的原始音頻,如果仔細聽,可以聽到宇航員說話的聲音。
通過AI高清還原的阿波羅號的鏡頭,帶我們去月球遊玩了一圈。
視頻是怎麼修復的?用了AI開源工具DAIN
DutchSteamMachine使用的AI稱為深度感知視頻幀INterpolation,簡稱DAIN。這是一個免費開源的的項目,並且不斷得到開發和完善。
DAIN:深度感知視頻幀插值(DAIN)模型,通過探索深度信息來顯式地檢測遮擋。該項目開發了一個深度感知流動投影層,優選取樣更近的物體,以合成中間流插補視頻幀。

9.png
開源地址:https://grisk.itch.io/dain-app
運動插值或運動補償幀插值是視頻處理的一種形式,其中在現有幀之間生成中間動畫幀,以使視頻更加流暢,補償模糊等。
DutchSteamMachine表示,「人們已經使用相同的AI項目將1900年代的舊電影錄音帶入了高清和彩色的生活。這項技術似乎適用於許多新的鏡頭,這是一件了不起的事情。」
此前,90後程序員大谷用AI修復了100年前老北京影像,並還原影視原聲也曾是火出了圈,其中也用到了DAIN技術。
這位作者在這裡面一共用了3個在GitHub上開源的AI程序,第一個是負責做補幀的DAIN,第二個是做分辨率擴增的ESRGAN,第三個是上色的DeOldify,綜合到一起才做成了這個視頻。

10.gif
使用AI進行修復需要一個功能強大的高端GPU才能完成。DutchSteamMachine解釋道,「短短5分鐘的視頻可能需要6到20個小時才能完成,但結果不言而喻。」

他闡述了他是如何進行這項工作的:
1.尋找質量最高的源視頻,恰恰作者找到的這些源視頻是高比特率的720p視頻文件,因為在儘可能高的源視頻進行編輯是更加有助於還原視頻高清晰度。
2.找到拍攝鏡頭的幀率,通常可以在NASA文檔中找到。由於有時幀率似乎不正常或波動,並非總是按預期運行。因此,找到幀率的最佳方法是聽宇航員正在談論的地標,並將鏡頭與之匹配。
3.將源文件分成單獨的PNG幀,將它們與輸入幀率(1、6、12或24)以及按插值率(2x,4x,8x)所需的輸出幀率一起輸入到AI。AI開始使用GPU,並查看兩個連續的真實幀。
4.應用顏色校正,因為源文件通常帶有藍色或橙色。再將素材與音頻同步。
DutchSteamMachine會在業餘時間完成這項工作,並將其發佈到他的YouTube主頁。他還有一個Flickr頁面,其中包含更多增強的圖像,每張圖像重現了過去的景象,令人著迷。

11.png
Flickr:https://www.flickr.com/people/steamarchive/
DutchSteamMachine希望「為將來保留過去」,期待他下一個AI修復視頻~
參考鏈接:https://www.sciencealert.com/watch-this-old-apollo-footage-get-upgraded-into-a-60-fps-masterpiece


開發者社區的小夥伴大家好,相信大家閱讀了上面的文章後一定對視覺AI技術有了新的認識,如果大家對視覺AI能力感興趣,歡迎訪問視覺智能開放平臺進行AI能力的在線體驗及調試。阿里雲視覺智能開放平臺(vision.aliyun.com)是基於阿里巴巴視覺智能技術實踐經驗,面向視覺智能技術的開發與應用用戶,為其提供好用、易用、普惠的視覺智能API服務,幫助企業和開發者快速建立視覺智能技術的應用能力的綜合性視覺AI算法平臺,平臺目前上線13個類目,100+種AI算法,其中就包含了視頻超分辨視頻調色人臉口罩檢測以及服飾分割等熱門能力,歡迎前來體驗。

Leave a Reply

Your email address will not be published. Required fields are marked *