今早發的鬧元宵小短片，背後的AI技術。
下方文章來自「量子位」微信公眾號，經授權轉載來揭秘：
▎當網路圈大佬們集體唱歌，會擦出怎樣的火花？
現在，火爆一些短視頻網站的AI特效，一鍵就可以實現夢幻聯動。瞧！馬雲、馬化騰、馬斯克等大佬們，正在集體演唱神曲《螞蟻呀嘿》。不光演唱，表情也是十分的賣力（傲嬌的小眼神很是傳神啊）。完全看不出是被迫的樣子呢（手動狗頭）。
效果之魔性，引得網友直呼：短短的幾秒，要用一生去治癒…..
▎大家一起「蚂蚁呀嘿」神曲！
這款AI特效，只需要一張照片，就可以火速讓anyone「螞蟻呀嘿」。正因為這麼便捷，果不其然，馬上成為了抖音網友們的“新寵”。各路名人開始搞起！首先登場的是四大天王：劉德華、張學友、郭富城和黎明！或許天王們太久沒有同框過了，網友們用這種方式將他們「召集」在一起，也是別有一番風味。不知道是不是因為特效太過逼真、還是脖子有點短（不是），竟然還有人以為是真的。
OK，各種效果、各種玩法已經展示完畢。
▎如何制作专属的“蚂蚁呀嘿”？
第一步，蘋果手機下載APP：Avatarify
第二步，打開這款Avatarify，選擇一張照片即可進入選擇特效頁面（臉正一點效果更佳）。然後向下拉，找到布拉德·皮特的特效即可。 是不是很簡單？不過有點遺憾的是，暫時只有蘋果手機才OK（安卓用戶淚目）
一個人演唱「螞蟻呀嘿」的效果就已經實現了。如果想要多人演唱、九宮格那樣式兒的，那就需要剪映來加持了，這裡就不詳細展開了。當然，這款軟體除了「螞蟻呀嘿」之外，還有很多範本可選。
例如，李開復博士便在元宵節一早友情上演了一首「Only You」，傳遍朋友圈。
隨著這波潮流，Avatarify及其他相關軟體，已經超過微信、拼多多、抖音的下載量，登頂蘋果App Store免費榜前三！什么原理？
▎AI，是如何搞定各位大佬來唱歌的呢？
讓一張照片動起來，人臉跟著音樂一起擠眉弄眼，需要一個叫做一階運動模型 （First Order Motion Model）來搞定。技術原理借鑒了去年義大利特倫托大學的一項研究，入選了NIPS 2019。
模型框架主要由2部分構成，運動估計模組和圖像生成模組。運動估計模組的目的，是預測一個密集的運動場。研究人員假設存在一個抽象的參考框架，並且獨立估計兩個變換，分別是「從參考到源」和「從參考到驅動」，這樣就能夠獨立處理源幀和驅動幀。
而這兩種變換，通過使用以自監督方式學習的關鍵點來獲得。利用局部仿射變換對每個關鍵點附近的運動進行建模。隨後，密集運動網路結合局部近似得到密集運動場。
這個網路還能輸出遮擋的mask，指示哪些圖像的驅動部分可以通過源圖像的扭曲(warping)來重建，哪些部分應該被繪製(根據上下文推斷)。
在生成模組按照驅動視頻中，提供的源物件移動的圖像進行渲染。
此處，研究人員還使用一個生成器網路，根據密集的運動對源圖像進行扭曲，並對源圖像中被遮擋的圖像部分進行著色。
訓練階段，研究人員採用了大量的視頻序列集合來訓練模型，這當中包含了相同類別的物件。隨後在測試階段，研究人員將模型應用於由源圖像和驅動視頻的每一幀組成的對，並執行源物件的圖像動畫。
最終在品質評估中，這一方法在所有基準上都明顯優於當前先進技術。此前类似研究也很火爆，這種AI特效能夠如此火爆，甚至“破圈”，讓大家玩得不亦樂乎，最主要的原因是方便——不需要任何程式設計知識，便可完成。
但在此之前，其實這種AI特效在圈裡也是有火過，但都需要一定的電腦能力才可以實現。比如，一張名人照片和一個你說話的視頻，就可以讓夢露學你說話。還有，印度程式師開發即時動畫特效。你一動，蒙娜麗莎跟著你一起動~
那麼現在，你被「螞蟻呀嘿」一曲洗腦了嗎？自己試試吧！
印度神曲抖音 在 印度阿三哥的魔性改编歌曲集锦。印度人 - YouTube 的推薦與評價
印度 人：很熟悉但是听不懂。 ... 中國道安片涉嫌歧視 印度 人"扮黑捲頭巾假口音" 抄襲 印度神曲 遭轟爆｜記者謝姈君｜【國際大現場】20230513｜三立新聞台. ... <看更多>
相關內容