有碼變高清!AI一秒還原馬賽克

  • A+
所屬分類:新奇
摘要

  像素不夠,後期修圖來湊?  在知乎搜索低像素修圖,結果求助帖多到刷不完,而且從PS技巧、插件神器到各類修圖App教程多到眼花繚亂,重點是效果不知道會怎麼樣。

像素不夠,後期修圖來湊?

在知乎搜索低像素修圖,結果求助帖多到刷不完,而且從PS技巧、插件神器到各類修圖App教程多到眼花繚亂,重點是效果不知道會怎麼樣。

不過,近日杜克大學(Duke University)研究團隊開發了一款AI修圖黑科技PULSE,可以解決所有低像素煩惱。據說它能夠將圖像原始解析度放大64倍,任何渣畫質都可以秒變高清、逼真圖像,甚至被打了馬賽克的人臉圖像,毛孔、皺紋,頭髮也都能被清晰還原。

馬賽克秒變高清人像

PULSE是一種新型超解析度演算法,它通過潛在空間探索對照片採樣,可以將16x16像素的低解析度(Low Resolution,簡稱LR)放大到1024x1024像素的高解析度(High Resolution,簡稱HR),在幾秒內增加了64倍,而傳統方法最多只能放大8倍。

先來看一組示例,修圖界最難處理的LR大頭照,經過PULSE也可以秒變高清、細膩的圖像。

有碼變高清!AI一秒還原馬賽克

更重要的是,PULSE可以定位面部的關鍵特徵,以更高解析度生成一組類似的細節。圖中儘管頭像被打上了馬賽克,PULSE也可以自行「想象」出諸如眉毛、睫毛、頭髮、臉型等面部細節,形成高清、逼真人像。

不過,過度虛化產生的人像只是一種虛擬的新面孔,事實上它並不存在。正因如此,這項技術不能用於身份識別。比如監控攝像頭拍攝的失焦、無法辨別的圖片,不能通過PULSE還原成真實存在的人像。

有碼變高清!AI一秒還原馬賽克

一位杜克大學研究小組的計算機科學家Cynthia Rudin說「此前從來沒有如此超高解析度的圖像被製作出來,它能夠產生不存在的新面孔,而且看起來很真實」。

同時,她補充到,這項研究所採取的技術可以廣泛應用於醫學、顯微鏡、天文學,以及衛星圖像等領域。另外,該研究團隊已將論文已經發表至預印論文庫arVix,同時被IEEE國際計算機視覺與模式識別會議(CVPR 2020)收錄。

「縮減損失」,超越常規修圖法

對於一個LR圖像,傳統將HR解析度部分匹配給LR圖像而獲取超高解析度(SR)的方式,往往會導致HR圖像出現感光度差、不平滑,畫面失真的情況。

在本次研究中,杜克大學研究團隊開拓了一種新思路,提出新型超解析度演算法PULSE,它不是遍歷LR圖像來慢慢添加細節,而是發現與HR相對應的LR,通過「縮減損失」的方式得到SR圖像。

有碼變高清!AI一秒還原馬賽克

原始LR(第一行),PULSE輸出HR(中間行),HR對應的LR(最後一行)

PULSE使用了生成對抗網路(GAN),它是一種訓練模型,顧名思義,通過對抗博弈的方式來進行目標訓練。其主要結構包括一個生成器(Generator)和一個鑒別器(Discriminator),在同一組照片訓練中,一個負責訓練接收到的圖像並輸出,一個負責接收該輸出,並檢驗其是否足夠逼真。

以下是與原圖對比后的試驗結果:

有碼變高清!AI一秒還原馬賽克

圖中,第一行為原圖,第二行為通過「縮減損失」得到的HR所對應的LR,而第三行經過PULSE得到的HR,可以看出,儘管與原圖還存在細微的差別,但還原度已經非常高。

論文中表明,為了檢驗PULSE在SR方面的優勢,杜克大學研究團隊採用4種不同的圖像縮放方法與其進行了比較研究。本次研究利用CelebA HQ數據集中的1440張圖像,以x8,x64的比例因子,對LR面部圖像,尤其是眼部、唇部以及頭髮等細節之處進行了試驗。

有碼變高清!AI一秒還原馬賽克

PULSE呈現出了明顯的優勢,尤其是在X64解析度下,模糊頭像被完全還原,尤其是在眼唇等細節之處,其他方法幾乎達不到這樣的效果。

另外,針對測試結果,研究人員採用感知超解析度常見的MOS測試方式,邀請五位評分者對圖像結果進行了1-5的打分,結果顯示,HR源高清圖像解析度得分為3.74,而PULSE達到了3.60,僅差0.14,可以說幾乎達到了真實的高質量圖像的水平。

有碼變高清!AI一秒還原馬賽克

不過,研究人員也承認PULSE還不是很完美。它產生的高解析度圖像與專業原圖像相比還有一定的差別。但隨著技術和工具的改進,這項技術會被一點點的完善。

現在研究團隊已經將PULSE發布到Github開源平台,而且收割了569科顆星星。有修圖煩惱的朋友可以安裝體驗一下~(Github地址:https://github.com/adamian98/pulse)

 

發表評論

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: