0 引言

    三維人臉重建是指通過一張或多張同一個人的照片來構建該人的三維人臉網格。該課題一直是計算機視覺和圖形學的熱門關注焦點，擁有廣泛的應用場景，如人臉身份識別、醫學方案展示、三維人臉動畫等。

    在三維人臉重建領域，VETTER T和BLANTZ V在1999年提出的三維人臉參數化模型(3DMM)^[1]具有重要意義。3DMM采集了200位實驗對象的臉部激光掃描數據集，并對該數據集進行主成分分析(PCA)。通過對PCA所提取的基向量進行線性組合從而構成一張新的人臉。

    傳統的三維人臉重建基于迭代方法^[2]，即針對輸入人臉，利用人臉關鍵點，反復調整基向量的參數使得三維人臉渲染后提取的人臉關鍵點與二維人臉關鍵點接近，以此達到具有輸入人臉特征的三維人臉網格。然而，該方法較為依賴人臉關鍵點的檢測結果，在人臉姿勢較大或有遮擋物時，效果較差，迭代過程耗時也較長。

    近年來，隨著深度學習的不斷發展，越來越多的研究開始運用基于回歸的方法重建三維人臉。然而，在神經網絡的訓練過程中，一個亟需解決的問題便是三維人臉訓練數據稀少。針對這一問題，部分研究提出利用合成數據^[3-4]，即先隨機初始化3DMM的參數作為參照的三維人臉，而后將該三維人臉投影成的二維人臉作為輸入數據，進而擴大訓練數據集。因為合成數據投影形成的二維圖片不能反映真實世界的復雜度，故GENOVA K^[5]提議采用真實圖片及合成圖片的混合數據集進行兩步訓練。TEWARI A^[6]利用編碼解碼器結構直接從單張圖片重建三維人臉，解碼器是基于專業知識精心設計的，但可擴展性較低。TRAN A T^[7]等人提議利用迭代方法形成的三維人臉作為神經網絡所需的配對三維人臉數據進行訓練。

    本文基于前人的思想，提出采用GANs神經網絡回歸3DMM模型參數進行三維人臉重建任務。在解決三維人臉數據稀少問題上，本文提出兩種并列的監督信號：(1)二維監督信號：利用三維人臉投影后的二維人臉與輸入的二維人臉身份差異及皮膚顏色差異，來提供二維層面的監督信號，使得二者相近；(2)三維監督信號：利用重構的三維人臉頂點分布與普遍三維人臉頂點分布差異，來提供三維層面的監督信號，以使得重構后的三維人臉具備真實感人臉形狀。由于僅依賴二維監督信號可能會導致一些重構后三維人臉頂點離正常人臉頂點偏差較大，雖然投影結果依舊初具人臉形狀，仍能被系統識別，但視覺感受卻與普遍人臉形狀相差較大。其原因在于缺少三維監督信號，使得重構后的三維人臉頂點分布近似于普遍三維人臉頂點分布。本文擬采用生成對抗網絡(GANs)^[8]來提供三維監督信號，利用生成器及判別器的對抗生成，指引人臉頂點分布接近于真實感人臉頂點分布。

本文詳細內容請下載:http://www.xxav2194.com/resource/share/2000003177

作者信息:

張星星1，李金龍2

(1.中國科學技術大學 軟件學院，安徽 合肥230026；

2.中國科學技術大學 計算機科學與技術學院，安徽 合肥230026)