微軟專利介紹控制計算機生成表情的方法，提高Avatar社交性

混合形狀映射用於獲取表情數據，然後將其提供給一個或顯示設備。顯示設備可以使用表情數據來顯示Avatar的面部表情，包括動畫。

第一頭戴式設備106包括多個面部追蹤傳感器，其中每個面部追蹤傳感器被配置為檢測第一用戶102面部的位置與傳感器的接近程度。面部追蹤傳感器可以定位於接近第一用戶102面部的各種位置，例如左右眉毛、左右臉頰和鼻樑。

在一個實施例中，可以使用多個傳感器來感知眉毛上的不同位置，臉頰上的不同位置等，從而獲得更詳細的數據。來自多個面部追蹤傳感器的數據共同表示第一用戶102的面部表面配置，以提供有關第一用戶102的表情的信息。

在一個實施例中，第一頭戴式設備106可以包括其他傳感器，例如眼動追蹤攝像頭和/或慣性測量單元，並可分別用於確定眼睛凝視方向和/或頭部姿勢，以分別控制Avatar的眼睛和/或頭部。

所確定的表情數據提供給第二頭戴式設備110，以控制Avatar114的面部動畫。因此，在圖1A中，Avatar114具有與第一用戶102的第一面部表情相對應的第一面部表情。參照圖1B，在稍後的時間，Avatar114具有與第一用戶102的第二相應面部表情相對應的第二面部表情。

圖2示出示例頭戴式設備200的框圖。第一和第二頭戴式設備106和110是頭戴式設備200的實例。頭戴式設備200包括一個或多個面部追蹤傳感器202和模數轉換器ADC 204，配置為將模擬傳感器值從面部追蹤傳感器202轉換為數字傳感器值。

傳感器值表示從中獲得該值的面部追蹤傳感器與面部表面的接近程度。在一個實施例中，一個或多個面部追蹤傳感器202可包括諧振射頻傳感器205。在其它示例中，面部追蹤傳感器202可包含另一合適的非攝像頭傳感器。例如雷達傳感器和超聲波傳感器。

圖3示出用於控制計算機生成面部表情的示例管道300。管道300配置為估計與人臉的運動範圍相對應的傳感器值範圍，然後根據確定的範圍解釋傳感器值以將傳感器值映射到混合形狀。

管道300接收由面部追蹤傳感器獲得的原始傳感器數據，如302所示。在所描述的示例中，原始傳感器數據表示從ADC接收的數字傳感器值。為簡單起見，管道300用於描述從單個面部追蹤傳感器接收的數據。可以理解的是，管道300可以全部或部分複製通過每個額外的面部追蹤傳感器獲取的傳感器數據。

管道300決定304處的滾動最小值和滾動最大值傳感器值。在一個實施例中，為了幫助排除外圍信號，管道300周期性地減小滾動最小值和滾動最大值之間的範圍，如306所示。

作為一個例子，滾動最小值和滾動最大值可以通過取中值和分別加/減最小/最大值的¼來重新評估。作為另一個例子，最小/最大窗口的中間80%可以用於下一個時間窗口。範圍縮小可以在任何合適的頻率進行。

在一個例子中，範圍以每5到15秒一次的頻率縮小。在其他示例中，校準步驟可以建立最小/最大值。在另外的例子中，範圍可以以任何合適的方式和/或在任何合適的頻率進行調整。

繼續，管道300將傳入數據集中在308。所述數據可包括在310處確定一個滾動中值傳感器值，以及定心滾動最小值和定心滾動最大值。滾動中值可以定期更新，如310所示。在一個示例中，滾動中值可能以每1到5秒的頻率更新一次。在其他示例中，可以使用任何其他合適的更新頻率。

如312所示，所得到的數據包括值在居中最小值和居中最大值之間的數據，其中居中最小值小於零，居中最大值大於零。

中心傳感器值評估面部運動的方向性，例如揚起或放下眉毛。方向性可以根據中心傳感器值是低於零還是高於零來確定。這樣，管道300可以確定傳感器值與混合形狀映射之間的方向關係。

在一個實施例中，可以執行校準步驟以確定傳感器的方向性，例如眉毛、上臉頰或其他合適的面部組，因為面部追蹤傳感器的方向性數據對於不同的用戶不同。在這樣的示例中，校準步驟可以包括引導體驗，其中可以引導用戶執行表情，以便可以為一個或多個面部追蹤傳感器獲得方向性關聯。

在其他示例中，圖像傳感器可以配置為識別用戶何時抬起眉毛，並在發生這種情況時關聯傳感器的方向性。這樣的校準步驟可能有助於使管道300更容易地實現不同形狀的面部。

繼續，管道300為每個位於314的中心數據值確定一個插值值。在所描述的示例中，對中心傳感器值執行逆線性插值。

管道300接下來可以對插值值執行線性到伽馬空間的轉換，以在316形成轉換後的值。在所描述的示例中，轉換後的值包括0到1之間的範圍。所述範圍與從線性插值獲得的歸一化數據的範圍相同。然而，與314處插值的歸一化數據相比，線性到伽馬空間的轉換可能會強調更微妙的面部運動。

一個線性到伽馬空間轉換圖的例子如圖4所示。(0,0)和(1,1)之間的直線對應於伽馬空間轉換之前的插值值，而曲線對應於圖4右下角圖例中給出的伽馬值。線性到伽馬空間的轉換有助於從計算機生成面部表情中獲得更有意義和更自然的動作。

回到圖3，在可選地執行線性到伽馬空間轉換後，管道300根據320處的轉換值確定基於方向性的混合形狀映射。在一個實施例中，轉換後的值與混合形狀映射相關聯，並乘以混合形狀節點的相應混合形狀權重。

在特定面部表情中，在第一位置的面部運動可以反映面部的其他位置。因此，連結的混合形狀節點列表可用於將一個面部位置的感知運動連結到與第一個位置連結的其他位置。

例如，感知到的臉頰的運動可能與嘴角的運動相對應。這樣，用於臉頰的混合形狀節點可以連結到用於嘴角的混合形狀節點，從而允許臉頰的感知運動影響所顯示Avatar中的嘴的形狀。

以這種方式，可以執行每個傳感器的一對多混合形狀關聯和/或跨傳感器分析，以確定人臉姿態。在省略線性到伽馬空間轉換的示例中，可以直接基於插值值進行混合形狀映射。

繼續圖3，管道300至少基於混合形狀映射確定表情數據並輸出表情數據，如322所示。例如，表情數據可以採用混合形狀動畫的形式，如324所示。混合形狀動畫可用於動畫的面部表情的Avatar。管道300中使用的插值方法和/或線性到伽馬空間轉換可能影響表情數據動畫化的方式。

如上所述，可以為連結的混合形狀節點列表中的每個混合形狀節點確定插值值或轉換值的混合形狀映射。圖5顯示了連結的混合形狀節點500的示例列表。

在所描述的示例中，連結的混合形狀節點500的列表包括第一混合形狀節點502、第二混合形狀節點504和第三混合形狀節點506。如上所述，這種配置可以在通過面部追蹤傳感器獲取的傳感器值與傳感器值可能影響的混合形狀之間建立一對多關聯。

作為示例，指向用戶的眉毛的面部追蹤傳感器可以影響眉毛混合形狀和眼瞼混合形狀。在其他示例中，連結的混合形狀節點列表500可以包含任意數量的混合形狀節點。

在一個實施例中，可以存儲連結的混合形狀節點500的多個列表，其中多個列表中的每個列表可以與不同的面部追蹤傳感器相關聯。

這樣的配置可以幫助確定來自指向面部的多個區域的每個多個面部追蹤傳感器的混合形狀映射。另外，每個混合形狀節點502、504、506分別包含相應的權值508、510和512。對應的權重508表示傳感器值對第一個混合形狀節點502的混合形狀映射的影響程度。

類似地，相應的權重510和512可以分別表示傳感器值對第二和第三混合形狀節點504和506的混合形狀映射的影響程度。在一個示例中，每個混合形狀節點502、504、506可以進一步包含一個用於指示方向性的閾值。

例如，當通過眉毛傳感器獲得的傳感器值上升時，動畫眉毛會上升，當傳感器值下降時，動畫眉毛會下降。這樣的配置可以幫助確定具有不同面部landmark位置的多個用戶的表情數據。

在一個實施例中，可以使用來自多個不同類型傳感器的數據來確定表情數據。圖6示出用於利用傳感器數據的多種模式控制計算機生成的面部表情的示例計算系統600。

計算系統600包括配置為獲取指示面部表情的傳感器數據的頭戴式設備602。計算系統600同時包括Avatar動畫服務604，服務604配置為基於來自頭戴式設備602的傳感器數據確定表情數據606。

頭戴式設備602包括一個或多個眼動追蹤攝像頭608、一個或多個面部追蹤傳感器610和一個或多個麥克風612。頭戴式設備602配置為基於通過面部追蹤傳感器610和眼動追蹤攝像頭608獲取的數據確定面部landmark追蹤數據614。這樣的配置有助於追蹤面部landmark運動。

Avatar動畫服務604包括融合模塊618，其配置為從面部landmark追蹤數據614和音頻數據616確定表情數據606。在一個示例中，融合模塊618可以利用管道300來處理來自面部追蹤傳感器610的數據。

Avatar動畫服務604進一步配置為向設備提供表情數據606，如620所示。所述設備可以是頭戴式設備602、不同的頭戴式設備或任何其他合適的顯示設備。

以這種方式，計算系統600可以將面部追蹤傳感器與眼動追蹤攝像頭和麥克風相結合，以基於合成為最終輸出指示表情數據的這些傳感器的輸入讀數來創建用戶面部表情的模擬。

相關專利：Microsoft Patent | Controlling computer-generated facial expressions

相關專利：Microsoft Patent | Controlling computer-generated facial expressions

名為「Controlling computer-generated facial expressions」的微軟專利申請最初在2022年5月提交，並在日前由美國專利商標局公布。