根據議程驅動控制的用戶介面自定義
（映維網Nweon 2023年12月25日）遠程會議的發展正在促進元宇宙的普及。然而，當前在線會議應用使用元環境的其中一個主要問題是，大多數現有環境格式並沒有針對每個會議場景進行優化。另外，預設的環境並不總是為每種類型的會議提供工具。例如，預設的虛擬會議室可能只有一個用於共享內容的虛擬螢幕。對於需要多個演示者同時共享不同幻燈片文件的會議，這並不是最佳的設置。
當會議的議程包含不同類型的議程項目時，問題會變得更加複雜，並導致會議效率低下。例如，在一個議程項目完成後，用戶可能必須退出一個特定的虛擬環境，返回到菜單選擇另一個環境，然後重新進入另一個環境以繼續會議。這種中斷可能會導致計算資源使用方面的低效率和會議流程的效率低下。
所以在名為「Agenda driven control of user interface environments」的專利申請中，微軟提出了一種根據議程驅動控制的用戶介面自定義。
圖1A到1E說明了系統100如何分析情景數據115以選擇各種用戶介面環境模板141以生成所選環境模板142的集合的示例。
為議程項目選擇的單個用戶介面環境模板在這裡可稱為「協作環境142」。在特定配置中，系統可以為單個議程項目確定活動類別。與環境模板對應的活動類別可能導致選擇該環境模板以與特定議程項目相關聯。
然後，系統通過以與情景數據的順序一致的方式顯示所選環境模板142來管理事件流，例如會議流。在一個例子中，情景數據採用議程115的形式，其中包括若干議程項目：社交聚會、電影評論討論、頭腦風暴會議和問答會議。
基於議程115，系統從環境模板集合141中選擇四個環境模板142。在本例中，第一選擇的模板142A包括用於會議室的3D環境，第二選擇的模板142B包括本文稱為Together Mode UI的2D用戶介面，第三選擇的模板142C包括基於共享文件的3D環境，第四選擇的模板142D包括實時視頻流的2D圖像渲染的網格布局中的2D用戶介面。系統可以使用每個模板來生成用戶介面環境的效果圖，而相關效果圖可以隨著系統100使用流程控制議程追蹤和管理會議而動態更改。
通過為單個議程項目選擇單獨的用戶介面環境，系統可以動態地改變計算機的操作模式並提供不同的體驗，從而增強用戶參與度並提高用戶交互效率，最終提高計算系統的效率。
在一個示例中，如果會議在單個演示者之間轉換為多個不同的演示者，系統在議程和/或用戶活動中識別出這種安排，並動態地為單個演示者提供具有單一焦點的UI，例如虛擬講台，以及用於共享內容的大螢幕顯示，然後自動轉換到具有多個焦點的另一個UI，例如通過提供uoge虛擬講台和提供多個大螢幕顯示每個演講者的內容。
如圖1A所示，所述系統可以接收或生成情景數據115。在特定配置中，情景數據可以包括會議的大綱，情景數據115又可稱為議程115。議程115可包括若干議程項目131A。系統可以通過使用包括用戶活動在內的其他觸發器在用戶介面環境之間進行轉換，例如用戶共享內容，刪除共享內容，開始演講，結束演講，人們離開會議，人們加入會議等。
在本例中，議程包括第一個會議部分的第一個議程項目131A，其目標是舉辦一次社交聚會。議程同時包括第二個會議部分的第二個議程項目131B，其目標是讓與會者審查電影並討論電影內容。第二個議程項目同時表明，用戶應該討論觀眾對視頻的反應。議程115另外可包括第三個議程項目131C，其目標是促進頭腦風暴會議，以及第四個議程項目131D，其目標是促進問答會議。
系統可以通過分析議程來確定議程項目，從而確定會議所需的環境模板。可以通過分析議程文本並確定與具有預定議程項目清單的資料庫的匹配來確定每個議程項目。例如，如果伺服器存儲具有諸如「頭腦風暴」或「社交」等關鍵字的資料庫，則可以將關鍵字與某些模板相關聯141。
一旦確定了每個議程項目，就可以分析每個議程項目以選擇相應的環境模板141。
圖4顯示了環境模板和關鍵字之間的這種關聯的一個示例。在本例中，系統可以分析第一個議程項目，並根據第一個環境模板與與第一個議程項目具有閾值匹配的關鍵字相關聯這一事實選擇第一個環境模板142A。作為對為第一議程項目選擇特定環境模板142A的響應，系統可以生成將所選環境模板142A與第一議程項目連結起來的數據。
使用將第一選擇模板與第一議程項關聯的連結，當系統啟動具有第一議程項的會議時，系統可以使每個客戶機計算機顯示基於第一環境模板142A的用戶介面安排。使用第一環境模板142A的定義呈現的第一用戶介面布置101A的示例如圖1B所示。
在這個特定的示例中，第一個環境模板142A定義了一個具有虛擬窗戶和虛擬家具的特定會議室的3D環境。所述3D環境200的渲染顯示用戶的3D表示251，並且允許每個相應的用戶在所述環境200中移動其各自的渲染。
環境模板同時可以定義可在3D環境200中使用的虛擬對象211，例如顯示自定義場景的虛擬窗口211A和虛擬表211B。可以在模板中定義每個虛擬對象211的選擇和位置，並且可以根據特定事件自定義每個模板。
例如在本例中，議程包括一個打算在瑞士建造的建築物的共享CAD文件。在這種情況下，系統可以檢測與內容相關的位置，並生成與情景相關的場景，例如瑞士阿爾卑斯山的景色。
除了控制系統為每個議程項目顯示的視覺環境外，系統同時可以分析每個議程項目以識別指示音頻和視頻偏好的描述。然後，系統可以使用解釋的首選項來修改相應議程項目顯示的每個環境的權限、音頻設置和視頻設置。
例如在第一環境模板中，系統可以解釋進行社交聚會的目標，並確定語音聊天音量應該高於環境噪音的音量。另外，通過將目標解釋為進行社交聚會，系統可以允許所有用戶平等地聊天。
系統可以控制每個用戶的視覺環境、權限、音頻設置。這可以通過修改系統的權限或控制系統的操作模式來實現。
現在將圖1C與圖1A結合起來，它們描述了第二個議程項目131B和第二個環境模板142B的各個方面。
使用將第二個選定模板與第二個議程項關聯的連結，當系統將會議從第一個議程項轉換為第二個議程項時，系統可以使每個客戶機計算機顯示基於第二個環境模板142B的用戶介面安排。使用第二環境模板142B的定義呈現的第二用戶介面布置101B的示例如圖1C所示。
在這個特殊的例子中，第二個環境模板142B定義了一個帶有Together Mode UI的2D環境。在所述配置中，系統根據第二環境模板142B的定義，對位於座位安排中的每個用戶的2D視頻饋送進行安排。第二個環境模板142B同時定義了一個用於顯示共享內容視頻的區域和一個用於為所有用戶提供文本線程的區域。
在本例中，第二個環境模板142B還定義了將聽眾音頻控制到中等水平並將視頻音頻控制到高水平的參數。考慮到議程項目的目標是讓觀眾觀看視頻並促進討論，視頻的音量可以高於音頻聊天的音量水平。這個系統可以解釋議程的變化。例如，如果議程項目聲明語音聊天的音量應該高於視頻，則系統可以容納該描述並相應地更改音頻設置。
現在將圖1D與圖1A結合起來，它們描述了第三個議程項目131C和第三個環境模板142C的各個方面，亦即頭腦風暴。
在本例中，系統根據第三個議程項目131B描述的關鍵字，結合與議程項目相關的CAD文件共享這一事實，選擇第三個環境模板142C。將模板與特定議程項關聯的分析可以基於文本匹配或文件類型。因此，即使議程的關鍵字或與特定環境模板關聯的關鍵字之間沒有文本匹配，系統僅僅基於與特定議程項目關聯的共享文件類型來選擇所述特定環境模板。
環境模板可以為虛擬房間或房間內的虛擬對象的每個參數提供多個定義。對共享內的解釋也可以使系統根據文件的內容生成完全定製的虛擬環境。另外，系統可以根據與議程項目相關的情景數據將定製的虛擬環境放置在某個位置。
在本例中，由於CAD文件是團隊在瑞士建造的建築物。在所述文件的基礎上，根據CAD文件中定義的結構構建虛擬環境，將虛擬環境置於瑞士的一個場景中。
圖1D顯示了如何利用共享文件的內容來生成虛擬環境。系統可以解釋議程項目的各個方面，並在結構中放置虛擬對象211。在本例中，由於系統將虛擬結構放置在瑞士，因此可以呈現一個虛擬窗口211A，以響應對共享內容的解釋。
通過將第三個環境模板與第三個議程項目相關聯的連結，當系統將會議從第二個議程項目過渡到第三個議程項目時，系統可以使每個客戶端計算機顯示基於第三個環境模板142C的用戶介面安排。使用第三個環境模板142C的定義呈現的第三個用戶介面布置101C的示例如圖1D所示。
現在轉到圖1E和圖1A，它們描述了第四個議程項目131D和第四個環境模板142D的各個方面。第四個環境模板142D與「Q&A」、「問題」和「答案」等特定關鍵字相關聯。
使用示例數據，系統可以分析第四個議程項目，並根據第四個環境模板與與第四個議程項目具有閾值匹配的關鍵字相關聯這一事實選擇第四個環境模板142D。作為對為第四個議程項目選擇特定環境模板142D的響應，系統可以生成將所選環境模板142D與第四個議程項目連結起來的數據。
使用將第四個選定模板與第四個議程項關聯的連結，當系統將會議從第三個議程項轉換為第四個議程項時，系統可以使每個客戶機計算機顯示基於第四個環境模板142D的用戶介面安排。使用第四個環境模板142D的定義呈現的第四個用戶介面布置101D的示例如圖1E所示。
在這個特定的示例中，第四個環境模板142D定義了一個2D環境，其中包含選定用戶的2D視頻提要的網格布局。所選擇的用戶可以是活動揚聲器，例如，當從他們的麥克風檢測到閾值音量時顯示用戶。在本例中，UI對象211Q定位為活動說話者，網格內顯示的用戶可以是次要說話者，例如，排隊上台或與活動區域211Q中顯示的參與者同時講話的人。
圖2A至2C說明系統100如何分析情景數據115的示例，例如，第二個議程115，目的是選擇各種用戶介面環境模板141以生成所選環境模板142的集合。然後，系統通過以與情景數據的順序一致的方式顯示所選環境模板142來管理事件流。
在這個例子中，議程115包括兩個議程項目：其中一個人作為演示者的演示，用戶共享具有特定文件類型的文件；以及小組討論，議程表明不同用戶的設備可以根據他們的設備類型選擇不同的環境。
基於議程115，系統從環境模板141集合中選擇兩個環境模板142。在本例中，第五個選定模板142E包括用於會議室的3D環境，而第六個選定模板142F包括混合2D和3D環境。系統可以使用每個選定的模板142來生成用戶介面環境的呈現。用戶介面環境可以在系統使用議程追蹤和管理會議時動態更改。
現在將圖2B與圖2A結合起來，它們描述了第二個示例議程的第一個議程項目131A和第五個環境模板142E的各個方面。第五環境模板142E與特定關鍵字相關聯，例如「演示者」、「單個演示者」和「幻燈片」。使用示例數據，系統可以分析第二個示例議程的第一議程項目131A，並基於以下事實選擇第五個環境模板142E：第五個環境模板與與第二個示例議程的第一議程項目131A具有閾值匹配的關鍵字相關聯。
作為對為第二示例議程的第一議程項目131A選擇特定環境模板142E的響應，系統可以生成將所選環境模板142E與用於第二示例議程的第一議程項目131A連結起來的數據。
使用將第五環境模板與第二示例議程的第一議程項目131A相關聯的連結，當系統使用第二示例議程的第一議程項目131A開始會議時，系統可以使每個客戶端計算機顯示基於第五環境模板142E的用戶介面安排。使用第五個環境模板142E的定義呈現的第五個用戶介面布置101E的示例如圖2B所示。
現在將圖2C與圖2A結合起來，它們描述了第二個示例議程的第二個議程項目131B和第六個環境模板142F的各個方面。第六環境模板142F與特定關鍵字相關聯，例如「演示者」、「單個演示者」和「幻燈片」。
使用示例數據，系統可以分析第二個示例議程的第二個議程項目131B，並基於以下事實選擇第六個環境模板142F，即第五個環境模板與第二個示例議程的第二個議程項目131B具有閾值匹配的關鍵詞相關聯。針對為第二示例議程的第二議程項目131B選擇特定環境模板142E，系統可以生成將所選環境模板142E與第二示例議程的第二議程項目131B連結起來的數據。
在這個特殊的例子中，第六環境模板142F定義了一個混合的2D和3D環境。這個模板允許用戶選擇他們想要在環境中出現的方式:每個用戶可以作為圖像的2D渲染151出現，或者每個用戶可以作為3D表示的渲染。
系統可以允許用戶選擇特定的呈現類型，例如2D或3D，或者系統可以根據每個用戶的設備類型選擇特定的呈現類型。
例如，如果第一用戶正在使用頭戴式顯示器，則系統依然可以允許該用戶提供以2D圖像顯示的輸入。或者，系統可以根據用戶的設備類型選擇呈現類型。例如，如果第二用戶使用頭戴式顯示器，則系統可以使用戶顯示為3D表示251。
圖4顯示了兩個環境模板141的數據結構示例。通常，環境模板141包含特定協作環境的定義。例如，模板可以確定環境的類型，例如顯示的環境是否基於三維模型，或者顯示的環境是否基於二維圖像。
每個模板都可以包含顯示對象的屬性，每個屬性可以包括每個對象的位置、大小和方向。例如，對於3D環境，一個屬性可以定義虛擬椅子，另一個屬性可以定義虛擬顯示屏的各個方面。對於2D環境，一個屬性可以定義顯示窗口的各個方面。
圖5展示了UI轉換的其他特性。當接收用於導致UI從用戶10C的2D圖像的呈現轉換到用戶10C的3D表示的呈現的輸入時，系統可以確定用戶10C的3D表示的位置和方向。例如，如果使用定義A3維度環境的模板來顯示用戶渲染圖，則系統可以確定代表用戶的所有虛擬對象351C的位置和方向。
在一個實施例中，如果系統確定用於表示第三個用戶10C的虛擬對象351C將添加到虛擬環境200中，則系統可以以一種方式定位虛擬對象351C，使得虛擬對象351C呈現出用戶的Avatar正在查看與用戶10C共享的內容的外觀。
在另一個例子中，如果系統確定用於代表第三個用戶10C的虛擬對象351C將添加到虛擬環境200中，則系統可以以一種方式定位虛擬對象351C，使得虛擬對象351C看起來像是用戶的Avatar正在看著與用戶10C交談的用戶的Avatar。
每個虛擬對象351的放置可以基於團隊成員、用戶組和/或由單個用戶或用戶組建立的策略的分布。例如，如果一個人是公司團隊的一部分，當其中一個人在轉換用戶介面的輸入中識別時，他們對應的Avatar將定位在其他團隊成員的閾值距離內。
用戶Avatar的方向可以基於對其團隊成員頭像方向的分析。例如，如果團隊中有一定數量的用戶正在查看內容，則用戶進入3D環境的Avatar同樣可以導向查看內容。
相關專利：Microsoft Patent | Agenda driven control of user interface environments
https://patent.nweon.com/31995
名為「Agenda driven control of user interface environments」的微軟專利申請最初在2022年5月提交，並在日前由美國專利商標局公布。
需要注意的是，一般來說，美國專利申請接收審查後，自申請日或優先權日起18個月自動公布或根據申請人要求在申請日起18個月內進行公開。注意，專利申請公開不代表專利獲批。在專利申請後，美國專利商標局需要進行實際審查，時間可能在1年至3年不等。
---
原文連結：https://news.nweon.com/116240