Blog
斯坦福大學和Meta研究團隊開發突破性AI：實現語言驅動的虛擬人物互動
斯坦福大學和Meta研究團隊開發突破性AI：實現語言驅動的虛擬人物互動
December 11, 2023
重點摘要：
新聞內文：
來自斯坦福大學和Meta的Facebook AI Research（FAIR）實驗室的研究人員開發出一種突破性的人工智慧系統，能夠僅根據文本描述生成自然且同步的虛擬人類與物體之間的動作。
這個新系統，被稱為CHOIS（可控人物-物體互動合成），利用最新的條件擴散模型技術，產生無縫且精確的互動，例如「把桌子舉過頭頂，走路，然後放下桌子」。
這項研究發表在arXiv上的一篇論文中，為未來虛擬生物能夠像人類一樣流暢地理解和響應語言命令提供了一瞥。
研究人員在研究論文中指出：「在3D場景中從語言描述中生成連續的人物-物體互動，面臨著幾個挑戰」。
他們必須確保生成的動作真實且同步，維持人手和物體之間適當的接觸，並且物體的動作與人類行動具有因果關係。
如何運作
CHOIS系統因其在合成3D環境中的人物-物體互動方面的獨特方法而脫穎而出。其核心，「CHOIS」使用條件擴散模型，這是一種能夠模擬詳細動作序列的生成模型。
當給定人和物體位置的初始狀態，以及所需任務的語言描述時，CHOIS生成一系列動作，最終完成任務。
例如，如果指令是「將燈搬近沙發」，CHOIS理解這一指示並創作一個真實的動畫，其中一個虛擬人物拿起燈並將其放在沙發附近。
CHOIS特別之處在於它使用稀疏物體航點和語言描述來引導這些動畫。航點充當物體軌跡中關鍵點的標記，確保動作不僅物理上可行，而且與語言輸入所概述的高層目標一致。
CHOIS的獨特性還在於其將語言理解與物理模擬的高階整合。傳統模型通常難以將語言與空間和物理行動相關聯，尤其是在更長時間的互動過程中，其中許多因素必須考慮以維持真實性。
CHOIS通過解釋語言描述背後的意圖和風格，然後將其轉化為一系列物理動作，尊重人體和物體涉及的約束。
這個系統尤其具有開創性，因為它確保了接觸點（如手接觸物體）被準確呈現，並且物體的動作與人類虛擬人物施加的力量一致。此外，該模型在其培訓和生成階段納入了專門的損失函數和指導條款，以強制實施這些物理約束，這在創建能夠像人類一樣理解和與物理世界互動的人工智慧方面是一個重大進步。
對計算機圖形學、人工智慧和機器人學的影響
CHOIS系統對計算機圖形學的影響深遠，特別是在動畫和虛擬現實領域。通過使人工智慧能夠解釋自然語言指令以生成真實的人物-物體互動，CHOIS可以大大減少動畫複雜場景所需的時間和努力。
動畫師可能會使用這項技術來創造傳統上需要繁瑣的逐幀動畫的序列，這既耗時又勞力密集。此外，在虛擬現實環境中，CHOIS可能導致更具沉浸感和互動性的體驗，因為使用者可以透過自然語言命令虛擬角色，觀察它們以逼真的精確度執行任務。這種更高水平的互動可以將VR體驗從僵硬、預設的事件轉變為對使用者輸入作出真實反應的動態環境。
在人工智慧和機器人學領域，CHOIS代表著朝著更自主和對環境有認知的系統方向的巨大一步。通常受限於預編程例程的機器人可以使用像CHOIS這樣的系統來更好地理解真實世界並執行用人類語言描述的任務。
這對於醫療、款待或家庭環境中的服務機器人尤其具有變革性，其中理解和執行物理空間中的各種任務的能力至關重要。
對於人工智慧來說，能夠同時處理語言和視覺訊息來執行任務，是實現一種情境和語境理解的水平更接近，直到現在，這一直是人類的主要屬性。這可能導致AI系統成為在復雜任務中更有幫助的助手，能夠不僅理解「什麼」，而且理解「如何」執行人類指令，以前所未有的靈活性適應新挑戰。
有前途的結果和未來展望
總的來說，斯坦福和Meta的研究人員在計算機視覺、自然語言處理（NLP）和機器人學交叉點上的極具挑戰性的問題上取得了關鍵進展。
研究團隊認為，他們的工作是朝著創建先進AI系統的重要一步，這些系統能夠在多樣化的3D環境中模擬連續的人類行為。此外，這為進一步研究從3D場景和語言輸入中合成人物-物體互動打開了大門，這可能會在未來導致更複雜的AI系統的出現。
新聞原址： https://venturebeat.com/ai/stanford-and-meta-inch-towards-ai-that-acts-human-with-new-chois-interaction-model/
- 斯坦福大學和Meta的Facebook AI Research實驗室合作開發了一種創新的人工智慧系統，名為CHOIS，能夠僅憑文字描述生成自然且同步的虛擬人類與物體之間的動作。
- CHOIS使用最新的條件擴散模型技術，能夠產生逼真的3D互動，如根據指令「把桌子舉過頭頂」創建連續動作。
- 這項研究對計算機圖形學、人工智慧和機器人學領域具有重大影響，CHOIS通過結合語言理解和物理模擬，將AI應用推進到更高層次的真實互動。
新聞內文：
來自斯坦福大學和Meta的Facebook AI Research（FAIR）實驗室的研究人員開發出一種突破性的人工智慧系統，能夠僅根據文本描述生成自然且同步的虛擬人類與物體之間的動作。
這個新系統，被稱為CHOIS（可控人物-物體互動合成），利用最新的條件擴散模型技術，產生無縫且精確的互動，例如「把桌子舉過頭頂，走路，然後放下桌子」。
這項研究發表在arXiv上的一篇論文中，為未來虛擬生物能夠像人類一樣流暢地理解和響應語言命令提供了一瞥。
研究人員在研究論文中指出：「在3D場景中從語言描述中生成連續的人物-物體互動，面臨著幾個挑戰」。
他們必須確保生成的動作真實且同步，維持人手和物體之間適當的接觸，並且物體的動作與人類行動具有因果關係。
如何運作
CHOIS系統因其在合成3D環境中的人物-物體互動方面的獨特方法而脫穎而出。其核心，「CHOIS」使用條件擴散模型，這是一種能夠模擬詳細動作序列的生成模型。
當給定人和物體位置的初始狀態，以及所需任務的語言描述時，CHOIS生成一系列動作，最終完成任務。
例如，如果指令是「將燈搬近沙發」，CHOIS理解這一指示並創作一個真實的動畫，其中一個虛擬人物拿起燈並將其放在沙發附近。
CHOIS特別之處在於它使用稀疏物體航點和語言描述來引導這些動畫。航點充當物體軌跡中關鍵點的標記，確保動作不僅物理上可行，而且與語言輸入所概述的高層目標一致。
CHOIS的獨特性還在於其將語言理解與物理模擬的高階整合。傳統模型通常難以將語言與空間和物理行動相關聯，尤其是在更長時間的互動過程中，其中許多因素必須考慮以維持真實性。
CHOIS通過解釋語言描述背後的意圖和風格，然後將其轉化為一系列物理動作，尊重人體和物體涉及的約束。
這個系統尤其具有開創性，因為它確保了接觸點（如手接觸物體）被準確呈現，並且物體的動作與人類虛擬人物施加的力量一致。此外，該模型在其培訓和生成階段納入了專門的損失函數和指導條款，以強制實施這些物理約束，這在創建能夠像人類一樣理解和與物理世界互動的人工智慧方面是一個重大進步。
對計算機圖形學、人工智慧和機器人學的影響
CHOIS系統對計算機圖形學的影響深遠，特別是在動畫和虛擬現實領域。通過使人工智慧能夠解釋自然語言指令以生成真實的人物-物體互動，CHOIS可以大大減少動畫複雜場景所需的時間和努力。
動畫師可能會使用這項技術來創造傳統上需要繁瑣的逐幀動畫的序列，這既耗時又勞力密集。此外，在虛擬現實環境中，CHOIS可能導致更具沉浸感和互動性的體驗，因為使用者可以透過自然語言命令虛擬角色，觀察它們以逼真的精確度執行任務。這種更高水平的互動可以將VR體驗從僵硬、預設的事件轉變為對使用者輸入作出真實反應的動態環境。
在人工智慧和機器人學領域，CHOIS代表著朝著更自主和對環境有認知的系統方向的巨大一步。通常受限於預編程例程的機器人可以使用像CHOIS這樣的系統來更好地理解真實世界並執行用人類語言描述的任務。
這對於醫療、款待或家庭環境中的服務機器人尤其具有變革性，其中理解和執行物理空間中的各種任務的能力至關重要。
對於人工智慧來說，能夠同時處理語言和視覺訊息來執行任務，是實現一種情境和語境理解的水平更接近，直到現在，這一直是人類的主要屬性。這可能導致AI系統成為在復雜任務中更有幫助的助手，能夠不僅理解「什麼」，而且理解「如何」執行人類指令，以前所未有的靈活性適應新挑戰。
有前途的結果和未來展望
總的來說，斯坦福和Meta的研究人員在計算機視覺、自然語言處理（NLP）和機器人學交叉點上的極具挑戰性的問題上取得了關鍵進展。
研究團隊認為，他們的工作是朝著創建先進AI系統的重要一步，這些系統能夠在多樣化的3D環境中模擬連續的人類行為。此外，這為進一步研究從3D場景和語言輸入中合成人物-物體互動打開了大門，這可能會在未來導致更複雜的AI系統的出現。
新聞原址： https://venturebeat.com/ai/stanford-and-meta-inch-towards-ai-that-acts-human-with-new-chois-interaction-model/