Blog
機器人學的未來：Agility的Digit機器人展示生成式AI在實際任務中的應用
機器人學的未來：Agility的Digit機器人展示生成式AI在實際任務中的應用
December 15, 2023
重點摘要：
新聞內文：
過去一年裡，我與機器人學專家深入討論了生成式人工智慧和大型語言模型的應用。越來越明顯的是，這些技術準備好將革新機器人的通訊、學習、觀察和編程方式。
鑒於此，許多頂尖大學、研究實驗室和公司都在探索如何最佳利用這些AI平台。位於俄勒岡州的資金充足的新創公司Agility使用其雙足機器人Digit進行了一段時間的技術實驗。
今天，該公司透過其社群媒體頻道分享了一段短片，示範了一些相關工作。
公司指出：「我們很好奇將這項技術整合到Digit中可以達成什麼。我們創造了一個實驗空間，裡面有一系列編號的塔，高度不一，還有三個具有多種特徵的盒子。Digit被告知了這個環境的訊息，但沒有得到任何具體的任務訊息，只是收到了不同複雜程度的自然語言指令，以看看它是否能執行」。
在影片範例中，Digit被告知拿起一個「達斯·維達的光劍」顏色的盒子，並將其移動到最高的塔上。這個過程不是瞬間完成的，而是緩慢而深思熟慮的，正如人們對於初期演示所期望的。然而，機器人確實如描述執行了任務。
Agility說明：「我們的創新團隊開發了這個互動範例，以展示大型語言模型（LLM）如何使我們的機器人更加多功能，並且部署速度更快。這個演示使人們能夠用自然語言與Digit交談，並要求它執行任務，展現了未來的一瞥」。
自然語言通訊一直是這項技術的關鍵應用領域之一，此外還包括透過低代碼和無代碼技術編程系統的能力。
在我主持的Disrupt小組討論會上，豐田研究所的吉爾·普拉特描述了該機構如何使用生成式AI加速機器人學習：
「我們已經找到了一種方法，利用現代生成式 AI 技術，讓人類展示位置和力量，從而僅用幾個示例教導機器人。這不需要改變任何代碼。這基於我們與哥倫比亞大學和麻省理工學院的合作所做的稱為『擴散政策』的工作。我們已經教導了60種不同技能。」
MIT CSAIL的丹妮拉·魯斯最近也告訴我：「生成式AI對於解決，甚至是運動規劃問題可能非常有力。你可以得到更快的解決方案，並且比模型預測解決方案更流暢、更人性化的控制。我認為這非常強大，因為未來的機器人動作將不再那麼機械化。他們將在動作上更加流暢，更像人類」。
這裡的潛在應用範圍廣泛且令人興奮。作為一個先進的商業可用機器人系統，Digit正在Amazon履行中心和其他真實世界地點進行試點，似乎是一個理想的候選對象。如果機器人將與人類一起工作，他們也需要學會傾聽人類的指令。
新聞原址： https://techcrunch.com/2023/12/14/agility-is-using-large-language-models-to-communicate-with-its-humanoid-robots/
- 隨著生成式AI技術的發展，多家頂尖大學、研究實驗室和公司正在探索其在機器人學領域的應用。俄勒岡州的新創公司Agility使用其雙足機器人Digit進行了一系列實驗，展示了大型語言模型（LLM）如何增強機器人的多功能性和部署速度。
- Agility的實驗展示了Digit機器人如何根據自然語言指令完成任務，例如將特定顏色的盒子放在不同高度的塔上。這些實驗表明LLM可以使機器人以更人性化、流暢的方式執行動作。
- 這項技術在自然語言通訊方面的應用尤為關鍵，允許機器人通過低代碼和無代碼技術更快地學習和編程。這為機器人與人類合作的未來提供了新的可能性，特別是在如亞馬遜履行中心等真實世界場景中的應用。
新聞內文：
過去一年裡，我與機器人學專家深入討論了生成式人工智慧和大型語言模型的應用。越來越明顯的是，這些技術準備好將革新機器人的通訊、學習、觀察和編程方式。
鑒於此，許多頂尖大學、研究實驗室和公司都在探索如何最佳利用這些AI平台。位於俄勒岡州的資金充足的新創公司Agility使用其雙足機器人Digit進行了一段時間的技術實驗。
今天，該公司透過其社群媒體頻道分享了一段短片，示範了一些相關工作。
公司指出：「我們很好奇將這項技術整合到Digit中可以達成什麼。我們創造了一個實驗空間，裡面有一系列編號的塔，高度不一，還有三個具有多種特徵的盒子。Digit被告知了這個環境的訊息，但沒有得到任何具體的任務訊息，只是收到了不同複雜程度的自然語言指令，以看看它是否能執行」。
在影片範例中，Digit被告知拿起一個「達斯·維達的光劍」顏色的盒子，並將其移動到最高的塔上。這個過程不是瞬間完成的，而是緩慢而深思熟慮的，正如人們對於初期演示所期望的。然而，機器人確實如描述執行了任務。
Agility說明：「我們的創新團隊開發了這個互動範例，以展示大型語言模型（LLM）如何使我們的機器人更加多功能，並且部署速度更快。這個演示使人們能夠用自然語言與Digit交談，並要求它執行任務，展現了未來的一瞥」。
自然語言通訊一直是這項技術的關鍵應用領域之一，此外還包括透過低代碼和無代碼技術編程系統的能力。
在我主持的Disrupt小組討論會上，豐田研究所的吉爾·普拉特描述了該機構如何使用生成式AI加速機器人學習：
「我們已經找到了一種方法，利用現代生成式 AI 技術，讓人類展示位置和力量，從而僅用幾個示例教導機器人。這不需要改變任何代碼。這基於我們與哥倫比亞大學和麻省理工學院的合作所做的稱為『擴散政策』的工作。我們已經教導了60種不同技能。」
MIT CSAIL的丹妮拉·魯斯最近也告訴我：「生成式AI對於解決，甚至是運動規劃問題可能非常有力。你可以得到更快的解決方案，並且比模型預測解決方案更流暢、更人性化的控制。我認為這非常強大，因為未來的機器人動作將不再那麼機械化。他們將在動作上更加流暢，更像人類」。
這裡的潛在應用範圍廣泛且令人興奮。作為一個先進的商業可用機器人系統，Digit正在Amazon履行中心和其他真實世界地點進行試點，似乎是一個理想的候選對象。如果機器人將與人類一起工作，他們也需要學會傾聽人類的指令。
新聞原址： https://techcrunch.com/2023/12/14/agility-is-using-large-language-models-to-communicate-with-its-humanoid-robots/