AI科學家李飛飛團隊最新突破：ReKep，讓機器人具備「空間智能」能力

最近，知名人工智慧科學家李飛飛團隊發布了「空間智能」研究方向的最新突破，提出了關係關鍵點約束（ReKep，全稱：Relational Keypoint Constraints）。

據了解，ReKep是一種基於視覺的表示方法，用於設定機器人操作中的約束條件，從而優化其動作。它通過將環境中的三維關鍵點映射到數值成本來定義這些約束，這些關鍵點具有任務語義和空間意義。

簡單而言，該研究就將任務表示為一個關係關鍵點約束序列，同時現有環境則表示為空間域和時間域上的約束，從而優化機器人的操作，並進行複雜且精細的交互操作。例如，在機器人倒茶的場景中，約束條件不僅包含中間目標（如對齊壺口與杯口），還包括過渡狀態（如保持茶壺直立），共同決定了機器人相對於環境的動作的空間、時間和其它組合要求。此外，該研究中，兩隻機器人手臂還能合作完成諸如疊衣服、打包鞋子等操作。

值得注意的是，該研究中還使用了大模型，李飛飛團隊結合了視覺模型和視覺語言模型，設計了一套流程來實現關鍵點提議和ReKep生成。這些模型中就包括GPT-4o（OpenAI為聊天機器人ChatGPT發布的語言模型）。為此，李飛飛表示，該項目展示了視覺與機器人學習的更深層次融合。

研究過程中，該團隊在兩種不同的機器人平台上搭建了系統，並進行了多種任務的實驗，包括單臂和雙臂機器人的多階段、雙手協作積極反應性的操作任務。實驗結果表明，該系統在沒有任務特點數據或環境模型的情況下，能夠有效地形成準確的約束。同時，研究還討論了ReKept在泛化操作策略、系統錯誤分解和實驗結果方向的挑戰和局限性。

該論文的標題為「ReKep: Spatio-Temporal Reasoning of Relational Keypoint Constraints for Robotic Manipulation」，同時還公開了該項目的網站和代碼。

李飛飛是人工智慧領域最重要的科學家之一，是現代人工智慧的關鍵催化劑ImageNet數據集的創建者，推動了計算機視覺和深度學習的發展，被稱為「人工智慧教母」。

同時，李飛飛也是一名創業者，今年4月她創立了一家人工智慧初創公司World Labs （世界實驗室），專注於開發能夠執行高級推理並理解對象之間3D空間關係的「空間智能系統」。此後，僅4個月該公司就獲得了1億美元的融資，躋身獨角獸行列。