北京商報訊（記者魏蔚）9月20日，在2024雲棲大會雲棲通道開放期間，個人開發者、技術博主張子豪介紹了自己研發的人形機器人功能。「這款用Qwen2開發的人形機器人，基於幻爾TonyPi人形機器人，通過開源AI推理框架OpenVINO，在輕薄筆記本上本地部署端側AI開源大模型通義千問Qwen2-7B-Instruct，使用AI編程助手『通義靈碼』輔助編程開發和文檔撰寫。」張子豪介紹，人類輸入模糊語音指令，智能體Agent就能自主思考，調用23種原子動作Function Call，編排生成依次執行的動作列表及函數參數。
「之前的機器人，都是根據固定的指令去完成固定的動作，沒法實現泛化性、多樣性、通用性操作和對指令的理解」,張子豪解釋，「大模型的最大好處就是可以把任意指令翻譯成機器人的動作」。
他繼續舉例，之前讓機器人用機械臂把綠色方塊搬到印有小豬佩奇照片的指定處，要讓機器人認識小豬佩奇，得專門訓練一個模型，讓它先認識小豬佩奇。但是現在藉助多模態大模型，機器人天生就具備這個能力，它天生就知道小豬佩奇是誰。如此一來，人類可以跟機器人說任意的指令，它都可以理解，所以泛化性能是當前具身智能大模型之後引爆的一個熱點。