芯東西（公眾號：aichip001）
作者 | ZeR0
編輯 | 漠影
芯東西10月20日報道，NVIDIA本周宣布對適用於邊緣AI和機器人的NVIDIA Jetson平台上的兩個框架Metropolis和Isaac進行有史以來規模最大的軟體擴展。NVIDIA Isaac ROS機器人框架已全面上市，NVIDIA Metropolis在Jetson平台上的擴展也即將推出。
生成式AI具有的「零樣本學習」能力和自然語言介面，能夠簡化邊緣AI的開發、部署與管理。NVIDIA創建了一個Jetson生成式AI實驗室，以供開發者利用最新的開源生成式AI模型進行開發，從而加速邊緣AI應用的開發與部署。
目前，已有超過120萬名開發者和1萬多家客戶選擇了NVIDIA AI和Jetson平台，包括亞馬遜雲科技（AWS）、思科、約翰迪爾、美敦力、百事、西門子等。
一、助攻生成式 AI 發力邊緣應用， Jetson 平台進行大規模軟體擴展
開發者在構建邊緣AI應用時，面臨著開發周期延長的挑戰，為了實時滿足客戶不斷變化的環境、生產線和自動化需求，需要反覆對機器人和AI系統進行編程。這個過程非常耗時，還要求開發者具備足夠的專業技能，而生成式AI正發揮助力。
生成式AI通過理解人類的語言提示，對模型進行更改，極大提高了易用性。這些AI模型在檢測、分割、追蹤、搜索甚至重新編程方面都更加靈活，並藉此超越了基於卷積神經網絡（CNN）的傳統模型。據ABI Research預測，到2033年，生成式AI將為全球製造業務增收105億美元。
NVIDIA嵌入式和邊緣計算副總裁Deepu Talla相信，生成式AI具有前所未有的泛用性、易用性和精確性，將顯著加快邊緣AI的部署。
對此，NVIDIA在Jetson平台上對Metropolis和Isaac框架進行了有史以來規模最大的軟體擴展，並結合Transformer模型與生成式AI的強大功能來滿足這一需求。
NVIDIA Jetson生成式AI實驗室為Jetson開發者提供經過優化的工具和教程，用以部署開源大語言模型（LLM）、文生圖的擴散模型、視覺語言模型（VLM）以及視覺Transformer（ViT）。
開發者還可以使用NVIDIA TAO Toolkit，為邊緣應用創建高效而精確的AI模型。TAO提供了一個用於微調和優化ViT、視覺基礎模型等視覺AI模型的低代碼接口，並支持定製、微調NVIDIA NV-DINOv2等基礎模型或OpenCLIP等公共模型，用很少的數據創建高度精確的視覺AI模型，還推出了一個基於Transformer的新型缺陷檢測模型VisualChangeNet。
二、 年底前推出 Metropolis API和微服務擴展集，Isaac ROS達生產就緒狀態
NVIDIA Metropolis提供了一系列功能強大的應用編程接口和微服務，供開發人員快速開發基於視覺的複雜應用，從而能夠幫助企業更輕鬆、更經濟高效地使用全球頂尖的視覺AI解決方案，以改善至關重要的運營效率和安全問題。
寶馬集團、百事、克羅格、泰森食品、印孚瑟斯、西門子等1000多家公司正在使用NVIDIA Metropolis開發者工具，通過視覺AI來解決物聯網（IoT）、傳感器處理和運營方面的難題。該開發者工具已被希望構建視覺AI應用的用戶下載了100多萬次。
NVIDIA Jetson平台上的Metropolis API和微服務擴展集將在年底前推出，幫助開發者快速構建和部署可擴展的視覺AI應用程式。數百家客戶使用NVIDIA Isaac平台，在農業、倉儲自動化、最後一公里配送、服務機器人等多個領域開發了高性能機器人解決方案。
在ROSCon 2023上，NVIDIA宣布推出Isaac ROS和Isaac Sim軟體的全新版本，對感知和模擬功能進行了重大改進，以簡化ROS開發者對高性能AI機器人應用的構建與測試。
開源機器人作業系統（ROS）在不斷發展進化，並為整個機器人社區提供開源軟體。基於常用ROS的 Isaac ROS，為移動的物體帶來了「視覺」和「聽覺」感知能力。藉助GPU加速的GEM的視覺里程測量、深度知覺、3D場景重建、定位和規劃等功能，機器人開發者可以獲取為不同應用快速定製機器人解決方案所需的各種工具。
開源機器人基金會首席技術官Geoff Biggs認為，NVIDIA此次版本中全新預構建的ROS 2軟體包，將助力廣大NVIDIA Jetson開發者社區隨時使用ROS 2。
Isaac ROS 2.0最新版本已達到生產就緒狀態，主要的優化升級包括原生ROS 2 Humble支持、NITROS ROS橋接器、CUDA NITROS、Stereolabs ZED攝像機集成、Nova Carter、ESS 3.0性能等，可幫助開發者使用Jetson平台創建並推出高性能機器人解決方案。
三、提供精選AI工作流參考，大幅減少開發時間
開發生產級AI解決方案，需要開發和訓練針對特定用例定製的AI模型，在平台上實現強大的安全功能、編排應用、管理機隊、建立邊緣到雲的無縫通信等。
「隨著應用需求的日益複雜化，我們需要從根本上轉向能夠簡化和加速邊緣部署創建的平台。」Tirias Research首席分析師Jim McGregor談道。
NVIDIA則推出了一套基於Metropolis和Isaac框架的精選AI工作流參考，幫助開發者快速採用整個工作流或有選擇性地集成獨立部分，大幅減少開發時間和成本。三個AI工作流包括：網絡視頻錄製、自動光學檢測和自主移動機器人。
Jim McGregor評價說：「NVIDIA的這一重要軟體擴展為開發者帶來了全新的多傳感器模型和生成式AI功能。」
結語：全新 JetPack 6 今年年底推出，加快邊緣 AI 開發進度
總體來看，NVIDIA新推出一系列系統服務，為開發者提供了邊緣AI解決方案時所需的基本功能，從而簡化與工作流的集成，提高效率。
全新NVIDIA JetPack 6將於今年年底推出。AI開發者將無需全面升級Jetson Linux，就能保持在計算領域的最前沿，大幅加快開發進度。JetPack 6還將通過與Linux發行版合作夥伴的合作，擴大基於Linux的發行版的選擇範圍，包括Canonical的優化及經過驗證的Ubuntu、Wind River Linux、並行實時Redhawk Linux以及各種基於Yocto的發行版。
作為NVIDIA合作夥伴網絡中的一部分，Jetson合作夥伴生態系統提供了從硬體、AI軟體和應用設計服務到傳感器、連接和開發者工具的廣泛支持。最新版本通過採用更多具有更強性能與功能的AI技術，幫助Jetson合作夥伴加快產品上市並擴大客戶群。擁有廣泛而多樣化的用戶群與合作夥伴生態的NVIDIA Jetson，已經成為助推邊緣機器人和AI革命的關鍵力量之一。