微軟更新DirectML支持NPU,以加速Windows AI應用

2023-12-18     十輪網

原標題:微軟更新DirectML支持NPU,以加速Windows AI應用

微軟預告明年將更新DirectML開始支持神經處理單元(NPU)。NPU是一種專為機器學習工作負載設計的處理單元,適合用於計算密集、不需要圖形接口互動的工作負載,目前英特爾新款Core Ultra處理器晶片已經內置NPU,而這也會是第一個可在Windows上使用DirectML技術的NPU。

DirectML是一個低端且硬體抽象化的API,能夠直接訪問GPU等各類加速器,執行機器學習計算。其屬於DirectX家族,DirectX主要用於Windows平台上的圖形與遊戲開發,而DirectML則專注於機器學習工作負載。DirectML也能夠和其他機器學習框架和工具集成,像是跨平台推理引擎ONNX Runtime和Windows機器學習模型優化工具Olive。

Core Ultra的NPU加速器直接集成到SoC,能夠以相對較低的功耗執行人工智慧運算,釋放CPU和GPU計算資源。NPU獲得DirectML支持便能夠加入ONNX生態系,使用諸如ONNX Model Zoo的模型、英特爾Neural Compressor與ONNX Runtime等工具。

DirectML添加對NPU的支持,讓開發者通過ONNX Runtime等API,將人工智慧模型轉移到英特爾的NPU上執行,提供在Windows上執行人工智慧工作負載另一種選擇。支持NPU的DirectML預計在2024年初,與最新的ONNX Runtime版本一起發布。

文章來源: https://twgreatdaily.com/zh/247a58f2e1e1f37624a9a34f3e8b3e04.html