微软更新DirectML支持NPU,以加速Windows AI应用

2023-12-18     十轮网

原标题:微软更新DirectML支持NPU,以加速Windows AI应用

微软预告明年将更新DirectML开始支持神经处理单元(NPU)。NPU是一种专为机器学习工作负载设计的处理单元,适合用于计算密集、不需要图形接口互动的工作负载,目前英特尔新款Core Ultra处理器芯片已经内置NPU,而这也会是第一个可在Windows上使用DirectML技术的NPU。

DirectML是一个低端且硬件抽象化的API,能够直接访问GPU等各类加速器,执行机器学习计算。其属于DirectX家族,DirectX主要用于Windows平台上的图形与游戏开发,而DirectML则专注于机器学习工作负载。DirectML也能够和其他机器学习框架和工具集成,像是跨平台推理引擎ONNX Runtime和Windows机器学习模型优化工具Olive。

Core Ultra的NPU加速器直接集成到SoC,能够以相对较低的功耗执行人工智能运算,释放CPU和GPU计算资源。NPU获得DirectML支持便能够加入ONNX生态系,使用诸如ONNX Model Zoo的模型、英特尔Neural Compressor与ONNX Runtime等工具。

DirectML添加对NPU的支持,让开发者通过ONNX Runtime等API,将人工智能模型转移到英特尔的NPU上执行,提供在Windows上执行人工智能工作负载另一种选择。支持NPU的DirectML预计在2024年初,与最新的ONNX Runtime版本一起发布。

文章来源: https://twgreatdaily.com/zh-hans/247a58f2e1e1f37624a9a34f3e8b3e04.html