DirectML 入门

将 DirectML 与 ONNX 运行时配对通常是许多开发人员大规模为用户带来硬件加速 AI 的最直接方法。 这三个步骤是使用此强大组合的一般指南。

1.转换

ONNX 格式使你能够将 ONNX 运行时与 DirectML 配合使用,后者提供跨硬件功能。

若要将模型转换为 ONNX 格式,可以利用 ONNXMLToolsOlive

2. 优化

有了 .onnx 模型后,利用 DirectML 支持的 Olive 优化模型。 你将看到可在 Windows 硬件生态系统中部署的显著性能改进。

3. 集成

模型准备就绪后,即可使用 ONNX 运行时和 DirectML 将硬件加速推理引入应用。 对于生成 AI 模型,建议使用 ONNX 运行时生成() API

我们生成了一些示例,演示如何使用 DirectML 和 ONNX 运行时:

DirectML 和 PyTorch

Pytorch 的 DirectML 后端可实现对 GPU 硬件的高性能低级别访问,同时为开发人员公开熟悉的 Pytorch API。 有关如何将 PyTorch 与 DirectML 配合使用的详细信息,可在此处找到

用于 Web 应用程序的 DirectML (预览版)

Web 神经网络 API(WebNN)是一种新兴的 Web 标准,允许 Web 应用和框架使用设备硬件(如 GPU、CPU 或专用的 AI 加速器(如 NPU)加速深度神经网络。 WebNN API 利用 Windows 上的 DirectML API 访问本机硬件功能并优化神经网络模型的执行。 有关 WebNN 的详细信息,可在此处找到