将 DirectML 与 ONNX 运行时配对通常是许多开发人员大规模为用户带来硬件加速 AI 的最直接方法。 这三个步骤是使用此强大组合的一般指南。
1.转换
ONNX 格式使你能够将 ONNX 运行时与 DirectML 配合使用,后者提供跨硬件功能。
若要将模型转换为 ONNX 格式,可以利用 ONNXMLTools 或 Olive。
2. 优化
有了 .onnx 模型后,利用 DirectML 支持的 Olive 优化模型。 你将看到可在 Windows 硬件生态系统中部署的显著性能改进。
3. 集成
模型准备就绪后,即可使用 ONNX 运行时和 DirectML 将硬件加速推理引入应用。 对于生成 AI 模型,建议使用 ONNX 运行时生成() API
我们生成了一些示例,演示如何使用 DirectML 和 ONNX 运行时:
DirectML 和 PyTorch
Pytorch 的 DirectML 后端可实现对 GPU 硬件的高性能低级别访问,同时为开发人员公开熟悉的 Pytorch API。 有关如何将 PyTorch 与 DirectML 配合使用的详细信息,可在此处找到
用于 Web 应用程序的 DirectML (预览版)
Web 神经网络 API(WebNN)是一种新兴的 Web 标准,允许 Web 应用和框架使用设备硬件(如 GPU、CPU 或专用的 AI 加速器(如 NPU)加速深度神经网络。 WebNN API 利用 Windows 上的 DirectML API 访问本机硬件功能并优化神经网络模型的执行。 有关 WebNN 的详细信息,可在此处找到