Foundry Local 是 Azure AI Foundry 的本地版本,可直接在 Windows 设备上本地执行大型语言模型(LLM)。 如果想要更深入地实现不适用于 Windows AI API 的 AI 方案,这是一个很好的替代方法。
与基于云的替代方案相比,此设备上的 AI 推理解决方案提供了隐私、自定义和成本优势。 最棒的是,它可以通过易于使用的 CLI 和 REST API,轻松融入您现有的工作流和应用程序。 有关 Foundry Local 的详细信息,请参阅 Foundry Local 文档。