通过

你当前正在访问 Microsoft Azure Global Edition 技术文档网站。 如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站，请访问 https://docs.azure.cn。

Foundry Local 入门

重要

  • Foundry Local 以预览版提供。 公共预览版提供对活动部署中的功能的早期访问。
  • 正式发布 (GA) 之前，功能、方法和流程可能会发生更改或具有受限的功能。

本指南将指导你设置 Foundry Local 以在设备上运行 AI 模型。

先决条件

系统必须满足以下要求才能运行 Foundry Local：

  • 作系统：Windows 10（x64）、Windows 11（x64/ARM）、Windows Server 2025、macOS。
  • 硬件：最小 8GB RAM、3GB 可用磁盘空间。 建议使用 16GB RAM、15GB 可用磁盘空间。
  • 网络：用于初始模型下载的 Internet 连接（可选供脱机使用）
  • 加速（可选）：NVIDIA GPU（2,000 系列或更高版本）、AMD GPU（6,000 系列或更高版本）、高通 Snapdragon X Elite（8GB 或更多内存），或 Apple Silicon。

此外，请确保你具有在设备上安装软件的管理权限。

快速入门

快速开始使用 Foundry Local：

  1. 安装 Foundry Local

    • Windows：打开终端并运行以下命令： 
      winget install Microsoft.FoundryLocal
    • macOS：打开终端并运行以下命令： 
      brew tap microsoft/foundrylocal
brew install foundrylocal

    或者，可以从 Foundry 本地 GitHub 存储库下载安装程序。

  2. 运行第一个模型 打开终端窗口并运行以下命令来运行模型：

    foundry model run phi-3.5-mini

    模型下载可能需要几分钟时间，具体取决于您的网速，下载后模型即可运行。 运行模型后，可以使用命令行接口（CLI）与之交互。 例如，可以询问：

    Why is the sky blue?

    终端中应会显示来自模型的响应： Foundry 本地运行命令的输出屏幕截图。

小窍门

您可以将 phi-3.5-mini 替换为目录中的任意模型名称（请参阅 foundry model list 中的可用模型）。 Foundry Local 下载与系统硬件和软件配置最匹配的模型变体。 例如，如果有 NVIDIA GPU，它将下载模型的 CUDA 版本。 如果你有 Qualcomm NPU，它将下载 NPU 变体。 如果没有 GPU 或 NPU，则会下载 CPU 版本。

探索命令

Foundry CLI 将命令组织成以下主要类别：

  • 模型：用于管理和运行模型的命令。
  • 服务：用于管理 Foundry 本地服务的命令。
  • 缓存：用于管理本地模型缓存的命令（本地磁盘上下载的模型）。

使用以下命令查看所有可用的命令：

foundry --help

若要查看可用的 模型 命令，请运行：

foundry model --help

若要查看可用的 服务 命令，请运行：

foundry service --help

若要查看可用的 缓存 命令，请运行：

foundry cache --help

小窍门

有关所有 CLI 命令及其用法的完整指南，请参阅 Foundry 本地 CLI 参考。

升级 Foundry Local

若要将 Foundry Local 升级到最新版本，请使用基于作系统的以下命令：

  • Windows：打开终端并运行： 
    winget upgrade --id Microsoft.FoundryLocal
  • macOS：打开终端并运行： 
    brew upgrade foundrylocal

卸载 Foundry Local

如果要卸载 Foundry Local，请根据您的操作系统使用以下命令：

  • Windows：打开终端并运行： 
    winget uninstall Microsoft.FoundryLocal
  • macOS：打开终端并运行： 
    brew rm foundrylocal
brew untap microsoft/foundrylocal
brew cleanup --scrub

后续步骤