通过

你当前正在访问 Microsoft Azure Global Edition 技术文档网站。 如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站，请访问 https://docs.azure.cn。

Foundry Local CLI 参考

重要

  • Foundry Local 以预览版提供。 公共预览版提供对活动部署中的功能的早期访问。
  • 正式发布 (GA) 之前，功能、方法和流程可能会发生更改或具有受限的功能。

本文提供了 Foundry Local 命令行接口（CLI）的综合参考。 CLI 将命令组织成逻辑类别，以帮助管理模型、控制服务和维护本地缓存。

概述

使用帮助选项查看所有可用的命令：

foundry --help

CLI 将命令组织为三个主要类别：

  • 模型：用于管理和运行 AI 模型的命令
  • 服务：用于控制 Foundry 本地服务的命令
  • 缓存：用于管理本地模型存储的命令

模型命令

下表总结了与管理和运行模型相关的命令：

注释

可以通过参数model或模型 ID 来指定参数。 使用别名将：

  • 为可用硬件选择 最佳模型 。 例如，如果有 Nvidia CUDA GPU 可用，Foundry Local 将选择 CUDA 模型。 如果有受支持的 NPU 可用，Foundry Local 会选择 NPU 模型。
  • 允许使用较短的名称，而无需记住模型 ID。

如果要运行特定模型，可以使用模型 ID。 例如，若要在 qwen2.5-0.5b CPU 上运行（无论可用的硬件如何），请使用： foundry model run qwen2.5-0.5b-instruct-generic-cpu

命令 说明
foundry model --help 显示所有可用的模型相关命令及其用法。
foundry model run <model> 运行指定的模型，下载它（如果未缓存）并启动交互。
foundry model list 列出所有可用的模型供本地使用。
foundry model info <model> 显示有关特定模型的详细信息。
foundry model info <model> --license 显示特定模型的许可证信息。
foundry model download <model> 在不运行模型的情况下将模型下载到本地缓存。
foundry model load <model> 将模型加载到服务中。
foundry model unload <model> 从服务中卸载模型。

服务命令

下表总结了与管理和运行 Foundry Local 服务相关的命令：

命令 说明
foundry service --help 显示所有可用的服务相关命令及其用法。
foundry service start 启动 Foundry Local 服务。
foundry service stop 停止 Foundry Local 服务。
foundry service restart 重启 Foundry 本地服务。
foundry service status 显示 Foundry 本地服务的当前状态。
foundry service ps 列出 Foundry Local 服务中当前加载的所有模型。
foundry service diag 显示 Foundry 本地服务的日志。
foundry service set <options> 设置 Foundry 本地服务的配置。

缓存命令

下表汇总了与管理存储模型的本地缓存相关的命令：

命令 说明
foundry cache --help 显示所有可用的缓存相关命令及其用法。
foundry cache ___location 显示当前缓存目录。
foundry cache list 列出存储在本地缓存中的所有模型。
foundry cache cd <path> 更改缓存目录。
foundry cache remove <model> 从本地缓存中删除模型。