你当前正在访问 Microsoft Azure Global Edition 技术文档网站。 如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站,请访问 https://docs.azure.cn

Azure AI Foundry 模型中的部署类型

Azure AI Foundry 模型使用 Azure AI Foundry 服务(以前已知的 Azure AI 服务)中的 模型部署 概念提供模型。 模型部署 也是 Azure 资源,创建时,它们在特定配置下授予对给定模型的访问权限。 此类配置包括处理请求所需的基础结构。

Azure AI Foundry 模型为客户提供了适合其业务和使用模式的托管结构的选择。 这些选项将转换为 Azure AI Foundry 资源中模型部署时可用的不同部署类型(或 SKU)。

显示如何自定义给定模型部署的部署类型的屏幕截图。

不同的模型提供程序提供可从中选择的不同部署类型 。 选择部署类型时,请考虑 数据驻留需求通话量/容量 要求。

全球标准

重要

静态存储的数据仍保留在指定的 Azure 地理位置中,而数据可能会被处理,以便在任何 Azure AI Foundry 位置进行推理。 进一步了解数据存储位置

代码中的 SKU 名称:GlobalStandard

全局部署与非全局部署类型位于同一 Azure AI Foundry Services 中,但允许你利用 Azure 的全球基础结构动态将流量路由到数据中心,并为每个请求提供最佳可用性。 全球标准提供最高的默认配额,且无需跨多个资源进行负载均衡。

具有稳定大流量的客户可能会遇到更大的延迟变化。 为每个模型设置阈值。 有关详细信息,请参阅“配额”页。 对于在大型工作负载使用中需要较小的延迟差异的应用程序,我们建议购买预配的吞吐量。

全局预配

重要

静态存储的数据仍保留在指定的 Azure 地理位置中,而数据可能会被处理,以便在任何 Azure AI Foundry 位置进行推理。 进一步了解数据存储位置

代码中的 SKU 名称:GlobalProvisionedManaged

全局部署与非全局部署类型位于同一 Azure AI Foundry Services 中,但允许你利用 Azure 的全球基础结构动态将流量路由到数据中心,并为每个请求提供最佳可用性。 全局预配部署使用 Azure 全局基础结构,为高且可预测的吞吐量提供专用的模型处理容量。

全局批处理

重要

静态存储的数据仍保留在指定的 Azure 地理位置中,而数据可能会被处理,以便在任何 Azure AI Foundry 位置进行推理。 进一步了解数据存储位置

全局批处理旨在高效处理大规模和大容量处理任务。 处理具有单独配额的异步请求组,目标周转时间为 24 小时,成本比全局标准低 50%。 使用批处理,你可以在单个文件中发送大量请求,而不是一次发送一个请求。 全局批处理请求具有单独的入队令牌配额,避免对你的在线工作负载造成任何中断。

代码中的 SKU 名称:GlobalBatch

关键用例包括:

  • 大规模数据处理:并行快速分析广泛的数据集。

  • 内容生成:创建大量文本,例如产品说明或文章。

  • 文档审查和总结:自动执行对长篇文档的审查和总结。

  • 客户支持自动化:同时处理大量查询,以提高响应速度。

  • 数据提取和分析:从大量非结构化数据中提取和分析信息。

  • 自然语言处理 (NLP) 任务:对大型数据集执行情绪分析或翻译等任务。

  • 营销和个性化:大规模生成个性化内容和建议。

数据区域标准

重要

静止存储的数据仍保留在指定的 Azure 地区,而数据可能会在 Microsoft 指定的数据区内的任何 Azure AI Foundry 位置进行推断处理。 进一步了解数据存储位置

代码中的 SKU 名称:DataZoneStandard

数据区域的标准部署与所有其他 AI Foundry 模型部署类型位于同一 Azure AI Foundry 资源中,允许您利用 Azure 的全球基础设施,将流量动态路由到 Microsoft 所定义的数据区域中拥有最佳可用性的数据中心,从而提升每个请求的可用性。 数据区域标准提供的默认配额高于基于 Azure 地理的部署类型。

具有稳定大流量的客户可能会遇到更大的延迟变化。 为每个模型设置阈值。 有关详细信息,请参阅“配额和限制”页。 对于需要大量低延迟差异的工作负荷,我们建议利用预配的部署产品/服务。

数据区域预配

重要

处于静止状态的数据仍然保留在指定的 Azure 地理位置,而数据可能会在 Microsoft 指定的数据区域内的任何 Azure AI Foundry 位置被处理以进行推断。详细了解数据驻留

代码中的 SKU 名称:DataZoneProvisionedManaged

数据区域预配的部署与所有其他 AI Foundry 模型部署类型相同,但允许你利用 Azure 全局基础结构将流量动态路由到Microsoft指定数据区域中的数据中心,并为每个请求提供最佳可用性。 数据区域预配部署在 Microsoft 指定数据区域中使用 Azure 基础结构为高吞吐量和可预测的吞吐量提供预留模型处理容量。

数据区域批处理

重要

静态数据仍保留在指定的 Azure 地理位置中,同时可能在 Microsoft 指定的数据区域内的任何 Azure AI Foundry 位置进行处理以进行推断。 进一步了解数据存储位置

代码中的 SKU 名称:DataZoneBatch

数据区域批处理部署提供与全局批处理部署相同的功能,同时允许利用 Azure 全局基础结构将流量动态路由到Microsoft定义的数据区域中的数据中心,并为每个请求提供最佳可用性。

标准

代码中的 SKU 名称:Standard

标准部署针对所选模型提供按调用付费的计费模型。 提供最快速的入门方法,因为只需为使用的内容付费。 每个区域中可用的模型以及吞吐量可能很有限。

标准部署针对低到中等流量、高突发性的工作负荷进行优化。 具有稳定大流量的客户可能会遇到更大的延迟变化。

已预配

代码中的 SKU 名称:ProvisionedManaged

借助预配的部署,可以指定部署中需要的吞吐量。 然后该服务会分配必要的模型处理容量,并确保随时可用。 吞吐量是根据预配的吞吐量单位 (PTU) 定义的,是表示部署吞吐量的规范化方式。 每个模型版本对需要不同的 PTU 量来部署,并提供不同的每 PTU 吞吐量。 从我们的预配吞吐量概念文章中了解详细信息。

控制部署选项

管理员可以使用 Azure 策略控制其用户可用的模型部署类型。 详细了解 如何使用自定义策略控制 AI 模型部署