你当前正在访问 Microsoft Azure Global Edition 技术文档网站。 如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站,请访问 https://docs.azure.cn。
Azure AI Foundry 模型使用 Azure AI Foundry 服务(以前已知的 Azure AI 服务)中的 模型部署 概念提供模型。 模型部署 也是 Azure 资源,创建时,它们在特定配置下授予对给定模型的访问权限。 此类配置包括处理请求所需的基础结构。
Azure AI Foundry 模型为客户提供了适合其业务和使用模式的托管结构的选择。 这些选项将转换为 Azure AI Foundry 资源中模型部署时可用的不同部署类型(或 SKU)。
不同的模型提供程序提供可从中选择的不同部署类型 。 选择部署类型时,请考虑 数据驻留需求 和 通话量/容量 要求。
全球标准
重要
静态存储的数据仍保留在指定的 Azure 地理位置中,而数据可能会被处理,以便在任何 Azure AI Foundry 位置进行推理。 进一步了解数据存储位置。
代码中的 SKU 名称:GlobalStandard
全局部署与非全局部署类型位于同一 Azure AI Foundry Services 中,但允许你利用 Azure 的全球基础结构动态将流量路由到数据中心,并为每个请求提供最佳可用性。 全球标准提供最高的默认配额,且无需跨多个资源进行负载均衡。
具有稳定大流量的客户可能会遇到更大的延迟变化。 为每个模型设置阈值。 有关详细信息,请参阅“配额”页。 对于在大型工作负载使用中需要较小的延迟差异的应用程序,我们建议购买预配的吞吐量。
全局预配
重要
静态存储的数据仍保留在指定的 Azure 地理位置中,而数据可能会被处理,以便在任何 Azure AI Foundry 位置进行推理。 进一步了解数据存储位置。
代码中的 SKU 名称:GlobalProvisionedManaged
全局部署与非全局部署类型位于同一 Azure AI Foundry Services 中,但允许你利用 Azure 的全球基础结构动态将流量路由到数据中心,并为每个请求提供最佳可用性。 全局预配部署使用 Azure 全局基础结构,为高且可预测的吞吐量提供专用的模型处理容量。
全局批处理
重要
静态存储的数据仍保留在指定的 Azure 地理位置中,而数据可能会被处理,以便在任何 Azure AI Foundry 位置进行推理。 进一步了解数据存储位置。
全局批处理旨在高效处理大规模和大容量处理任务。 处理具有单独配额的异步请求组,目标周转时间为 24 小时,成本比全局标准低 50%。 使用批处理,你可以在单个文件中发送大量请求,而不是一次发送一个请求。 全局批处理请求具有单独的入队令牌配额,避免对你的在线工作负载造成任何中断。
代码中的 SKU 名称:GlobalBatch
关键用例包括:
大规模数据处理:并行快速分析广泛的数据集。
内容生成:创建大量文本,例如产品说明或文章。
文档审查和总结:自动执行对长篇文档的审查和总结。
客户支持自动化:同时处理大量查询,以提高响应速度。
数据提取和分析:从大量非结构化数据中提取和分析信息。
自然语言处理 (NLP) 任务:对大型数据集执行情绪分析或翻译等任务。
营销和个性化:大规模生成个性化内容和建议。
数据区域标准
重要
静止存储的数据仍保留在指定的 Azure 地区,而数据可能会在 Microsoft 指定的数据区内的任何 Azure AI Foundry 位置进行推断处理。 进一步了解数据存储位置。
代码中的 SKU 名称:DataZoneStandard
数据区域的标准部署与所有其他 AI Foundry 模型部署类型位于同一 Azure AI Foundry 资源中,允许您利用 Azure 的全球基础设施,将流量动态路由到 Microsoft 所定义的数据区域中拥有最佳可用性的数据中心,从而提升每个请求的可用性。 数据区域标准提供的默认配额高于基于 Azure 地理的部署类型。
具有稳定大流量的客户可能会遇到更大的延迟变化。 为每个模型设置阈值。 有关详细信息,请参阅“配额和限制”页。 对于需要大量低延迟差异的工作负荷,我们建议利用预配的部署产品/服务。
数据区域预配
重要
处于静止状态的数据仍然保留在指定的 Azure 地理位置,而数据可能会在 Microsoft 指定的数据区域内的任何 Azure AI Foundry 位置被处理以进行推断。详细了解数据驻留。
代码中的 SKU 名称:DataZoneProvisionedManaged
数据区域预配的部署与所有其他 AI Foundry 模型部署类型相同,但允许你利用 Azure 全局基础结构将流量动态路由到Microsoft指定数据区域中的数据中心,并为每个请求提供最佳可用性。 数据区域预配部署在 Microsoft 指定数据区域中使用 Azure 基础结构为高吞吐量和可预测的吞吐量提供预留模型处理容量。
数据区域批处理
重要
静态数据仍保留在指定的 Azure 地理位置中,同时可能在 Microsoft 指定的数据区域内的任何 Azure AI Foundry 位置进行处理以进行推断。 进一步了解数据存储位置。
代码中的 SKU 名称:DataZoneBatch
数据区域批处理部署提供与全局批处理部署相同的功能,同时允许利用 Azure 全局基础结构将流量动态路由到Microsoft定义的数据区域中的数据中心,并为每个请求提供最佳可用性。
标准
代码中的 SKU 名称:Standard
标准部署针对所选模型提供按调用付费的计费模型。 提供最快速的入门方法,因为只需为使用的内容付费。 每个区域中可用的模型以及吞吐量可能很有限。
标准部署针对低到中等流量、高突发性的工作负荷进行优化。 具有稳定大流量的客户可能会遇到更大的延迟变化。
已预配
代码中的 SKU 名称:ProvisionedManaged
借助预配的部署,可以指定部署中需要的吞吐量。 然后该服务会分配必要的模型处理容量,并确保随时可用。 吞吐量是根据预配的吞吐量单位 (PTU) 定义的,是表示部署吞吐量的规范化方式。 每个模型版本对需要不同的 PTU 量来部署,并提供不同的每 PTU 吞吐量。 从我们的预配吞吐量概念文章中了解详细信息。
控制部署选项
管理员可以使用 Azure 策略控制其用户可用的模型部署类型。 详细了解 如何使用自定义策略控制 AI 模型部署。