了解和创建批处理终结点

若要获取模型以生成批处理预测，可以将模型部署到批处理终结点。

你将了解如何使用批处理终结点进行异步批处理评分。

批量预测

若要获取批量预测，可以将模型部署到终结点。 终结点 是一个可以调用以触发批量评分任务的 HTTPS 终结点。 此类终结点的优点是，可以从其他服务（例如 Azure Synapse Analytics 或 Azure Databricks）触发批处理评分作业。 批处理终结点允许将批处理评分与现有数据引入和转换管道集成。

每当调用终结点时，就会将批处理评分作业提交到 Azure 机器学习工作区。 该作业通常使用 计算群集 对多个输入进行评分。 结果可以存储在连接到 Azure 机器学习工作区的数据存储中。

创建批处理终结点

若要将模型部署到批处理终结点，首先必须创建批处理终结点。

若要创建批处理终结点，请使用 BatchEndpoint 类。 Batch 终结点名称需要在 Azure 区域中唯一。

若要创建终结点，请使用以下命令：

# create a batch endpoint
endpoint = BatchEndpoint(
    name="endpoint-example",
    description="A batch endpoint",
)

ml_client.batch_endpoints.begin_create_or_update(endpoint)

将模型部署到批处理终结点

可以将多个模型部署到批处理终结点。 每当调用触发批处理评分作业的批处理终结点时，除非另有指定，否则将使用 默认部署。

将计算群集用于批处理部署

用于批处理部署的理想计算是 Azure 机器学习计算群集。 如果希望批处理评分作业以并行批处理处理新数据，则需要预配具有多个最大实例的计算群集。

若要创建计算群集，可以使用 AMLCompute 类。

from azure.ai.ml.entities import AmlCompute

cpu_cluster = AmlCompute(
    name="aml-cluster",
    type="amlcompute",
    size="STANDARD_DS11_V2",
    min_instances=0,
    max_instances=4,
    idle_time_before_scale_down=120,
    tier="Dedicated",
)

cpu_cluster = ml_client.compute.begin_create_or_update(cpu_cluster)