steps 包

包含可在 Azure 机器学习管道中执行的预生成步骤。

可以将 Azure ML 管道步骤一起配置为构建管道,该管道表示可共享和可重用的 Azure 机器学习工作流。 如果步骤内容(脚本和依赖项)以及输入和参数保持不变,则可以将管道的每个步骤配置为允许重用其以前的运行结果。

此包中的类通常与包中的 core 类一起使用。 核心包包含用于配置数据(PipelineData)、计划(Schedule)和管理步骤输出(StepRun)的类。

此包中的预生成步骤涵盖了机器学习工作流中遇到的许多常见方案。 若要开始使用预生成的管道步骤,请参阅:

模块

adla_step

包含用于创建 Azure ML Pipeline 步骤以使用 Azure Data Lake Analytics 运行 U-SQL 脚本的功能。

automl_step

包含用于在 Azure 机器学习中添加和管理自动化 ML 管道步骤的功能。

azurebatch_step

包含用于创建在 Azure Batch 中运行 Windows 可执行文件的 Azure ML Pipeline 步骤的功能。

command_step

包含用于创建运行命令的 Azure ML 管道步骤的功能。

data_transfer_step

包含用于创建 Azure ML Pipeline 步骤的功能,用于在存储选项之间传输数据。

databricks_step

包含用于在 DBFS 上运行 Databricks 笔记本或 Python 脚本的 Azure ML 管道步骤的功能。

estimator_step

包含用于创建管道步骤的功能,用于运行机器学习模型训练的估算器。

hyper_drive_step

包含用于创建和管理运行超参数优化的 Azure ML 管道步骤的功能。

kusto_step

包含用于创建 Azure ML 管道步骤以运行 Kusto 笔记本的功能。

module_step

包含使用模块的现有版本添加 Azure 机器学习管道步骤的功能。

mpi_step

包含用于添加 Azure ML Pipeline 步骤以运行用于机器学习模型训练的 MPI 作业的功能。

parallel_run_config

包含用于配置 ParallelRunStep.

parallel_run_step

包含用于在多个 AmlCompute 目标上以并行模式运行用户脚本的步骤的功能。

python_script_step

包含用于创建运行 Python 脚本的 Azure ML 管道步骤的功能。

r_script_step

包含用于创建运行 R 脚本的 Azure ML 管道步骤的功能。

synapse_spark_step

包含用于创建运行 Python 脚本的 Azure ML Synapse 步骤的功能。

AdlaStep

创建 Azure ML Pipeline 步骤,以便使用 Azure Data Lake Analytics 运行 U-SQL 脚本。

有关使用此 AdlaStep 的示例,请参阅笔记本 https://aka.ms/pl-adla

创建 Azure ML Pipeline 步骤,以使用 Azure Data Lake Analytics 运行 U-SQL 脚本。

AutoMLStep

创建封装自动化 ML 运行的 Azure ML Pipeline 步骤。

有关使用 AutoMLStep 的示例,请参阅笔记本 https://aka.ms/pl-automl

初始化 AutoMLStep。

AutoMLStepRun

提供有关自动化 ML 试验运行和检索默认输出的方法的信息。

AutoMLStepRun 类用于在管道中提交自动化 ML 运行后管理、检查状态和检索运行详细信息。 此外,此类还可用于通过AutoMLStep类获取默认输出StepRun

初始化 automl 步骤运行。

AzureBatchStep

创建用于将作业提交到 Azure Batch 的 Azure ML 管道步骤。

注意:此步骤不支持上传/下载目录及其内容。

有关使用 AzureBatchStep 的示例,请参阅笔记本 https://aka.ms/pl-azbatch

创建用于将作业提交到 Azure Batch 的 Azure ML Pipeline 步骤。

CommandStep

创建运行命令的 Azure ML Pipeline 步骤。

创建运行命令的 Azure ML Pipeline 步骤。

DataTransferStep

创建一个 Azure ML Pipeline 步骤,用于在存储选项之间传输数据。

DataTransferStep 支持常见的存储类型,例如 Azure Blob 存储和 Azure Data Lake 作为源和接收器。 有关详细信息,请参阅 “备注 ”部分。

有关使用 DataTransferStep 的示例,请参阅笔记本 https://aka.ms/pl-data-trans

创建一个 Azure ML Pipeline 步骤,用于在存储选项之间传输数据。

DatabricksStep

创建 Azure ML 管道步骤,以将 DataBricks 笔记本、Python 脚本或 JAR 添加为节点。

有关使用 DatabricksStep 的示例,请参阅笔记本 https://aka.ms/pl-databricks

创建 Azure ML 管道步骤,以将 DataBricks 笔记本、Python 脚本或 JAR 添加为节点。

有关使用 DatabricksStep 的示例,请参阅笔记本 https://aka.ms/pl-databricks

:p aram python_script_name:[必需] 相对于 source_directoryPython 脚本的名称。 如果脚本采用输入和输出,则这些输入和输出将作为参数传递给脚本。 如果 python_script_name 已指定,则 source_directory 还必须指定。

指定确切的一个notebook_pathpython_script_pathpython_script_namemain_class_name

如果将 DataReference 对象指定为 具有 data_reference_name=input1 的输入,并将 PipelineData 对象指定为 name=output1 的输出,则将输入和输出作为参数传递给脚本。 这就是它们的外观,你需要分析脚本中的参数以访问每个输入和输出的路径:“-input1”、“wasbs:///test”,“-output1”、“wasbs://test@storagename.blob.core.windows.nettest@storagename.blob.core.windows.net/b3e26de1-87a4-494d-a20f-1988d22b81a2/output1”

此外,脚本中将提供以下参数:

  • AZUREML_RUN_TOKEN:用于使用 Azure 机器学习进行身份验证的 AML 令牌。
  • AZUREML_RUN_TOKEN_EXPIRY:AML 令牌到期时间。
  • AZUREML_RUN_ID:此运行的 Azure 机器学习运行 ID。
  • AZUREML_ARM_SUBSCRIPTION:AML 工作区的 Azure 订阅。
  • AZUREML_ARM_RESOURCEGROUP:Azure 机器学习工作区的 Azure 资源组。
  • AZUREML_ARM_WORKSPACE_NAME:Azure 机器学习工作区的名称。
  • AZUREML_ARM_PROJECT_NAME:Azure 机器学习试验的名称。
  • AZUREML_SERVICE_ENDPOINT:AML 服务的终结点 URL。
  • AZUREML_WORKSPACE_ID:Azure 机器学习工作区的 ID。
  • AZUREML_EXPERIMENT_ID:Azure 机器学习试验的 ID。
  • AZUREML_SCRIPT_DIRECTORY_NAME:复制source_directory的 DBFS 中的目录路径。
  (This parameter is only populated when `python_script_name` is used.  See more details below.)

使用 DatabricksStep 参数source_directorypython_script_name从 Databricks 上的本地计算机上执行 Python 脚本时,source_directory将复制到 DBFS,DBFS 上的目录路径在开始执行时作为参数传递给脚本。 此参数标记为 –AZUREML_SCRIPT_DIRECTORY_NAME。 需要使用字符串“dbfs://”或“/dbfs/”作为前缀才能访问 DBFS 中的目录。

EstimatorStep

荒废的。 创建用于 Azure ML 模型训练的 Estimator 管道步骤。

创建用于运行机器学习模型训练估算器的 Azure ML 管道步骤。

荒废的。 请改用 CommandStep 。 有关示例,请参阅 如何使用 CommandStep 在管道中运行 ML 训练

HyperDriveStep

创建一个 Azure ML Pipeline 步骤,用于运行用于机器学习模型训练的超参数优化。

有关使用 HyperDriveStep 的示例,请参阅笔记本 https://aka.ms/pl-hyperdrive

创建 Azure ML Pipeline 步骤以运行用于机器学习模型训练的超参数优化。

HyperDriveStepRun

管理、检查状态和检索管道步骤的 HyperDriveStep 运行详细信息。

HyperDriveStepRun 提供附加支持HyperDriveRun的功能StepRun。 使用 HyperDriveStepRun 类,可以管理、检查状态和检索 HyperDrive 运行及其生成的每个子运行的运行详细信息。 通过 StepRun 类,可以在提交父管道运行并提交步骤运行后执行此作。

初始化 HyperDriveStepRun。

HyperDriveStepRun 提供附加支持HyperDriveRun的功能StepRun。 使用 HyperDriveRun 类,可以管理、检查状态和检索 HyperDrive 运行及其生成的每个子运行的运行详细信息。 通过 StepRun 类,可以在提交父管道运行并提交步骤运行后执行此作。

KustoStep

KustoStep 支持在 Azure ML Pipelines 中的目标 Kusto 群集上运行 Kusto 查询的功能。

初始化 KustoStep。

ModuleStep

创建 Azure 机器学习管道步骤以运行模块的特定版本。

Module 对象定义可重用计算,例如脚本或可执行文件,这些计算可用于不同的机器学习方案和不同用户。 若要在管道中使用模块的特定版本,请创建 ModuleStep。 ModuleStep 是管道中使用现有 ModuleVersion步骤。

有关使用 ModuleStep 的示例,请参阅笔记本 https://aka.ms/pl-modulestep

创建 Azure ML 管道步骤以运行模块的特定版本。

MpiStep

创建用于运行 MPI 作业的 Azure ML 管道步骤。

有关使用 MpiStep 的示例,请参阅笔记本 https://aka.ms/pl-style-trans

创建 Azure ML 管道步骤以运行 MPI 作业。

荒废的。 请改用 CommandStep 。 有关示例,请参阅 如何使用 CommandStep 在管道中运行分布式训练

ParallelRunConfig

定义对象的配置 ParallelRunStep

有关使用 ParallelRunStep 的示例,请参阅笔记本 https://aka.ms/batch-inference-notebooks

有关故障排除指南,请参阅 https://aka.ms/prstsg。 你可以在此处找到更多引用。

初始化配置对象。

ParallelRunStep

创建 Azure 机器学习管道步骤,以异步和并行处理大量数据。

有关使用 ParallelRunStep 的示例,请参阅笔记本 https://aka.ms/batch-inference-notebooks

有关故障排除指南,请参阅 https://aka.ms/prstsg。 你可以在此处找到更多引用。

创建 Azure ML Pipeline 步骤以异步和并行方式处理大量数据。

有关使用 ParallelRunStep 的示例,请参阅笔记本链接 https://aka.ms/batch-inference-notebooks

PythonScriptStep

创建运行 Python 脚本的 Azure ML 管道步骤。

有关使用 PythonScriptStep 的示例,请参阅笔记本 https://aka.ms/pl-get-started

创建运行 Python 脚本的 Azure ML 管道步骤。

RScriptStep

注释

这是一个实验类,随时可能会更改。 有关详细信息,请参阅 https://aka.ms/azuremlexperimental

创建运行 R 脚本的 Azure ML 管道步骤。

创建运行 R 脚本的 Azure ML Pipeline 步骤。

荒废的。 请改用 CommandStep 。 有关示例,请参阅 如何使用 CommandStep 在管道中运行 R 脚本

SynapseSparkStep

注释

这是一个实验类,随时可能会更改。 有关详细信息,请参阅 https://aka.ms/azuremlexperimental

创建提交和执行 Python 脚本的 Azure ML Synapse 步骤。

创建在 synapse spark 池上运行 Spark 作业的 Azure ML 管道步骤。