steps 包
包含可在 Azure 机器学习管道中执行的预生成步骤。
可以将 Azure ML 管道步骤一起配置为构建管道,该管道表示可共享和可重用的 Azure 机器学习工作流。 如果步骤内容(脚本和依赖项)以及输入和参数保持不变,则可以将管道的每个步骤配置为允许重用其以前的运行结果。
此包中的类通常与包中的 core 类一起使用。 核心包包含用于配置数据(PipelineData)、计划(Schedule)和管理步骤输出(StepRun)的类。
此包中的预生成步骤涵盖了机器学习工作流中遇到的许多常见方案。 若要开始使用预生成的管道步骤,请参阅:
模块
adla_step |
包含用于创建 Azure ML Pipeline 步骤以使用 Azure Data Lake Analytics 运行 U-SQL 脚本的功能。 |
automl_step |
包含用于在 Azure 机器学习中添加和管理自动化 ML 管道步骤的功能。 |
azurebatch_step |
包含用于创建在 Azure Batch 中运行 Windows 可执行文件的 Azure ML Pipeline 步骤的功能。 |
command_step |
包含用于创建运行命令的 Azure ML 管道步骤的功能。 |
data_transfer_step |
包含用于创建 Azure ML Pipeline 步骤的功能,用于在存储选项之间传输数据。 |
databricks_step |
包含用于在 DBFS 上运行 Databricks 笔记本或 Python 脚本的 Azure ML 管道步骤的功能。 |
estimator_step |
包含用于创建管道步骤的功能,用于运行机器学习模型训练的估算器。 |
hyper_drive_step |
包含用于创建和管理运行超参数优化的 Azure ML 管道步骤的功能。 |
kusto_step |
包含用于创建 Azure ML 管道步骤以运行 Kusto 笔记本的功能。 |
module_step |
包含使用模块的现有版本添加 Azure 机器学习管道步骤的功能。 |
mpi_step |
包含用于添加 Azure ML Pipeline 步骤以运行用于机器学习模型训练的 MPI 作业的功能。 |
parallel_run_config |
包含用于配置 ParallelRunStep. |
parallel_run_step |
包含用于在多个 AmlCompute 目标上以并行模式运行用户脚本的步骤的功能。 |
python_script_step |
包含用于创建运行 Python 脚本的 Azure ML 管道步骤的功能。 |
r_script_step |
包含用于创建运行 R 脚本的 Azure ML 管道步骤的功能。 |
synapse_spark_step |
包含用于创建运行 Python 脚本的 Azure ML Synapse 步骤的功能。 |
类
AdlaStep |
创建 Azure ML Pipeline 步骤,以便使用 Azure Data Lake Analytics 运行 U-SQL 脚本。 有关使用此 AdlaStep 的示例,请参阅笔记本 https://aka.ms/pl-adla。 创建 Azure ML Pipeline 步骤,以使用 Azure Data Lake Analytics 运行 U-SQL 脚本。 |
AutoMLStep |
创建封装自动化 ML 运行的 Azure ML Pipeline 步骤。 有关使用 AutoMLStep 的示例,请参阅笔记本 https://aka.ms/pl-automl。 初始化 AutoMLStep。 |
AutoMLStepRun |
提供有关自动化 ML 试验运行和检索默认输出的方法的信息。 AutoMLStepRun 类用于在管道中提交自动化 ML 运行后管理、检查状态和检索运行详细信息。 此外,此类还可用于通过AutoMLStep类获取默认输出StepRun。 初始化 automl 步骤运行。 |
AzureBatchStep |
创建用于将作业提交到 Azure Batch 的 Azure ML 管道步骤。 注意:此步骤不支持上传/下载目录及其内容。 有关使用 AzureBatchStep 的示例,请参阅笔记本 https://aka.ms/pl-azbatch。 创建用于将作业提交到 Azure Batch 的 Azure ML Pipeline 步骤。 |
CommandStep |
创建运行命令的 Azure ML Pipeline 步骤。 创建运行命令的 Azure ML Pipeline 步骤。 |
DataTransferStep |
创建一个 Azure ML Pipeline 步骤,用于在存储选项之间传输数据。 DataTransferStep 支持常见的存储类型,例如 Azure Blob 存储和 Azure Data Lake 作为源和接收器。 有关详细信息,请参阅 “备注 ”部分。 有关使用 DataTransferStep 的示例,请参阅笔记本 https://aka.ms/pl-data-trans。 创建一个 Azure ML Pipeline 步骤,用于在存储选项之间传输数据。 |
DatabricksStep |
创建 Azure ML 管道步骤,以将 DataBricks 笔记本、Python 脚本或 JAR 添加为节点。 有关使用 DatabricksStep 的示例,请参阅笔记本 https://aka.ms/pl-databricks。 创建 Azure ML 管道步骤,以将 DataBricks 笔记本、Python 脚本或 JAR 添加为节点。 有关使用 DatabricksStep 的示例,请参阅笔记本 https://aka.ms/pl-databricks。 :p aram python_script_name:[必需] 相对于 指定确切的一个 如果将 DataReference 对象指定为 具有 data_reference_name=input1 的输入,并将 PipelineData 对象指定为 name=output1 的输出,则将输入和输出作为参数传递给脚本。 这就是它们的外观,你需要分析脚本中的参数以访问每个输入和输出的路径:“-input1”、“wasbs:///test”,“-output1”、“wasbs://test@storagename.blob.core.windows.nettest@storagename.blob.core.windows.net/b3e26de1-87a4-494d-a20f-1988d22b81a2/output1” 此外,脚本中将提供以下参数:
使用 DatabricksStep 参数 |
EstimatorStep |
荒废的。 创建用于 Azure ML 模型训练的 Estimator 管道步骤。 创建用于运行机器学习模型训练估算器的 Azure ML 管道步骤。 荒废的。 请改用 CommandStep 。 有关示例,请参阅 如何使用 CommandStep 在管道中运行 ML 训练。 |
HyperDriveStep |
创建一个 Azure ML Pipeline 步骤,用于运行用于机器学习模型训练的超参数优化。 有关使用 HyperDriveStep 的示例,请参阅笔记本 https://aka.ms/pl-hyperdrive。 创建 Azure ML Pipeline 步骤以运行用于机器学习模型训练的超参数优化。 |
HyperDriveStepRun |
管理、检查状态和检索管道步骤的 HyperDriveStep 运行详细信息。 HyperDriveStepRun 提供附加支持HyperDriveRun的功能StepRun。 使用 HyperDriveStepRun 类,可以管理、检查状态和检索 HyperDrive 运行及其生成的每个子运行的运行详细信息。 通过 StepRun 类,可以在提交父管道运行并提交步骤运行后执行此作。 初始化 HyperDriveStepRun。 HyperDriveStepRun 提供附加支持HyperDriveRun的功能StepRun。 使用 HyperDriveRun 类,可以管理、检查状态和检索 HyperDrive 运行及其生成的每个子运行的运行详细信息。 通过 StepRun 类,可以在提交父管道运行并提交步骤运行后执行此作。 |
KustoStep |
KustoStep 支持在 Azure ML Pipelines 中的目标 Kusto 群集上运行 Kusto 查询的功能。 初始化 KustoStep。 |
ModuleStep |
创建 Azure 机器学习管道步骤以运行模块的特定版本。 Module 对象定义可重用计算,例如脚本或可执行文件,这些计算可用于不同的机器学习方案和不同用户。 若要在管道中使用模块的特定版本,请创建 ModuleStep。 ModuleStep 是管道中使用现有 ModuleVersion步骤。 有关使用 ModuleStep 的示例,请参阅笔记本 https://aka.ms/pl-modulestep。 创建 Azure ML 管道步骤以运行模块的特定版本。 |
MpiStep |
创建用于运行 MPI 作业的 Azure ML 管道步骤。 有关使用 MpiStep 的示例,请参阅笔记本 https://aka.ms/pl-style-trans。 创建 Azure ML 管道步骤以运行 MPI 作业。 荒废的。 请改用 CommandStep 。 有关示例,请参阅 如何使用 CommandStep 在管道中运行分布式训练。 |
ParallelRunConfig |
定义对象的配置 ParallelRunStep 。 有关使用 ParallelRunStep 的示例,请参阅笔记本 https://aka.ms/batch-inference-notebooks。 有关故障排除指南,请参阅 https://aka.ms/prstsg。 你可以在此处找到更多引用。 初始化配置对象。 |
ParallelRunStep |
创建 Azure 机器学习管道步骤,以异步和并行处理大量数据。 有关使用 ParallelRunStep 的示例,请参阅笔记本 https://aka.ms/batch-inference-notebooks。 有关故障排除指南,请参阅 https://aka.ms/prstsg。 你可以在此处找到更多引用。 创建 Azure ML Pipeline 步骤以异步和并行方式处理大量数据。 有关使用 ParallelRunStep 的示例,请参阅笔记本链接 https://aka.ms/batch-inference-notebooks。 |
PythonScriptStep |
创建运行 Python 脚本的 Azure ML 管道步骤。 有关使用 PythonScriptStep 的示例,请参阅笔记本 https://aka.ms/pl-get-started。 创建运行 Python 脚本的 Azure ML 管道步骤。 |
RScriptStep |
注释 这是一个实验类,随时可能会更改。 有关详细信息,请参阅 https://aka.ms/azuremlexperimental。 创建运行 R 脚本的 Azure ML 管道步骤。 创建运行 R 脚本的 Azure ML Pipeline 步骤。 荒废的。 请改用 CommandStep 。 有关示例,请参阅 如何使用 CommandStep 在管道中运行 R 脚本。 |
SynapseSparkStep |
注释 这是一个实验类,随时可能会更改。 有关详细信息,请参阅 https://aka.ms/azuremlexperimental。 创建提交和执行 Python 脚本的 Azure ML Synapse 步骤。 创建在 synapse spark 池上运行 Spark 作业的 Azure ML 管道步骤。 |