TabularDataset 类

将数据集定义的文件流下载到本地路径。

download(stream_column, target_path=None, overwrite=False, ignore_not_found=True)

参数

返回

从数据集中删除指定的列。

如果删除了时间列，则也会删除返回数据集的相应功能。

drop_columns(columns)

参数

返回

筛选数据，仅保留与指定表达式匹配的记录。

filter(expression)

参数

返回

注解

表达式首先使用列名称为数据集编制索引。 它们支持各种函数和运算符，可以使用逻辑运算符进行组合。 当数据拉取发生而不是定义数据时，将针对每个记录对生成的表达式进行延迟计算。

   dataset['myColumn'] > dataset['columnToCompareAgainst']
   dataset['myColumn'].starts_with('prefix')

从为工作区中的此数据集或同一数据集提交的最新配置文件运行中获取数据配置文件。

get_profile(workspace=None)

参数

返回

返回与工作区中与此数据集或相同数据集关联的上一个配置文件运行。

get_profile_runs(workspace=None)

参数

返回

保留指定的列并删除数据集中的所有其他列。

如果删除了时间列，则也会删除返回数据集的相应功能。

keep_columns(columns, validate=False)

参数

返回

创建上下文管理器，用于装载数据集定义的文件流作为本地文件。

mount(stream_column, mount_point=None)

参数

返回

分区数据将复制并输出到目标指定的目标。

使用分区格式从输出的数据路径创建数据集，如果提供名称，请注册数据集，返回包含分区的新数据路径的数据集

   ds = Dataset.get_by_name('test') # indexed by country, state, partition_date

   # #1: call partition_by locally
   new_ds = ds.partition_by(name="repartitioned_ds", partition_keys=['country'],
               target=DataPath(datastore, "repartition"))
   partition_keys = newds.partition_keys # ['country']

   # new_ds can be passed to PRS as input dataset

partition_by(partition_keys, target, name=None, show_progress=True, partition_as_file_dataset=False)

参数

返回

将数据集中的记录随机拆分为两个部分，大致按指定的百分比进行拆分。

第一个数据集包含大约 percentage 总记录和剩余记录的第二个数据集。

random_split(percentage, seed=None)

参数

返回

按指定计数跳过数据集顶部的记录。

skip(count)

参数

返回

提交试验运行以计算数据配置文件。

数据配置文件对于了解输入数据、识别异常值和缺失值非常有用，方法是提供有关列类型、缺失值等数据的有用信息。

submit_profile_run(compute_target, experiment, cache_datastore_name=None)

参数

返回

按指定的计数从数据集顶部获取记录示例。

take(count)

参数

返回

按指定概率大致获取数据集中记录的随机样本。

take_sample(probability, seed=None)

参数

返回

筛选 TabularDataset，其中包含指定开始时间后的时间戳列。

time_after(start_time, include_boundary=True, validate=True)

参数

返回

使用指定结束时间前的时间戳列筛选 TabularDataset。

time_before(end_time, include_boundary=True, validate=True)

参数

返回

在指定的开始时间和结束时间之间筛选 TabularDataset。

time_between(start_time, end_time, include_boundary=True, validate=True)

参数

返回

筛选 TabularDataset 以仅包含最近数据的指定持续时间（量）。

time_recent(time_delta, include_boundary=True, validate=True)

参数

返回

将当前数据集转换为包含 CSV 文件的 FileDataset。

生成的数据集将包含一个或多个 CSV 文件，每个文件对应于当前数据集中的数据分区。 这些文件在下载或读取之前不会具体化。

to_csv_files(separator=',')

参数

返回

返回一个 Dask 数据帧，该帧可以延迟读取数据集中的数据。

to_dask_dataframe(sample_size=10000, dtypes=None, on_error='null', out_of_range_datetime='null')

参数

返回

将所有记录从数据集加载到 pandas 数据帧中。

to_pandas_dataframe(on_error='null', out_of_range_datetime='null')

参数

返回

将当前数据集转换为包含 Parquet 文件的 FileDataset。

生成的数据集将包含一个或多个 Parquet 文件，每个文件对应于当前数据集中的数据分区。 这些文件在下载或读取之前不会具体化。

to_parquet_files()

返回

将所有记录从数据集加载到 Spark 数据帧中。

to_spark_dataframe()

返回

定义数据集的时间戳列。

with_timestamp_columns(timestamp=None, partition_timestamp=None, validate=False, **kwargs)

参数

返回

注解

该方法定义要用作时间戳的列。 数据集上的时间戳列使可以将数据视为时序数据并启用其他功能。 数据集同时指定 timestamp (used to be referred as fine_grain_timestamp) 后 partition_timestamp (used to be referred as coarse grain timestamp) ，这两列应表示相同的时间线。

返回时间戳列。

返回