从 Eventstream 获取数据

本文介绍如何将数据从现有事件流获取到新的表或现有表。

可以从默认流或派生流引入数据。 在向事件流添加一系列流作(例如 筛选器管理字段)后,将创建派生流。 有关详细信息,请参阅 Eventstream 概念

若要从新事件流获取数据,请参阅 从新事件流获取数据。

先决条件

步骤 1:源

若要从事件流获取数据,需要选择事件流作为数据源。 可以通过以下方式选择事件流:

在 KQL 数据库的工具栏上,执行以下任一操作:

  • 在功能区中的 “获取数据 ”选项中,选择 “事件流 ”磁贴。

  • 从“ 获取数据” 下拉菜单中,选择“ 事件流>现有事件流”。

  • 从“ 获取数据 ”下拉菜单中,选择 Real-Time 数据中心,然后从列表中选择事件流。

步骤 2:配置

  1. 选择目标表。 如果要将数据引入新表中,请选择 + 新表 并输入表名称。

    注意

    表名称最多可包含 1024 个字符,包括空格、字母数字、连字符和下划线。 不支持特殊字符。

  2. 配置数据源下,使用下表中的信息填写设置:

    • 选择 Eventstream 作为源时,必须指定 工作区事件流和默认或派生

    重要

    从派生流中获取数据的功能目前处于预览版

    “配置”选项卡的屏幕截图,其中输入了新表,并选择了一个事件流。

    • 选择 Real-Time 中心 作为源时,从列表中选择默认或派生流, 工作区事件流 会自动填充,不需要配置。

    “配置”选项卡的屏幕截图,其中输入了新表,只读配置数据源设置。

    设置 说明
    工作空间 Eventstream 工作区位置。 从下拉列表中选择工作区。
    事件流 事件流的名称。 从下拉列表中选择一个事件流。
    溪流 默认或派生流的名称。 从下拉列表中选择流。
    * 对于默认流,流名称格式为 Eventstream-stream
    * 对于派生流,在创建流时定义名称。
    在 Eventstream 中引入前先进行事件处理 此选项允许在将数据引入目标表之前配置数据处理。 如果已选中,请继续在 Eventstream 中执行数据引入过程。 有关详细信息,请参阅在 Eventstream 中引入前先进行事件处理
    数据连接名称 用于引用和管理工作区中数据连接的名称。 数据连接名称会自动填充,你可以编辑名称以简化工作区中的数据连接管理。 该名称只能包含字母数字、短划线和点字符,长度最多为 40 个字符。
  3. 选择“下一步”。


在 Eventstream 中引入前先进行事件处理

使用“在 Eventstream 中引入前先进行事件处理”选项,可以在将数据引入目标表中之前对其进行处理。 使用此选项,get 数据进程会在 Eventstream 中无缝继续,目标表和数据源详细信息会自动填充。

在导入到 Eventstream 之前处理事件:

  1. 在“配置”选项卡上,选择“在 Eventstream 中引入前先进行事件处理”

  2. 在“处理 Eventstream 中的事件”对话框中,选择“在 Eventstream 中继续”

    重要

    选择“在 Eventstream 中继续”会结束实时智能中的获取数据过程,并在 Eventstream 中继续,目标表和数据源详细信息会自动填充

    事件流对话框中进程事件的屏幕截图。

  3. 在 Eventstream 中,选择 KQL 数据库 目标节点,然后在 KQL 数据库 窗格中,在选择引入 之前验证 事件处理,以及目标详细信息是否正确。

    事件流页中进程事件的屏幕截图。

  4. 选择 打开事件处理程序 以配置数据处理,然后选择 保存。 有关详细信息,请参阅 使用事件处理程序编辑器处理事件数据。

  5. 返回 KQL 数据库 窗格中,选择 “添加”以完成 KQL 数据库 目标节点设置。

  6. 验证数据是否引入到目标表中。

注意

在 Eventstream 进程中引入之前的进程事件已完成,本文中的剩余步骤不是必需的。

步骤 3:检查

此时会打开“检查”选项卡,其中包含数据的预览

要完成引入过程,请选择“完成”

“检查”选项卡的屏幕截图。

可选:

  • 使用文件类型下拉列表 基于数据类型浏览高级选项

  • 使用 Table_mapping 下拉列表来定义新的映射。

  • 选择 </> 打开命令查看器以查看和复制从输入生成的自动命令。 还可以在 Queryset 中打开命令

  • 选择铅笔图标以 编辑列

编辑列

注意

  • 对于表格格式(CSV、TSV、PSV),不能映射列两次。 若要映射到现有列,请先删除新列。
  • 无法更改现有列类型。 如果尝试映射到其他格式的列,结果可能出现空列。

可以在表中所做的更改取决于以下参数:

  • 表类型为“新”或“现有”
  • 映射类型为“新”或“现有”
表类型 映射类型 可用调整
新建表 新映射 重命名列、更改数据类型、更改数据源、映射转换、添加列、删除列
现有表 新映射 添加列(然后可以更改数据类型、重命名和更新)
现有表 现有映射 没有

可供编辑的列列的屏幕截图。

映射转换

某些数据格式映射(Parquet、JSON 和 Avro)支持简单的引入时间转换。 若要应用映射转换,请在 编辑列 窗口中创建或更新列。

可以对字符串或日期时间类型的列执行映射转换,源的数据类型为 int 或 long。 有关详细信息,请参阅支持映射转换的完整列表。

基于数据类型的高级选项

表格(CSV、TSV、PSV)

  • 如果要在 现有表中引入表格格式,可以选择 Table_mapping>使用现有映射。 表格数据不一定包括用于将源数据映射到现有列的列名。 选中此选项后,按顺序完成映射,表架构保持不变。 如果未选中此选项,则会为传入数据创建新列,而不考虑数据结构。

JSON

  • 若要确定 JSON 数据的列除法,请选择“ 嵌套级别”,从 1 到 100。

步骤 4:摘要

“摘要” 窗口中,当数据引入成功完成时,所有步骤都标记为已完成。 可以选择卡片来浏览数据、删除引入的数据,或使用关键指标创建仪表板。 选择 关闭 关闭窗口。

成功完成引入的摘要页的屏幕截图。

  • 若要管理数据库,请参阅 管理数据
  • 若要创建、存储和导出查询,请参阅 KQL 查询集中的 查询数据