将 Eventhouse 目标添加到事件流

本文介绍如何在 Microsoft Fabric 事件流中向事件流添加 Eventhouse 作为目标。

先决条件

  • 使用“参与者”权限或更高权限在 Fabric 容量许可证模式(或)试用许可证模式下访问工作区。
  • 访问在 Fabric 工作区中创建的 Eventhouse,你在此工作区中具有“参与者”权限或更高权限。

注意

一个事件流的源和目标的最大数量为 11

将 Eventhouse 目标添加到默认流

要将 Eventhouse 添加为目标,需要在两种引入模式之间进行选择:“直接引入”和“引入前进行事件处理”。

直接引入模式

直接引入模式会将事件数据直接引入到 Eventhouse 中,而无需任何处理。 可以使用直接引入模式将 Eventhouse 目标添加到默认流或派生流。

  1. 在事件流的“编辑模式”下,选择功能区上的“添加目标”或选择画布上的“转换事件或添加目标”卡,然后选择“Eventhouse”。

    在“添加的目标”下拉列表中选择 Eventhouse 的屏幕截图。

  2. 在 Eventhouse 屏幕上,选择“直接引入”。

  3. 从所选工作区输入“目标名称”、“工作区”以及“Eventhouse”

  4. 选择“保存”。

    Eventhouse 配置屏幕的屏幕截图。

  5. 将新的 Eventhouse 目标卡连接到事件流的输出(如果尚未连接),然后选择“发布”。

    事件流的屏幕截图,其中突出显示了“发布”按钮。

  6. 在“实时视图”中,在 Eventhouse 目标节点中选择“配置”

    已发布事件流的屏幕截图,其中突出显示了 KQL 数据库目标中的“配置”按钮。

  7. Eventhouse 将在“获取数据”屏幕中打开。 选择 KQL 数据库的现有表,或选择“新建表”创建新的表,用以路由和引入数据。

  8. 提供“数据连接名称”或保留提供的名称,然后选择“下一步”。 从事件流拉取数据可能需要几分钟时间。

    KQL 数据库目标的“获取数据”屏幕的屏幕截图,其中突出显示了“下一步”按钮。

  9. 在“检查数据”屏幕上,可以:

    • 选择“格式”以预览数据发送到 Eventhouse 的方式
    • 选择“编辑列”,为数据配置列。
    • 选择“高级”以选择要包含的事件,或选择映射选项。

    显示“检查数据”屏幕上的数据格式和“高级”选项的屏幕截图。

  10. 如果选择“编辑列”,可以在“编辑列”屏幕上执行以下操作:

    • 要添加列,选择“添加列”
    • 选择要映射的“源”列。
    • 将“映射转换”应用于列。
    • 更改“示例数据”值。

    然后,选择应用

    “编辑”列屏幕的屏幕截图。

  11. 完成数据配置后,在“检查数据”屏幕上选择“完成”

  12. 在“摘要”屏幕上,查看数据引入的详情和状态,包括使用定义架构的表,以及 Eventstream 与 Eventhouse 之间的连接。 选择 关闭 以完成 Eventhouse 设置。

    “摘要”屏幕的屏幕截图,突出显示了“关闭”按钮。

现在可以在“实时视图”中的画布上查看 Eventhouse 目标

实时视图中配置的 KQL 数据库目标的屏幕截图。

引入前的事件处理

“引入前处理事件”模式会先处理事件数据,然后再将其引入到 Eventhouse 中。 如果应用运算符(例如筛选或聚合)来处理引入前的数据,或者是派生流之后的数据,请使用此模式。

  1. 在 Eventstream 的“编辑模式”下,将鼠标悬停在运算符或派生流上,选择 ,然后选择“Eventhouse”+

    选择运算符输出的 + 符号并选择 KQL 数据库的屏幕截图。

  2. 在“Eventhouse”屏幕上,应已选择“引入前处理事件”。 填写有关 Eventhouse 的其余信息,然后选择“保存”

    用于引入前事件处理的 KQL 数据库配置屏幕的屏幕截图。

  3. 若要实现新添加的 Eventhouse 目标,请选择“发布”

    添加了 KQL 数据库目标的编辑模式下的事件流屏幕截图。

完成这些步骤后,有 Eventhouse 目标的 Eventstream 可用于“实时视图”中的可视化效果

实时视图中配置的 KQL 数据库事件处理流的屏幕截图。

将 Eventhouse 目标添加到派生流中

现在可以将 Eventhouse 作为目标无缝添加到派生流。通过此增强功能,可以更灵活地按原样路由数据或转换为 Eventhouse 进行实时分析和存储。

派生流是指逻辑数据流。 通过将转换或筛选器应用到默认流来创建此流。 派生流通过提供根据特定需求定制的特选数据子集来增强数据管理和分析。 通过此更新,现在可以:

  • 将派生的流数据路由到 Eventhouse 进行高级查询和可视化。
  • 在引入之前,请选择首选引入模式- 直接引入事件处理
  • 保持一致的设置体验:配置过程反映了你已熟悉的默认流,因此没有学习曲线。
  1. 在事件流的“编辑”模式下,按照以下步骤将 Eventhouse 目标添加到派生流:
  • 从派生流中选择 Eventhouse 作为目标。

Fig1

  • 完成首选引入模式的配置。 对于默认流,安装过程保持不变。

Fig2

注意

配置 Eventstream 时,源、转换逻辑和目标通常一起添加。 默认情况下,发布 Eventstream 时,用于数据引入和数据路由的后端服务分别以 Now 开头。 但是,数据引入可能比数据路由更快地开始,导致某些数据在完全初始化路由之前引入到 Eventstream 中。 因此,此数据可能不会路由到目标。

常见示例是数据库变更数据捕获(CDC)源,其中一些初始快照数据可能保留在 Eventstream 中,而不会路由到目标。

若要缓解此问题,请执行以下步骤:

  1. 配置 Eventhouse(引入前的事件处理)或 Lakehouse 目标时,在添加数据源后取消选中 “激活引入”。

    添加数据源后不选中“激活引入”的 KQL 数据库的屏幕截图。

  2. 在发布 Eventstream 后手动激活引入。

  3. 使用 自定义时间 选项选择较早的时间戳,确保正确处理和路由初始数据。

    恢复 KQL 数据库的屏幕截图。 有关详细信息,请参阅 “暂停”和恢复数据流

若要了解如何将其他目标添加到事件流,请参阅以下文章: 将事件路由到目标