本文介绍如何将 Confluent Cloud for Apache Kafka 源添加到事件流。
Confluent Cloud for Apache Kafka 是一个流式处理平台,它使用 Apache Kafka 提供强大的数据流式处理和处理功能。 通过将 Confluent Cloud for Apache Kafka 集成到您的事件流中作为源,可以无缝处理实时数据流,然后将其路由到 Fabric 的多个目标。
注意
工作区容量的以下区域不支持此源:美国西部 3、瑞士西部。
先决条件
- 使用参与者或更高权限在 Fabric 容量许可证模式(或)试用许可证模式下访问工作区。
- 一个用于 Apache Kafka 群集的 Confluent Cloud 和一个 API 密钥。
- Confluent Cloud for Apache Kafka 群集必须可公开访问,并且不能位于防火墙后面或在虚拟网络中受到保护。
- 如果没有事件流,请创建一个事件流。
启动“选择数据源”向导
如果尚未向事件流添加任何源,请选择“使用外部源”磁贴。
如果要向已发布的事件流添加源,请切换到“编辑”模式,在功能区中选择“添加源”,然后选择“外部源”。
配置并连接到 Confluent Cloud 以使用 Apache Kafka
在 “选择数据源 ”页上,选择 适用于 Apache Kafka 的 Confluent Cloud。
若要创建与 Confluent Cloud for Apache Kafka 源的连接,请选择“ 新建连接”。
在“连接设置”部分中,输入“Confluent 启动服务器”。 导航到 Confluent Cloud 主页,选择“群集设置”,并将地址复制到启动服务器。
在 “连接凭据 ”部分中,如果有与 Confluent 群集的现有连接,请从 “连接”下拉列表中选择它。 否则,请执行以下步骤:
- 对于“连接名称”,为连接输入名称。
- 对于“身份验证类型”,确认已选择“Confluent Cloud 密钥”。
- 对于“API 密钥”和“API 密钥机密”:
导航到 Confluent Cloud。
在侧菜单中选择“API 密钥”。
选择“添加密钥”按钮以创建新的 API 密钥。
复制“API 密钥”和“机密”。
将这些值粘贴到“API 密钥”和“API 密钥机密”字段中。
选择连接
滚动以查看页面上的 “配置 Confluent Cloud for Apache Kafka 数据源 ”部分。 输入信息以完成 Confluent 数据源的配置。
- 对于 主题名称,请从 Confluent Cloud 输入主题名称。 可以在 Confluent Cloud 控制台中创建或管理主题。
- 对于“使用者组”,输入 Confluent Cloud 的使用者组。 它为你提供了专用的使用者组,用于从 Confluent Cloud 群集获取事件。
- 对于“重置自动偏移”设置,选择以下值之一:
最早 – Confluent 群集中最早的可用数据
最新 - 最新可用数据
无 – 不要自动设置偏移量。
选择下一步。 在“查看并创建”屏幕上,查看摘要,然后选择“添加”。
你会看到用于 Apache Kafka 的 Confluent Cloud 源已添加到在 编辑模式 下的画布上的事件流中。 若要实现新添加的 Confluent Cloud for Apache Kafka 源,请选择功能区上的 《发布》。
完成这些步骤后,Apache Kafka 的 Confluent Cloud 数据源可用于 实时视图中的可视化。
限制
- 目前不支持包含 JSON 和 Avro 格式的 Apache Kafka Confluent Cloud(使用架构注册表)。
- 目前不支持使用 Confluent 架构注册表从 Confluent Cloud for Apache Kafka 解码数据。
注意
一个事件流的源和目标的最大数量为 11。
相关内容
其他连接器: