文档中心
English Version

流式导入

Suggest Edits

在ByteHouse中，您可以直接通过 Kafka 或 Confluent Cloud 流式传输数据。Kafka 数据导入任务将持续运行，读取 Topic 中的消息。ByteHouse 的 Kafka 任务可以保证 exactly once ，您的数据在消费后即可立即访问。
同时可以随时停止数据导入任务以减少资源使用，并在任何必要的时候恢复该任务。ByteHouse 将在内部记录 offset，以确保停止/恢复过程中不会丢失数据。

当前已经支持的 Kafka 消息格式为:

  • JSON
  • Protobuf

支持的 Kafka/Confluent Cloud 版本：0.10 及以上

创建流式导入任务

  1. 要创建 Kafka 导入任务，请前往加载数据并选择 Kafka 数据源。
1576
  1. 您可以选择已保存的连接信息，如果没有已存在的连接信息，您可以新建连接。当前 Kafka 数据源支持以下四种鉴权模式，并支持 SSL 加密：
  • None 无鉴权
  • PLAINTEXT 鉴权（支持 SSL）
  • SCRAM-SHA-256（支持 SSL）
  • SCRAM-SHA-512（支持 SSL）
2242

您可以将任何需要的名称填入源名称中，并提供 broker 地址。您可以用逗号，分隔。如果您的 Kafka需要身份验证，您可以选择授权模式并提供对应凭证。

  1. 选择连接后，您可以进一步选择要加载的导入任务的 Topic。您可以选择为该 Topic 创建一个 Consumer Group。然后您可以指定已支持的消费格式。

  2. 通过 Topic Schema 解析

  • 对于 JSON 格式，您可以通过指定分隔符来使用 Kafka 解析功能
  • 对于 Protobuf 格式，您可以选择上传 JSON schema 文件
1280

  1. 您可以为要加载的 Topic 选择一个表。首次使用时你可以基于解析的消息格式创建新表。

  2. 接下来，您可以命名此导入任务并添加描述。

1280
  1. 导入任务一旦创建后将处于暂停状态。然后您就可以开始操作这项任务了。

查看流式导入任务

在数据导入页面，您将看到所有类型的所有数据导入任务。您可以如下图所示过滤特定类型的任务：

1280

操作流式任务

  1. 启动流式导入任务，请进入流式任务页面，然后单击开始
1280
  1. 如果需要停止流式任务，请进入到流式任务页面内，然后点击 暂停
1280
  1. 所有导入任务历史记录将保存在任务详细信息页面
1280

Updated almost 3 years ago