Перейти к основному содержимому
Перейти к основному содержимому

Создание первого Kafka ClickPipe

В этом руководстве мы пошагово покажем, как создать свой первый Kafka ClickPipe.

Перейдите к источникам данных​

Выберите кнопку Data Sources в меню слева и нажмите «Set up a ClickPipe».

Выберите импорт

Выберите источник данных​

Выберите источник данных Kafka из списка.

Выберите тип источника данных

Настройте источник данных​

Заполните форму: укажите имя ClickPipe, описание (необязательно), учётные данные и другие сведения о подключении.

Заполните сведения о подключении

Настройте реестр схем (необязательно)​

Для потоков Avro требуется корректная схема. Подробнее о настройке реестра схем см. в разделе Schema registries.

Настройте обратную частную конечную точку (необязательно)​

Настройте Reverse Private Endpoint, чтобы ClickPipes могли подключаться к вашему кластеру Kafka через AWS PrivateLink. Подробнее см. в нашей документации по AWS PrivateLink.

Настройте SSH-туннелирование (необязательно)​

Вы можете использовать SSH-туннелирование, если ваш брокер Kafka недоступен из интернета. Вместо прямого подключения ClickPipes устанавливает SSH-соединение с бастион-хостом (сервером в вашей сети, доступным из интернета), а затем перенаправляет через него трафик к вашему брокеру Kafka в частной сети.

  1. Включите переключатель «SSH Tunnel».
  2. Заполните сведения о SSH-подключении:
    • SSH Host: имя хоста или IP-адрес вашего бастион-хоста — это общедоступный сервер, который служит шлюзом в вашу частную сеть.
    • SSH Port: SSH-порт на бастион-хосте (по умолчанию 22).
    • SSH User: имя пользователя для аутентификации на бастион-хосте.
Настройка SSH-туннеля
  1. Чтобы использовать аутентификацию по ключу, нажмите «Revoke and regenerate key pair», чтобы сгенерировать новую пару ключей, и скопируйте созданный открытый ключ на SSH-сервер в ~/.ssh/authorized_keys.
  2. Нажмите «Verify Connection», чтобы проверить соединение.
Примечание

Убедитесь, что IP-адреса ClickPipes добавлены в список разрешённых в правилах межсетевого экрана для SSH-бастион-хоста, чтобы ClickPipes могли установить SSH-туннель.

Выберите топик​

Выберите топик, и UI отобразит пример документа из него.

Укажите топик

Настройте целевую таблицу​

На следующем шаге выберите, хотите ли вы выполнять приём данных в новую таблицу ClickHouse или использовать существующую. Следуйте инструкциям на экране, чтобы изменить имя таблицы, схему и настройки. В верхней части страницы отображается предварительный просмотр изменений в примере таблицы в реальном времени.

Укажите таблицу, схему и настройки

Вы также можете настроить дополнительные параметры с помощью доступных элементов управления.

Настройте дополнительные параметры

Настройте права доступа​

ClickPipes создаст отдельного пользователя для записи данных в целевую таблицу. Вы можете выбрать роль для этого внутреннего пользователя: пользовательскую роль или одну из предопределённых ролей:

  • Full access: полный доступ к кластеру. Это может быть полезно, если вы используете materialized view или словарь с целевой таблицей.
  • Only destination table: только права INSERT для целевой таблицы.
Права доступа

Завершите настройку​

Нажмите «Create ClickPipe», чтобы создать и запустить ClickPipe. После этого он появится в разделе Data Sources.

Обзор