ClickPipes 向け GCP Private Service Connect

GCP の Private Service Connect (PSC) を使用すると、ClickPipes と GCP 上でホストされているデータソース間にセキュアな接続を確立できます。ClickPipes は VPC 内に リバースプライベートエンドポイント (RPE) を作成し、データソース用に公開されたプライベートエンドポイントサービスに接続するため、トラフィックがパブリックインターネットに公開されることはありません。

ClickPipes は、グローバルアクセスを介したクロスリージョン PSC 接続をサポートしています。ClickPipes インフラストラクチャが稼働するリージョンとは異なるリージョンにあるエンドポイントでは、グローバルアクセスが必要です。詳細については、ClickPipes GCP リージョンのドキュメントを確認してください。

サポートされるパターン

パターン	適用される場合	サービスアタッチメント
ネイティブ PSC	Google Cloud SQL、AlloyDB、Google Cloud Managed Service for Apache Kafka など、PSC サービスアタッチメントを自動的に公開するマネージドサービス。	インスタンスで PSC を有効にすると自動的に作成されます。
プロデューサー所有の PSC	Compute Engine 上の Postgres や、プライベート IP 経由でのみアクセス可能なマネージドサービスなど、サービスアタッチメントを公開しないデータソース。	ユーザーが作成・管理します。

前提条件

GCP でホストされる ClickHouse Cloud サービス。ClickPipes は、一部の例外を除き、ClickHouse Cloud サービスと同じリージョンで実行されます。
ソースで PSC を有効にし、PSC サービスアタッチメントを管理するための IAM 権限 (roles/compute.networkAdmin) 。
サービスアタッチメントへの接続を許可されたClickPipes コンシューマープロジェクト (clickpipes-production)。
ClickPipes をプログラムでプロビジョニングする場合: サービスを所有する組織の ClickHouse Cloud API キー。

リバースプライベートエンドポイントを作成する

RPE を作成するには、データソースについて次の情報が必要です。

サービスアタッチメント URI: projects/<PROJECT>/regions/<REGION>/serviceAttachments/<NAME>。データソースの前段に公開されている PSC エンドポイントです。
private DNS 名: パイプの接続先ホスト名です。PSC エンドポイントには DNS 名が紐付かない静的な内部 IP が割り当てられるため、ClickPipes がこのホスト名をその IP に解決します。

ClickPipes UI
Terraform
API

ClickHouse Cloud でサービスを開き、Data Sources > ClickPipes に移動します。
取り込み元のデータソースを選択します。
Setup your ClickPipe connection で Use secure connection をオンにし、+ Reverse private endpoint をクリックして GCP PSC service attachment を選択します。
サービスアタッチメント URI、private DNS 名、説明を入力します。
Create をクリックします。エンドポイントの状態は Provisioning → Ready と遷移します。 (ネイティブ PSC は自動承認されるため、PendingAcceptance は表示されません。)

カスタム private DNS マッピングは clickhouse_clickpipes_reverse_private_endpoint の属性ではありません。マッピングの完全な置換リストを指定し、ID でエンドポイントを参照する別個の clickhouse_clickpipes_reverse_private_endpoint_custom_private_dns リソースで管理します。

resource "clickhouse_clickpipes_reverse_private_endpoint" "gcp_psc" {
  service_id             = var.clickhouse_service_id
  description            = "GCP PSC endpoint"
  type                   = "GCP_PSC_SERVICE_ATTACHMENT"
  gcp_service_attachment = "projects/<PROJECT>/regions/<REGION>/serviceAttachments/<NAME>"
}

resource "clickhouse_clickpipes_reverse_private_endpoint_custom_private_dns" "gcp_psc" {
  service_id                  = var.clickhouse_service_id
  reverse_private_endpoint_id = clickhouse_clickpipes_reverse_private_endpoint.gcp_psc.id

  mapping = [
    { private_dns_name = "<PRIVATE_DNS_NAME>" }
  ]
}

curl --silent --user $KEY_ID:$KEY_SECRET \
  -X POST -H "Content-Type: application/json" \
  https://api.clickhouse.cloud/v1/organizations/<ORG_ID>/services/<SERVICE_ID>/clickpipesReversePrivateEndpoints \
  -d '{
    "type": "GCP_PSC_SERVICE_ATTACHMENT",
    "description": "GCP PSC endpoint",
    "gcpServiceAttachment": "projects/<PROJECT>/regions/<REGION>/serviceAttachments/<NAME>",
    "customPrivateDnsMappings": [
      { "privateDnsName": "<PRIVATE_DNS_NAME>" }
    ]
  }'

カスタムプライベート DNS 名

GCP PSC では DNS が伝播されないため、ClickPipes がエンドポイントの静的な内部 IP に解決できるよう、すべての GCP PSC エンドポイントにカスタム private DNS マッピングが必要です。標準の ClickPipes カスタムプライベート DNS 命名規則が適用されます。ワイルドカードのサポート、service のリバースプライベートエンドポイント間での一意性、予約済み接尾辞に関する制限は、すべての provider で同じように適用されます。ワイルドカードは特に便利です。たとえば、*.<cluster>.<region>.managedkafka.<project>.cloud.goog のような単一のマッピングで、Managed Kafka クラスター内のすべての broker を対象にできます。 GCP PSC では、マッピングの privateDnsName のみが使用されます。PSC エンドポイントは、紐付ける DNS 名のない静的 IP を公開するため、internalDNSName フィールドはサポートされません。マッピングは常にその IP に解決されます。

プロデューサー所有の接続を承認する

プロデューサー所有 PSC では、接続を自動的に承認するため、ClickPipes コンシューマープロジェクト (clickpipes-production) をサービスアタッチメントの自動承認リストに追加します。これを省略すると、手動で承認するまで RPE は PendingAcceptance のままとなります。接続を承認するには、サービスアタッチメントのコンシューマー承認リストに、エンドポイントの数値 ID ベースの URI (projects/<PROJECT>/regions/<REGION>/forwardingRules/<NUMERIC_ID>) を追加する必要があります。サービスアタッチメント上の保留中の接続の endpointWithId 値を取得するには、次を実行します。

gcloud beta compute service-attachments describe <SERVICE_ATTACHMENT_NAME> \
  --region=<REGION> --project=<YOUR_PROJECT_ID> \
  --format='json(connectedEndpoints)'

status が PENDING のエントリの endpointWithId から https://www.googleapis.com/compute/beta/ プレフィックスを削除し、結果を --consumer-accept-list に渡します。

--consumer-accept-list は新しいコンシューマープロジェクトを受け入れリストに追加するのではなく、リスト全体を上書きします。サービスアタッチメントがすでに他のプロジェクトまたはエンドポイントを受け入れている場合は、すべてを同じコマンドで指定してください。指定しなかったものはアクセスできなくなります。

gcloud beta compute service-attachments update <SERVICE_ATTACHMENT_NAME> \
  --region=<REGION> --project=<YOUR_PROJECT_ID> \
  --consumer-accept-list=projects/<PROJECT>/regions/<REGION>/forwardingRules/<NUMERIC_ID> \
  --reconcile-connections

ここでは、ClickPipes API/Terraform のレスポンスに含まれる endpoint_id を使用しないでください。この値は転送ルールの名前であり、GCP で必要な数値 ID ではないため、許可リストと一致しません。必ず、サービスアタッチメントの保留中の endpointWithId から数値 ID を取得してください。

リバースプライベートエンドポイントの管理

既存のリバースプライベートエンドポイントは、ClickHouse Cloud サービスの設定で管理できます。

ClickHouse Cloud コンソールのサイドバーで、Settings に移動します。

ClickPipe reverse private endpoints で、Reverse private endpoints をクリックします。リバースプライベートエンドポイントの詳細情報がフライアウトに表示されます。ここから RPE を削除できます。エンドポイントの × をクリックし、削除を確認します。削除は永続的であり、そのエンドポイントを現在使用している ClickPipe はすべて機能しなくなります。エンドポイントのカスタム private DNS マッピングを変更するには、Cloud API または Terraform を使用します。更新すると、マッピングが追加されるのではなく、マッピングのリスト全体が置き換えられます。エンドポイントに Rejected または Failed と表示される場合は、ステータスの下にあるメッセージを確認してください。これにより、プロデューサーによって拒否された接続なのか、切断された接続または対応が必要な接続なのかを判別できます。通常、どちらの場合も、サービスアタッチメントの許可リストに ClickPipes コンシューマープロジェクトが含まれていないことを示します。エンドポイントについて GCP が報告するステータスを確認するには、サービスアタッチメントの connectedEndpoints を記述します。

既知の制限事項

PSC サービスアタッチメントを一度に要求できる ClickHouse Cloud サービスは 1 つだけであり、複数のサービス間で再利用することはできません。サービスアタッチメントを別のサービスに移動するには、既存の要求を解除するため、ClickHouse Support にお問い合わせください。

ClickPipes for Streaming

ClickPipes for Object Storage

ClickPipes for CDC

Programmatic access

Networking

ClickPipes 向け GCP Private Service Connect

サポートされるパターン

前提条件

リバースプライベートエンドポイントを作成する

カスタムプライベート DNS 名

プロデューサー所有の接続を承認する

リバースプライベートエンドポイントの管理

既知の制限事項

​サポートされるパターン

​前提条件

​リバース プライベート エンドポイントを作成する

​カスタム プライベート DNS 名

​プロデューサー所有の接続を承認する

​リバース プライベート エンドポイントの管理

​既知の制限事項

サポートされるパターン

前提条件

リバースプライベートエンドポイントを作成する

カスタムプライベート DNS 名

プロデューサー所有の接続を承認する

リバースプライベートエンドポイントの管理

既知の制限事項