GCP Private Service Connect لـ ClickPipes

يمكنك استخدام GCP‏ Private Service Connect (PSC) لإنشاء اتصال آمن بين ClickPipes ومصدر بيانات مستضاف على GCP. ينشئ ClickPipes نقطة نهاية خاصة عكسية (RPE) في شبكة VPC الخاصة به، ويوجّهها إلى خدمة نقطة نهاية خاصة منشورة لمصدر بياناتك، بحيث لا تتعرّض حركة المرور للإنترنت العام مطلقًا.

يدعم ClickPipes اتصال PSC عبر المناطق من خلال الوصول العام. يُطلب الوصول العام لنقاط النهاية الموجودة في منطقة مختلفة عن المنطقة التي تعمل فيها البنية التحتية لـ ClickPipes. راجع وثائق مناطق GCP الخاصة بـ ClickPipes لمزيد من التفاصيل.

الأنماط المدعومة

النمط	متى يُستخدم	مرفق الخدمة
PSC أصلي	الخدمات المُدارة التي تنشر مرفق خدمة PSC تلقائيًا (مثل Google Cloud SQL وAlloyDB وGoogle Cloud Managed Service for Apache Kafka).	يُنشأ تلقائيًا عند تمكين PSC على المثيل.
PSC مملوك للمنتِج	مصادر البيانات التي لا تنشر مرفق خدمة، مثل Postgres على Compute Engine أو خدمة مُدارة لا يمكن الوصول إليها إلا عبر عنوان IP خاص.	تنشئه وتديره بنفسك.

المتطلبات الأساسية

خدمة ClickHouse Cloud مستضافة على GCP. تعمل ClickPipes في المنطقة نفسها التي توجد فيها خدمة ClickHouse Cloud لديك (مع بعض الاستثناءات).
أذونات IAM لتفعيل PSC على مصدرك وإدارة مرفقات خدمة PSC (roles/compute.networkAdmin).
يجب السماح لـ مشروع مستهلك ClickPipes بالاتصال بمرفق الخدمة لديك (clickpipes-production).
إذا كنت تُجري توفير ClickPipes برمجيًا: مفتاح API لـ ClickHouse Cloud خاص بالمؤسسة المالكة للخدمة.

إنشاء نقطة النهاية الخاصة العكسية

لإنشاء RPE، ستحتاج إلى المعلومات التالية الخاصة بمصدر بياناتك:

عنوان URI لمرفق الخدمة: projects/<PROJECT>/regions/<REGION>/serviceAttachments/<NAME>، وهو نقطة نهاية PSC المنشورة أمام مصدر بياناتك.
اسم DNS الخاص: اسم المضيف الذي يتصل به خط الأنابيب. تحصل نقطة نهاية PSC على عنوان IP داخلي ثابت دون اسم DNS مرتبط بها، لذا تحل ClickPipes اسم المضيف هذا إلى عنوان IP نيابةً عنك.

واجهة ClickPipes
Terraform
واجهة برمجة التطبيقات

في ClickHouse Cloud، افتح خدمتك وانتقل إلى مصادر البيانات > ClickPipes.
حدد مصدر البيانات الذي تريد استيعاب البيانات منه.
ضمن إعداد اتصال ClickPipe، فعّل استخدام اتصال آمن، ثم انقر على + نقطة نهاية خاصة عكسية واختر مرفق خدمة GCP PSC.
أدخل عنوان URI لمرفق الخدمة واسم DNS الخاص ووصفًا.
انقر على إنشاء. تمر نقطة النهاية بالحالتين Provisioning ← Ready. (يقبل PSC الأصلي تلقائيًا، لذا لن ترى PendingAcceptance.)

إن تعيينات DNS الخاصة المخصصة ليست سمةً لـclickhouse_clickpipes_reverse_private_endpoint، بل تُدار بواسطة مورد clickhouse_clickpipes_reverse_private_endpoint_custom_private_dns المنفصل، الذي يقبل قائمة استبدال كاملة من التعيينات ويشير إلى نقطة النهاية باستخدام المعرّف:

resource "clickhouse_clickpipes_reverse_private_endpoint" "gcp_psc" {
  service_id             = var.clickhouse_service_id
  description            = "GCP PSC endpoint"
  type                   = "GCP_PSC_SERVICE_ATTACHMENT"
  gcp_service_attachment = "projects/<PROJECT>/regions/<REGION>/serviceAttachments/<NAME>"
}

resource "clickhouse_clickpipes_reverse_private_endpoint_custom_private_dns" "gcp_psc" {
  service_id                  = var.clickhouse_service_id
  reverse_private_endpoint_id = clickhouse_clickpipes_reverse_private_endpoint.gcp_psc.id

  mapping = [
    { private_dns_name = "<PRIVATE_DNS_NAME>" }
  ]
}

curl --silent --user $KEY_ID:$KEY_SECRET \
  -X POST -H "Content-Type: application/json" \
  https://api.clickhouse.cloud/v1/organizations/<ORG_ID>/services/<SERVICE_ID>/clickpipesReversePrivateEndpoints \
  -d '{
    "type": "GCP_PSC_SERVICE_ATTACHMENT",
    "description": "GCP PSC endpoint",
    "gcpServiceAttachment": "projects/<PROJECT>/regions/<REGION>/serviceAttachments/<NAME>",
    "customPrivateDnsMappings": [
      { "privateDnsName": "<PRIVATE_DNS_NAME>" }
    ]
  }'

أسماء DNS الخاصة المخصصة

نظرًا إلى أن GCP PSC لا ينشر سجلات DNS، يلزم تعيين DNS خاص مخصص لكل نقطة نهاية في GCP PSC لكي يتمكن ClickPipes من حلّه إلى عنوان IP الداخلي الثابت للـ نقطة نهاية. تنطبق قواعد تسمية DNS الخاص المخصص القياسية في ClickPipes: إذ يُفرض دعم wildcards، والتفرّد عبر نقاط النهاية الخاصة العكسية للخدمة، وقيود اللاحقات المحجوزة بالطريقة نفسها لدى جميع المزوّدين. وتكون wildcards مفيدة بصورة خاصة، على سبيل المثال، إذ يغطي تعيين واحد مثل *.<cluster>.<region>.managedkafka.<project>.cloud.goog جميع brokers في Kafka cluster من نوع Managed. بالنسبة إلى GCP PSC، لا يُستخدم إلا privateDnsName الخاص بالتعيين. الحقل internalDNSName غير مدعوم، لأن نقطة نهاية في PSC يوفّر عنوان IP ثابتًا لا اسم DNS لتثبيته عليه — وتُحل التعيينات دائمًا إلى عنوان IP هذا.

الموافقة على الاتصالات التي يملكها المنتج

بالنسبة إلى PSC الذي يملكه المنتج، أضف مشروع مستهلك ClickPipes (clickpipes-production) إلى قائمة القبول التلقائي لمرفق الخدمة، ليُقبل الاتصال تلقائيًا. إذا تخطيت ذلك، سيبقى RPE في حالة PendingAcceptance إلى أن توافق عليه يدويًا. لقبول الاتصال، يجب أن تتضمن قائمة قبول المستهلك لمرفق الخدمة عنوان URI لنقطة النهاية المستند إلى المعرّف الرقمي (projects/<PROJECT>/regions/<REGION>/forwardingRules/<NUMERIC_ID>). للحصول على قيمة endpointWithId للاتصال المعلّق على مرفق الخدمة، شغّل:

gcloud beta compute service-attachments describe <SERVICE_ATTACHMENT_NAME> \
  --region=<REGION> --project=<YOUR_PROJECT_ID> \
  --format='json(connectedEndpoints)'

خذ endpointWithId للإدخال الذي تكون قيمة status فيه PENDING، وأزل البادئة https://www.googleapis.com/compute/beta/، ثم مرّر النتيجة إلى --consumer-accept-list:

يستبدل --consumer-accept-list قائمة القبول بدلًا من إضافة مشروع المستهلك الجديد إليها. إذا كان مرفق الخدمة يقبل بالفعل مشاريع أو نقاط نهاية أخرى، فمرّرها جميعًا في الأمر نفسه، وإلا ستفقد العناصر التي لم تُدرجها إمكانية الوصول.

gcloud beta compute service-attachments update <SERVICE_ATTACHMENT_NAME> \
  --region=<REGION> --project=<YOUR_PROJECT_ID> \
  --consumer-accept-list=projects/<PROJECT>/regions/<REGION>/forwardingRules/<NUMERIC_ID> \
  --reconcile-connections

لا تستخدم هنا endpoint_id من استجابة واجهة برمجة تطبيقات ClickPipes أو Terraform؛ إذ إن هذه القيمة هي اسم قاعدة إعادة التوجيه، وليست المعرّف الرقمي الذي تتطلبه GCP، ولذلك لن تتطابق قائمة القبول. احصل دائمًا على المعرّف الرقمي من endpointWithId المعلّق الخاص بمرفق الخدمة.

إدارة نقاط النهاية الخاصة العكسية

يمكنك إدارة نقاط النهاية الخاصة العكسية الحالية من إعدادات خدمة ClickHouse Cloud:

من الشريط الجانبي لوحدة تحكم ClickHouse Cloud، انتقل إلى Settings.

ضمن ClickPipe reverse private endpoints، انقر على Reverse private endpoints. تظهر المعلومات التفصيلية لنقطة النهاية الخاصة العكسية في اللوحة المنبثقة. ومن هذا العرض، يمكنك حذف نقاط RPE: انقر على × بجوار نقطة نهاية وأكّد حذفها. الحذف دائم وسيؤدي إلى تعطيل أي ClickPipe يستخدم نقطة النهاية هذه حاليًا. لتغيير تعيينات DNS الخاص المخصص لنقطة نهاية، استخدم Cloud API أو Terraform. يستبدل التحديث قائمة التعيينات كاملةً بدلًا من الإضافة إليها. إذا كانت نقطة نهاية تعرض Rejected أو Failed، فاقرأ الرسالة ضمن حالتها: إذ تميّز بين اتصال رفضه المنتج واتصال أُغلق أو يحتاج إلى اتخاذ إجراء. وعادةً ما يعني كلاهما أن قائمة القبول لمرفق الخدمة لا تتضمن مشروع مستهلك ClickPipes. للاطلاع على الحالة التي يبلّغ عنها GCP لنقطة النهاية، صِف connectedEndpoints لمرفق الخدمة.

القيود المعروفة

لا يمكن أن يُطالب بمرفق خدمة PSC سوى من قِبل خدمة ClickHouse Cloud واحدة في الوقت نفسه، ولا يمكن إعادة استخدامه عبر خدمات متعددة. لنقل مرفق خدمة إلى خدمة أخرى، تواصل مع دعم ClickHouse لتحرير المطالبة الحالية.

ClickPipes for Streaming

ClickPipes for Object Storage

ClickPipes for CDC

Programmatic access

Networking

GCP Private Service Connect لـ ClickPipes

الأنماط المدعومة

المتطلبات الأساسية

إنشاء نقطة النهاية الخاصة العكسية

أسماء DNS الخاصة المخصصة

الموافقة على الاتصالات التي يملكها المنتج

إدارة نقاط النهاية الخاصة العكسية

القيود المعروفة

​الأنماط المدعومة

​المتطلبات الأساسية

​إنشاء نقطة النهاية الخاصة العكسية

​أسماء DNS الخاصة المخصصة

​الموافقة على الاتصالات التي يملكها المنتج

​إدارة نقاط النهاية الخاصة العكسية

​القيود المعروفة

الأنماط المدعومة

المتطلبات الأساسية

إنشاء نقطة النهاية الخاصة العكسية

أسماء DNS الخاصة المخصصة

الموافقة على الاتصالات التي يملكها المنتج

إدارة نقاط النهاية الخاصة العكسية

القيود المعروفة