شركة Confluent الأمريكية تنقل معرف المخطط (Schema ID) إلى رؤوس رسائل Kafka لتبسيط الإدارة

أخبار ar.wedoany.com، أطلقت شركة Confluent رسميًا تحديثًا لـ Apache Kafka ينقل موقع تخزين معرف المخطط (Schema ID) من حمولة الرسالة إلى رأس الرسالة، بهدف تبسيط عمليات إدارة البيانات.

في عمليات نشر Kafka التقليدية، كان يتم تضمين معرف المخطط مباشرة في حمولة الرسالة. ورغم أن ذلك يضمن قيام المستهلك بإلغاء تسلسل الأحداث بشكل صحيح، إلا أنه يؤدي إلى اقتران وثيق بين بيانات المخطط والبيانات نفسها. يزيد هذا التصميم من تعقيد تطور المخطط وتكاليف التنسيق في البيئات التي تستهلك فيها فرق متعددة نفس تدفق الأحداث.

يضع الحل الجديد معرف المخطط في رأس سجل Kafka، مع إبقاء الحمولة دون تغيير. يستخدم المستهلك في وقت التشغيل المعرف الموجود في رأس الرسالة للحصول على المخطط المقابل من سجل المخططات (Schema Registry) الخاص بـ Confluent. تتوافق هذه الطريقة مع تنسيقات متعددة مثل Avro وProtobuf وJSON Schema، مع تقليل الاعتماد على تنسيقات الخطوط المقترنة بإحكام، مما يجعل تدفق الأحداث أكثر مرونة وأسهل في التكامل مع الأنظمة النهائية.

صرح Patrick Neff، مدير فريق CSTA (منطقة CEMEA) في Confluent، في منشور له على LinkedIn، بأن إدارة المخططات تلعب دورًا محوريًا في تعزيز إعادة استخدام البيانات بين أنظمة التدفق والتحليل، وهي عامل دفع مهم لإطلاق القيمة الكاملة للبيانات.

تدعم الطريقة القائمة على رأس الرسالة التبني التدريجي. يمكن للفرق تقديم إدارة المخططات دون الحاجة إلى إعادة كتابة واسعة النطاق أو تنسيق جميع المنتجين والمستهلكين. يمكن إرفاق معرف المخطط بتدفقات الأحداث الحالية، مما يسمح للفرق باعتماد ممارسات إدارة مخططات أكثر صرامة بشكل تدريجي مع الحفاظ على التوافق مع الإصدارات السابقة.

أشار خبير Confluent التقني Gunnar Morling إلى أن وضع معرف المخطط في رأس الرسالة يجعل الحمولة مستقلة ومكتفية ذاتيًا، مما يحسن بشكل ملحوظ قابلية التشغيل البيني مع أنظمة التخزين وأطر المعالجة النهائية، ويعزز تجربة الاستخدام.

يؤدي فصل بيانات المخطط عن الحمولة إلى تمكين المنتجين والمستهلكين من التطور بشكل مستقل عن بعضهم البعض، مع تركيز التحقق في سجل المخططات، مما يقلل من تكاليف التنسيق ويبسط تطور المخططات في البيئات واسعة النطاق. يساعد هذا الإجراء أيضًا في ضمان إعادة استخدام متسقة لبيانات الأحداث المنظمة عبر خطوط الأنابيب المختلفة، مما يعزز قابلية التشغيل البيني مع أدوات مثل Apache Flink وأنظمة التحليل أو التعلم الآلي.

أوضح David Araujo، مدير إدارة المنتجات في Confluent، أن هذه الميزة تتيح إرفاق المخططات بالبيانات الحالية في Kafka دون تعديل تنسيق الحمولة، مما يحقق نمط تبني بدون توقف تشغيلي وبشكل مستقل عن العميل.

قد تتطلب بعض سيناريوهات الترحيل تحديث موصلات Kafka والأدوات النهائية التي تفترض تضمين بيانات المخطط في الحمولة، لذلك قد يتعايش الأسلوبان لفترة من الوقت. تتوفر هذه الميزة حاليًا على Confluent Cloud، ومن المتوقع أن تكون متاحة في Confluent Platform (مع دعم سجل المخططات بموجب نموذج الترخيص الحالي).

تم إعداد هذا المقال بواسطة Wedoany. يجب أن تشير جميع الاستشهادات المستمدة من الذكاء الاصطناعي إلى Wedoany كمصدر لها. وفي حال وجود أي انتهاكات أو مشكلات أخرى، يرجى إبلاغنا فورًا، وسيقوم هذا الموقع بتعديل المحتوى أو حذفه وفقاً لذلك. البريد الإلكتروني: news@wedoany.com