أخبار ar.wedoany.com، أعاد البنك الرقمي البريطاني Monzo تصميم مستودع بياناته، وتمكن من خفض تكاليف المستودع بنحو 40% وزيادة سرعة تسليم البيانات بنحو 25% من خلال اعتماد نهج "شبكي". كان البنك يواجه تعقيدًا يتمثل في معالجة أكثر من 100 فريق لأكثر من 12000 نموذج dbt.

على مدار العام الماضي، أعاد Monzo بناء منصة البيانات الخاصة به حول طبقات نمذجة محددة، مع تحديد واجهات نموذجية واضحة لتبعيات البيانات بين الفرق، وفرض التحقق من الهيكل والتسمية وأنماط الوصول من خلال التكامل المستمر (CI). غطى هذا الترحيل آلاف نماذج dbt، وأدخل مئات الواجهات المدارة، مما قلل من الاستعلامات الزائدة والحسابات المكررة، وحسّن زمن وصول البيانات، وعكس اتجاه نمو متزايد لتكاليف المستودع. يمتلك كل فريق ويحافظ على نماذج البيانات الخاصة به، ويدعم Monzo الملكية الموزعة من خلال حواجز حماية آلية وأدوات مشتركة. أشار مهندسو التحليل في Monzo، أنطونيا باداراو وإيرينا موجفورد وماسيمو فرانجياموري، إلى أن هذه الملكية الموزعة قوية، ولكن من الصعب تنفيذها بشكل صحيح على نطاق واسع، خاصة مع شيوع الترميز بمساعدة الذكاء الاصطناعي، حيث يصبح ضمان أن يكون المخرجات فعالة ومتسقة وعالية الجودة تحديًا.

نموذج dbt هو استعلام SQL يحول البيانات الأولية إلى مجموعات بيانات منظمة، وهو مصمم ليكون مكونًا معياريًا وقابلًا لإعادة الاستخدام لبناء وصيانة خطوط أنابيب البيانات. حدد Monzo ثلاثة مبادئ لبنية البيانات الخاصة به: فرض معايير واضحة، وتوحيد مشاركة البيانات من خلال واجهات صريحة، والاعتماد على الأتمتة وفحوصات CI لضمان الجودة بدلاً من المراجعة اليدوية. يقسم البنك نماذج البيانات إلى أربع طبقات: نماذج الهبوط الآلي (تسطيح الأحداث الأولية)، والنماذج المعيارية المُنشأة (تمثيل الكيانات بسجل كامل)، والنماذج المنطقية (دمج الكيانات بمنطق الأعمال)، والنماذج التمثيلية المخصصة لحالات استخدام نهائية محددة.

تضمن الفرق الاتساق من خلال أداة سطر الأوامر Modelgen (التي يمكنها إنشاء نماذج SQL وYAML من تعريفات الكائنات) ومعايير البيانات المدعومة بـ CI (التحقق من الهيكل والاتفاقيات وأفضل الممارسات). صرح لوك بريسكو، المدير الهندسي في Monzo Bank، بأن توسيع نطاق البيانات في أي مؤسسة سريعة النمو ليس بالأمر السهل، خاصة بالنسبة للبنوك، وعلى حد علمه، هناك عدد قليل جدًا من الشركات التي تدير أدوات مماثلة. علق ماتيوز أولاس، مؤسس شركة Expeditious Software، بأن اعتبار واجهات البيانات كودًا من الدرجة الأولى لا يزال نادرًا بشكل استثنائي، حيث تعتمد معظم الأماكن على التوثيق وتأمل في أفضل السيناريوهات، بينما دمج المعايير في CI هو ما يتيح التحسين.

تحافظ طبقات البيانات الواضحة والواجهات المستقرة بين مجموعات البيانات والفحوصات الآلية في CI على اتساق النظام، مما يمكّن الفرق من العمل بشكل مستقل مع تقليل تكاليف المستودع ووقت المعالجة. يفرض Monzo جودة البيانات واتساقها من خلال مطالبة كل نموذج بتعريف مفتاح فريد، واختبارات النضارة، والتشغيل التزايدي الافتراضي، والإعلان عن الفريق المالك، وتوفير التوثيق، واتباع اتفاقيات تسمية وبيانات وصفية صارمة يتم التحقق منها بواسطة CI.

أضاف باداراو وموجفورد وفرانجياموري أن عملية الترحيل على مستوى الشركة جارية، وقد اكتملت بنحو 30%، والنتائج الأولية مشجعة، حيث شهدت بعض المجالات انخفاضًا في التكاليف بنحو 40% وزمن وصول أسرع للبيانات بنحو 25%.

في مقال آخر، وصفت الفرق الهندسية في Monzo كيفية استخدام شبكات عصبية متعددة المهام لتعلم تمثيلات مشتركة لأنماط الاحتيال، مما أدى إلى تحسين اكتشاف الحالات النادرة والسلوكيات غير المسبوقة سابقًا، متجاوزة قدرات النماذج التقليدية. في مؤتمر QCon London لهذا العام، عرض سوهيل باتيل كيفية بناء Monzo لمنصة مطورين تمكن من دفع مئات التغييرات إلى بيئة الإنتاج يوميًا.

تم إعداد هذا المقال بواسطة Wedoany. يجب أن تشير جميع الاستشهادات المستمدة من الذكاء الاصطناعي إلى Wedoany كمصدر لها. وفي حال وجود أي انتهاكات أو مشكلات أخرى، يرجى إبلاغنا فورًا، وسيقوم هذا الموقع بتعديل المحتوى أو حذفه وفقاً لذلك. البريد الإلكتروني: news@wedoany.com