أخبار ar.wedoany.com، أعلنت جامعة نيويورك بالتعاون مع شركة AMI الناشئة التي أسسها يان ليكون (Yann LeCun) عن أحدث إنجازات سلسلة JEPA، وهو نموذج AdaJEPA، الذي يقدم حلاً لنماذج العالم قادرة على التعلم المستمر أثناء مرحلة النشر.
على عكس نماذج العالم السابقة التي تُجمّد معاملاتها بعد انتهاء التدريب المسبق، يعتمد AdaJEPA آلية تكيف أثناء الاختبار، حيث يقوم بتعديل معاملات جهاز التشفير والمتنبئ لنموذج العالم بشكل فوري أثناء التفاعل مع البيئة، مما يتيح التعلم المستمر.
تتمثل العملية الأساسية لـ AdaJEPA في حلقة مغلقة تتكون من: التخطيط، التنفيذ، المراقبة، التحديث، وإعادة التخطيط. في كل مرة، ينفذ النظام الخطوة الأولى فقط من الإجراءات المخطط لها عبر التحكم التنبؤي بالنموذج، ثم يستخدم حالة الإطار التالي التي يعكسها الواقع كإشارة تعلم ذاتي لتحديث نموذج العالم عبر الإنترنت. وبهذا، فإن النموذج المستخدم في دورة التخطيط التالية لم يعد هو النسخة المجمدة عند النشر، بل هو نموذج تمت معايرته وفقًا للبيئة الحالية.
تشبه هذه الفكرة بنية Dyna في التعلم المعزز الكلاسيكي، حيث لا يتم تدريب النموذج مرة واحدة، بل يتم تصحيح فهمه للبيئة باستمرار أثناء التفاعل الفعلي.
منذ فترة طويلة، كانت نماذج العالم القائمة على مسار JEPA والتي تعمل في الفضاء الكامن تفترض بشكل افتراضي تجميد المعاملات بعد اكتمال التدريب. وتكون العملية كالتالي: يتعلم النموذج أولاً ضغط الصور عالية الأبعاد إلى فضاء كامن من خلال المسارات غير المتصلة، ثم يتنبأ بالحالات المستقبلية داخل هذا الفضاء الكامن. أثناء مرحلة الاختبار، يستدعي التحكم التنبؤي بالنموذج هذا النموذج المجمد، ويتخيل المستقبل في الفضاء الكامن، ويحسن تسلسل الإجراءات، ولا ينفذ سوى الخطوة الأولى في البيئة الحقيقية.
يكمن التحدي الذي تواجهه هذه الطريقة في أن نموذج العالم المجمد يصبح عرضة للخطأ عندما تتغير البيئة. فعند مواجهة انحراف في التوزيع أثناء الاختبار، قد تبدو الإجراءات التي تصل إلى الهدف في الفضاء الكامن صحيحة، ولكنها قد تؤدي إلى انحرافات عند تطبيقها في البيئة الحقيقية. وبما أن التحكم التنبؤي بالنموذج يعتمد على التخطيط المتداول في نطاق زمني قصير، فإن الخطأ في خطوة واحدة يتضخم أثناء التداول اللاحق.
ولمعالجة المشكلة المذكورة أعلاه، تقدم الورقة البحثية إطار عمل AdaJEPA، الذي يقوم على فكرة أساسية مفادها أن نموذج العالم لا ينبغي أن يظل ثابتًا بعد التدريب، بل يجب أن يكون مثل وكيل منتشر حقيقي، يتصرف ويصحح نفسه باستمرار باستخدام الخبرات الجديدة.
تنقسم دورة AdaJEPA إلى أربع خطوات. الخطوة الأولى هي التخطيط، حيث يقوم النموذج بترميز الملاحظة الحالية إلى حالة كامنة، ويستخدم نموذج العالم الحالي لإجراء التحكم التنبؤي، ويتنبأ بشكل متداول في الفضاء الكامن للعثور على سلسلة من الإجراءات الأقرب إلى الحالة المستهدفة. الخطوة الثانية هي التنفيذ، حيث ينفذ النموذج الخطوة الأولى فقط من الإجراءات، ثم يعيد الواقع إطار الملاحظة التالي. الخطوة الثالثة هي التحديث، حيث يقوم النظام بتخزين انتقال الحالة الحقيقي هذا في مخزن مؤقت عبر الإنترنت، ويقوم النموذج بالتنبؤ بالحالة الكامنة التالية بناءً على الملاحظة والإجراء، ثم يقوم بمحاذاتها مع الحالة الكامنة المستخلصة من ترميز الحالة الحقيقية، ويقوم بتحديث المعاملات من خلال حساب التدرج. الخطوة الرابعة هي إعادة التخطيط، حيث يدخل نموذج العالم المحدث فورًا في دورة التحكم التنبؤي التالية.
في تفاصيل التنفيذ، لا يزال أساس AdaJEPA هو بنية التوقع المشترك المضمنة. على عكس نماذج العالم التقليدية التي تتنبأ بالبكسل، لا تتنبأ هذه البنية بالصور المستقبلية بشكل مباشر، بل تقوم بضغط الصور إلى فضاء كامن أكثر إحكامًا، وتتنبأ بالحالات المستقبلية داخل هذا الفضاء فقط. يتكون النموذج بأكمله من ثلاثة مكونات أساسية: جهاز ترميز الحالة، وجهاز ترميز الإجراء، والمتنبئ.
يتم التحديث عبر الإنترنت داخل الفضاء الكامن. بعد تنفيذ كل إجراء، يقوم النظام بتخزين انتقال الحالة الحقيقي في مخزن مؤقت عبر الإنترنت، بسعة افتراضية لأحدث N من التحولات. أثناء التحديث، يتنبأ النموذج بالحالة الكامنة في اللحظة التالية بناءً على الملاحظة الحالية والإجراء، ويقوم بمحاذاتها مع الحالة الكامنة المستخلصة من ترميز إطار الملاحظة الحقيقي التالي. لمنع التحديث عبر الإنترنت من تدمير مساحة التمثيل الأصلية، تضع الورقة قيدين: استخدام إيقاف التدرج للتمثيلات المستهدفة، وتحديث عدد قليل فقط من المعاملات. في التجارب، يتم افتراضيًا تحديث الطبقات الأخيرة فقط من جهاز الترميز البصري والمتنبئ، ويتم إجراء خطوة واحدة فقط من نزول التدرج في كل إعادة تخطيط للتحكم التنبؤي.
للتحقق من فعالية التكيف أثناء الاختبار، أجرت الورقة تجارب على معيارين هما PushT/PushObj و PointMaze. في اختبار الأشكال غير المرئية لـ PushObj، كاد AdaJEPA أن يضاعف معدل نجاح التخطيط. في اختبار التخطيطات غير المرئية لـ PointMaze، ارتفع معدل نجاح تخطيط GD من 53.3% إلى 78.7%، وارتفع معدل نجاح تخطيط CEM من 49.3% إلى 70.7%.
من الجدير بالذكر أن هذا التحديث عبر الإنترنت يسبب تأخيرًا إضافيًا منخفضًا. نظرًا لأنه يتم فقط تحديث الطبقات الأخيرة من جهاز الترميز البصري والمتنبئ، ويتم إجراء خطوة واحدة فقط من نزول التدرج في كل إعادة تخطيط، فإن التأخير الإضافي يتراوح بين 0.01 و 0.03 ثانية فقط. يشير هذا إلى أن AdaJEPA لا يحقق زيادة في معدل النجاح من خلال تدريب مكثف عبر الإنترنت، بل يضيف آلية خفيفة الوزن "للمعايرة الذاتية أثناء النشر" إلى نموذج العالم الأصلي.
المؤلفة الرئيسية للورقة، يينغ وانغ (Ying Wang)، هي حاليًا طالبة دكتوراه في مختبر CILVR التابع لمركز علوم البيانات بجامعة نيويورك، وتتخصص في أبحاث نماذج العالم، تحت إشراف كل من منغي رن (Mengye Ren) ويان ليكون. المؤلفة أوميمة بونو (Oumayma Bounou) هي باحثة ما بعد الدكتوراه في جامعة نيويورك، واهتماماتها البحثية تشمل نماذج العالم والتحكم والتحسين، وتعمل حاليًا مع ليكون على أبحاث نماذج العالم. الأستاذ المساعد في علوم الكمبيوتر وعلوم البيانات بجامعة نيويورك، منغي رن، والحائز على جائزة تورينج، يان ليكون، يشتركان في الإشراف على هذا العمل.
الرابط المرجعي: https://arxiv.org/pdf/2606.32026
