أخبار ar.wedoany.com، في مرحلة التدريب اللاحق المعزز بالتعلم للنماذج اللغوية الكبيرة، غالبًا ما تكون عملية التوليد (rollout) التي تنتج عددًا كبيرًا من إجابات الاستدلال مصحوبة بتكاليف حاسوبية باهظة، إلا أن العديد من هذه العينات قد لا توفر إشارات تدريبية فعالة. لمعالجة هذه المشكلة، قدم فريق بحثي من قسم الأتمتة بجامعة تسينغهوا إطارًا تحسينيًا يُعرف باسم POPO (Group Prioritized Off-Policy Optimization)، يهدف إلى تقليل استهلاك العينات غير الفعالة في تدريب RLVR (التعلم المعزز بالمكافآت القابلة للتحقق) بشكل كبير من خلال تحسين السياسة خارج السياسة على مستوى المجموعة.
تتمثل الميزة الأساسية لـ RLVR في إمكانية التحقق التلقائي من إشارات المكافأة عبر القواعد، ولكن عند التدريب باستخدام طرق مثل GRPO (تحسين السياسة النسبي داخل المجموعة)، يقوم النموذج بتوليد مجموعة من الإجابات لنفس الموجه (prompt). إذا كانت جميع الإجابات في هذه المجموعة صحيحة أو خاطئة، فإن تباين المكافأة يكون صفرًا، مما يؤدي إلى اختفاء الميزة النسبية داخل المجموعة، وبالتالي لا تساهم العينات تقريبًا في تحديث المعاملات. هذا الموقف، الذي يُعرف بـ "العينة غير الفعالة"، شائع جدًا في RLVR، خاصةً بالنسبة للمسائل البسيطة جدًا أو الصعبة جدًا، حيث يستهلك النموذج موارد حاسوبية كبيرة دون الحصول على تدرج فعال.
تشمل الأساليب الحالية للتعامل مع هذه المشكلة: DAPO الذي يقوم بتوسيع الدفعة المرشحة وإجراء rollout إضافي لتصفية المجموعات غير الفعالة، ولكن على حساب زيادة تكاليف التوليد؛ وطريقة أخذ العينات التنبؤية التي تقدر احتمالية نجاح الموجه قبل rollout، ولكنها تفتقر إلى الاستقرار في البيانات واسعة النطاق أو التدريب منخفض العصور (epochs)؛ وطريقة إعادة تشغيل المسار (trajectory replay) التي تحفظ الإجابات الناجحة السابقة ولكنها لا تستطيع مواجهة تحديات مثل الحكم على الفعالية داخل المجموعة والانحراف خارج السياسة (off-policy bias).
الفكرة الأساسية لـ POPO هي الحفاظ على مخزن إعادة تشغيل صغير (replay buffer) لتخزين مجموعات الاستجابة الفعالة التي تمت مواجهتها في التدريب الأخير. في كل خطوة تدريب، يقوم النموذج أولاً بعمل rollout للدفعة الحالية، ثم يقسم مجموعات الاستجابة إلى مجموعات فعالة (تباين المكافأة أكبر من الصفر) ومجموعات غير فعالة (تباين المكافأة يساوي صفرًا) بناءً على تباين المكافأة. يحتفظ POPO بالمجموعات الفعالة، وبالنسبة لمواقع المجموعات غير الفعالة، لا يقوم بإعادة rollout، بل يسترجع أحدث مجموعة فعالة من المخزن لسد النقص. تسمح هذه الاستراتيجية، دون زيادة تكلفة rollout جديدة، بأن تتكون دفعة التدريب بشكل أساسي من عينات فعالة.
على عكس إعادة تشغيل المسار الشائعة، يختار POPO إعادة التشغيل على مستوى المجموعة. تحتوي المجموعة على موجه ومجموعة الاستجابات المقابلة له، وتأتي بيانات المجموعة بأكملها من نفس السياسة التاريخية، مما يحافظ على الاتساق داخل المجموعة ويسهل التصحيح خارج السياسة لاحقًا. بالنسبة لاختيار مجموعة إعادة التشغيل، يعتمد POPO بشكل أساسي على معيارين: "الجودة" (تباين المكافأة غير صفري) و"المسافة عن السياسة الحالية" (إعطاء الأولوية لإعادة تشغيل المجموعات الفعالة المودعة مؤخرًا).
لمعالجة مشكلة الانحراف في بيانات إعادة التشغيل، يقدم POPO تحسينًا خارج السياسة منفصلاً (decoupled off-policy optimization)، يفصل بين دور "سياسة السلوك" و"سياسة القيد القريب". بالنسبة لعينات إعادة التشغيل، تستخدم الخوارزمية أخذ العينات بالأهمية (importance sampling) لتصحيح الانحراف خارج السياسة، مع الحفاظ على قيود منطقة الثقة المتسقة مع عينات على السياسة (on-policy)، مما يوازن بين تصحيح الانحراف واستقرار التدريب.
قامت الورقة بتقييم أداء POPO في ثلاث فئات من المهام: الاستدلال الرياضي، والتخطيط العددي، والهندسة البصرية. في مهمة الاستدلال الرياضي، تم استخدام نموذجي DeepSeek-R1-Distill-Qwen-1.5B و7B للتدريب على مجموعة بيانات DeepScaleR؛ وفي مهمة التخطيط العددي، تم استخدام نموذج Qwen2.5-3B للتدريب على مجموعة فرعية Countdown-34؛ وفي مهمة الهندسة البصرية، تم استخدام نموذج Qwen2.5-VL-3B-Instruct للتدريب والاختبار على Geometry3k. تشمل طرق المقارنة خطوط الأساس مثل GRPO وDAPO وMoPPS وARPO.
من منحنيات التدريب، يتفوق POPO في سرعة التقارب على GRPO وARPO وMoPPS في مهام متعددة، ويكون أداؤه الإجمالي قريبًا من DAPO، ولكن بتكلفة rollout أقل بكثير. على DSR-1.5B، بلغ متوسط درجة POPO داخل التوزيع 55.1، معادلاً لـ DAPO، ومتوسط درجة خارج التوزيع 32.9 أعلى قليلاً من 32.7 لـ DAPO، وانخفض وقت التدريب من 30 ساعة لـ DAPO إلى 16 ساعة. على DSR-7B، بلغ متوسط درجة POPO داخل التوزيع 63.3 أعلى من 63.2 لـ DAPO، ومتوسط درجة خارج التوزيع 51.2 أعلى من 50.8 لـ DAPO، وانخفض وقت التدريب من 55 ساعة إلى 34 ساعة. في مهمة Countdown، بلغ متوسط دقة POPO 60.4 مقاربة لـ 61.5 لـ DAPO، لكن عدد rollouts كان 205k فقط (مقابل 877k لـ DAPO)، وانخفض وقت التدريب من 5.6 ساعة إلى 3.2 ساعة. في مهمة Geometry، حقق POPO 50.0 مقاربة لـ 50.6 لـ DAPO، مع عدد rollouts 492k (مقابل 1438k لـ DAPO)، وانخفض وقت التدريب من 11.2 ساعة إلى 6.8 ساعة.
أظهر التحليل الإضافي أن POPO يتفوق باستمرار على GRPO ويقترب من DAPO في ظل أحجام مجموعات استجابة مختلفة (k=4, 8, 16, 32)، ويمكن تطبيقه على خوارزميات RLVR الأساسية الأخرى مثل RLOO وPPO، ويمكن دمجه مع طرق أخذ العينات النشطة مثل MoPPS.
تشير الورقة إلى أن القيمة الأساسية لـ POPO تكمن في تحويل تدريب RLVR من "التوليد الكثير والتصفية الكثيرة" إلى "تقليل الهدر"، من خلال تخزين وإعادة استخدام العينات الفعالة عالية الجودة التي تم توليدها بالفعل، مما يقلل من هدر rollouts غير الفعالة مع الحفاظ على استقرار التدريب. على سبيل المثال، في مهمة DeepScaleR-7B، استخدم POPO حوالي 30% فقط من ميزانية rollout لتحقيق أداء مقارب لـ DAPO. في المستقبل، تخطط الفريق لاستكشاف استراتيجية هجينة تجمع بين ذاكرة التخزين المؤقت FIFO قصيرة الأجل وخزان طويل الأجل (reservoir) لتقليل عدد rollouts عبر الإنترنت بشكل أكبر وزيادة الاستخدام المتحكم فيه للبيانات خارج الإنترنت.
الورقة من إنجاز فريق البروفيسور جي شيانغ يانغ من قسم الأتمتة بجامعة تسينغهوا، والمؤلفون هم Yixiu Mao وYun Qu وCheems Wang وHeming Zou وXiangyang Ji (ماو ييشيو، تشو يون، وانغ، تسو هيمينغ، جي شيانغ يانغ). المؤلف الأول ماو ييشيو هو طالب دكتوراه في قسم الأتمتة بجامعة تسينغهوا، ويتدرب حاليًا في فريق نموذج Tongyi Qianwen الكبير التابع لشركة Alibaba. نُشرت الورقة على arXiv، برقم 2606.01281v1.
