أخبار ar.wedoany.com، في 2 يوليو، أصدر مشروع البنية التحتية للتعلم المعزز مفتوح المصدر AReaL الإصدار 2.0، بهدف ربط مسار تدريب النماذج الأساسية بتطبيقات الوكلاء الأذكياء الحديثة، وتوفير دعم فعال لتدريب التعلم المعزز في سيناريوهات تطبيقات الوكلاء.
يستهدف AReaL 2.0 الوكلاء الذين دخلوا بالفعل سيناريوهات الأعمال الحقيقية، ويوفر مجموعة من البنى التحتية النظامية التي تمكنهم من التعلم المستمر أثناء الاستخدام. يتيح هذا الإصدار تسجيل عمليات التفاعل التي ينتجها الوكيل أثناء إنجاز المهام الحقيقية، وتنظيمها، وإدراجها في عمليات التدريب اللاحقة، لاستخدامها في التحسين المستمر للنموذج الأساسي، مما يجعل الوكيل أقوى مع الاستخدام في إطار آمن وخاضع للرقابة.
حاليًا، يدخل الوكلاء الأذكياء بيئات الإنتاج الحقيقية لأداء مهام معقدة مثل كتابة التعليمات البرمجية، والبحث عن المعلومات، واستدعاء الأدوات. ومع ذلك، على الرغم من أن الوكلاء يعملون يوميًا، إلا أنهم يجدون صعوبة في النمو الحقيقي من خلال العمل. في الأعمال الحقيقية، ينتج الوكلاء كميات كبيرة من الخبرات القيمة، مثل إنجاز المهام، وأسباب فشل استدعاء الأدوات، ورضا المستخدمين، واتجاهات اتخاذ القرارات. يتم حفظ معظم هذه المعلومات فقط في شكل سجلات، مما يجعل من الصعب تحويلها بشكل مستقر وآمن إلى تحسين للقدرات في المرة التالية.
يهدف AReaL 2.0 إلى حل مشكلة كيفية استمرار نمو الوكيل بعد نشره. لا يحتاج المطورون إلى إعادة تطوير الوكيل، بل يكفي توجيه الطلبات التي كان الوكيل يرسلها أصلاً إلى النموذج الكبير عبر مدخل الاستدلال الموحد لـ AReaL 2.0، للانضمام إلى عملية التعلم المعزز عبر الإنترنت.
على سبيل المثال مع وكيل Hermes، يستقبل Hermes المهام بشكل طبيعي، ويخطط للخطوات، ويستدعي النموذج، بينما يسجل AReaL 2.0 في الخلفية عمليات التفاعل الرئيسية أثناء إنجاز المهمة، ويجمعها مع إشارات التغذية الراجعة أو المكافآت بعد انتهاء المهمة، لاستخدام هذه المسارات الحقيقية في التدريب اللاحق. يمكن للمطورين استبدال Hermes بوكيل خاص بهم وبيئة مهام خاصة بهم، لبناء عملية تعلم معزز عبر الإنترنت للوكيل بنفس الطريقة. وهذا يعني أن تحسين قدرات الوكيل لم يعد يعتمد فقط على البيانات المصنعة يدويًا، والتدريب دون اتصال، وإعادة النشر، بل يمكن أن تصبح المحادثات متعددة الجولات، واستدعاءات الأدوات، ونتائج التنفيذ، وإشارات التغذية الراجعة من المهام الحقيقية مواد لاستمرار تعلم النموذج.
هذه النقطة مهمة بشكل خاص في سيناريوهات المؤسسات. يواجه الوكلاء في سير العمل المؤسسي مهامًا حقيقية ومعقدة ومتغيرة باستمرار، بما في ذلك تحديثات مكتبات التعليمات البرمجية، وتعديلات العمليات التجارية، وتغيرات احتياجات المستخدمين، وتغييرات الأدوات والأنظمة. إذا كانت قدرات الوكيل ثابتة بشكل أساسي بعد النشر، فسيكون من الصعب التكيف مع البيئة الحقيقية على المدى الطويل. يهدف AReaL 2.0 إلى سد الفجوة المفقودة بين "القدرة على استخدام الأدوات" و"القدرة على التعلم من الاستخدام".
في الوقت نفسه، لا يمكن أن يكون التعلم المستمر في الأعمال الحقيقية مجرد "جمع البيانات ثم إعادة التدريب". قد يتعامل الوكيل مع التعليمات البرمجية، ومعلومات العملاء، وقواعد المعرفة المؤسسية، والأنظمة الداخلية، لذلك يجب أن تأخذ سلسلة التدريب في الاعتبار متطلبات التحكم في الوصول، وإخفاء البيانات، والعزل، والتدقيق. يقدم AReaL 2.0 في تصميم النظام آلية وكيل بيانات موجهة لمسارات الوكيل، مما يسمح بإدارة واستخدام بيانات المهام الحقيقية عند دخولها في عملية التدريب في إطار أكثر أمانًا وتحكمًا.
أشار فريق AReaL في التقرير الفني إلى أن العقبة الرئيسية أمام الوكلاء ذاتيي التطور لا تكمن فقط في النموذج نفسه أو خوارزميات التعلم المعزز، بل في الافتقار إلى بنية تحتية للتعلم المعزز عبر الإنترنت قادرة على خدمة الوكلاء الحقيقيين. خضع AReaL 2.0 لترقية معمارية موجهة لتطبيقات الجيل التالي من الوكلاء الأذكياء، حيث يربط بين خدمات الوكيل، ومسارات المهام الحقيقية، وإدارة البيانات، والتدريب على التعلم المعزز عبر الإنترنت، مما يوفر أساسًا هندسيًا قابلًا للتنفيذ لاستمرار تعلم الوكيل بعد نشره.
تم إطلاق مشروع AReaL في عام 2024 من قبل فرق من مجموعة Ant Group وجامعة تسينغهوا وجامعة هونغ كونغ للعلوم والتكنولوجيا. في مايو 2026، انبثق AReaL من Ant InclusionAI ليصبح مجتمعًا مفتوح المصدر مستقلاً، وانضم إلى مشروع PyTorch Foundation Ecosystem، مندمجًا في النظام البيئي الرئيسي للبنية التحتية للتعلم المعزز. مع التطور المستقل للمجتمع، يواصل AReaL الحصول على مشاركة ودعم من شركاء الصناعة والنظام البيئي مفتوح المصدر، بما في ذلك فريق Huawei Cloud و MindLab. في المستقبل، سيركز AReaL على التكرار في اتجاهات مثل التعلم المعزز عبر الإنترنت، والتقييم الآلي، وتدريب الوكلاء متعددي الوسائط، لدفع تطوير النظام البيئي للوكلاء ذاتيي التطور بالتعاون مع المجتمع. حاليًا، تم إصدار التقرير الفني ورمز AReaL 2.0 كمصدر مفتوح.
