أخبار ar.wedoany.com، قدم فريق بحثي من جامعة تشجيانغ ومنصة "كواي شو" (Kuaishou) نموذج MemGUI-Agent، الذي يمكّن وكلاء واجهات المستخدم الرسومية (GUI Agent) على الهواتف المحمولة من إدارة الذاكرة السياقية بشكل استباقي في المهام طويلة المدى، مما يمنع فقدان المعلومات الحيوية. يضم الفريق باحثين من مختبر APRIL بجامعة تشجيانغ وقسم التكنولوجيا الرئيسي في "كواي شو"، وأطلق الفريق في الوقت نفسه مجموعة بيانات MemGUI-3K، وهي أطول مجموعة بيانات لمهام وكلاء واجهات المستخدم على الأجهزة المحمولة من حيث متوسط عدد الخطوات. وقد حقق النموذج MemGUI-8B-SFT، المُدرَّب على هذه المجموعة، أفضل النتائج بين النماذج مفتوحة المصدر على معياري المهام الطويلة MemGUI-Bench وMobileWorld.
في السابق، كانت وكلاء واجهات المستخدم على الهواتف المحمولة تعاني من تدهور المعلومات عند تنفيذ مهام طويلة المدى تتضمن تطبيقات وخطوات متعددة. فالمعلومات الرئيسية التي يتم الحصول عليها في المراحل المبكرة، مثل الأسعار وجهات الاتصال والمواصفات والتواريخ، كانت تُفقد أو تُحرف أو تُنسى تمامًا في الخطوات اللاحقة. تعتمد وكلاء النمط التقليدي ReAct على إلحاق كل خطوة من التفكير والإجراء والنتيجة بالسياق، مما يؤدي إلى مشكلتين: أولاً، النمو الخطي للسجل التاريخي، مما يزيد من طول الإدخال والتكاليف الحسابية؛ وثانيًا، غمر الحقائق الرئيسية بالضوضاء، حيث قد يتذكر الوكيل أنه بحث عن معلمة ما ولكنه ينسى قيمتها المحددة.
يتمثل التصميم الأساسي لـ MemGUI-Agent في مفهوم "السياق كإجراء" (Context-as-Action - ConAct)، الذي يرفع إدارة السياق إلى مستوى الإجراءات الأخرى مثل النقر على واجهة المستخدم، وإدخال النص، والتمرير. في كل خطوة، لا يقوم الوكيل بإخراج الإجراء التالي فحسب، بل يخرج أيضًا كيفية تنظيم ذاكرة عمله الخاصة. يقسم ConAct السياق إلى ثلاثة حقول منظمة: سجل الإجراءات المطوي (Folded Action History)، الذي يحفظ المسار التاريخي المضغوط عن طريق طي المهام المنجزة في ملخصات؛ وحالة واجهة المستخدم المطوية (Folded UI State)، التي تحفظ الحقائق الرئيسية الكاملة لواجهة المستخدم مثل أرقام الهواتف وأسعار السلع ومعايير المواصفات؛ وسجل الخطوات الأخيرة (Recent Step Record)، الذي يسجل ملاحظات ونوايا وإجراءات ونتائج الخطوة الأخيرة.
قام الباحثون أيضًا ببناء مجموعة بيانات MemGUI-3K لتدريب النماذج صغيرة الحجم. تم توسيع هذه المجموعة من 128 مهمة أساسية من معيار MemGUI-Bench، وبعد عمليات استبدال الكيانات، وتعزيز عمليات الذاكرة، وتبسيط المهام، احتوت المجموعة في النهاية على 2956 مسارًا ناجحًا، تغطي 26 تطبيق Android و7 فئات من السيناريوهات الوظيفية، وتم استخراج 64430 عينة تدريب من نوع SFT. يبلغ متوسط طول المسار 28.8 خطوة، واستخدمت 65.1% من المسارات عملية ذاكرة واحدة على الأقل، واحتوت 88.7% من المسارات على عملية طي واحدة على الأقل على مستوى النطاق. تشير هذه الإحصائيات إلى أن مجموعة البيانات تهدف إلى تعليم النموذج كيفية إدارة ذاكرة العمل في المهام طويلة المدى.
على معيار MemGUI-Bench، حقق MemGUI-Agent-235B (بدون تدريب إضافي - zero-shot) نسبة نجاح Pass@1 بلغت 37.5%، وPass@3 بلغت 62.5%، وIRR بلغت 46.8%، مقارنة بنمط ReAct على نفس خط الأساس 235B، حيث ارتفعت نسبة Pass@1 بمقدار 13.3 نقطة مئوية. حقق MemGUI-8B-SFT على نفس المعيار نسبة Pass@1 بلغت 23.4%، وPass@3 بلغت 35.9%، وIRR بلغت 30.2%، بارتفاع قدره 14.0 و15.6 و15.1 نقطة مئوية على التوالي مقارنة بخط الأساس Qwen3-VL-8B-Instruct. على المعيار الخارجي MobileWorld GUI-Only، حقق MemGUI-Agent-235B نسبة نجاح بلغت 29.1%، وهي أعلى بـ 14.6 نقطة مئوية من خط الأساس؛ وحقق MemGUI-8B-SFT نسبة نجاح بلغت 17.9%، متجاوزًا نسبة OpenMobile-8B البالغة 17.7%.
أظهرت تجارب إزالة المكونات أن إضافة عمليات ذاكرة واجهة المستخدم، أو طي التاريخ، أو خطوات الوصف الذاتي بشكل منفرد يؤدي إلى تحسينات، لكن العناصر الثلاثة لا غنى عنها. حقق ConAct الكامل على MemGUI-Bench-40 نسبة Pass@1 بلغت 40.0%، مقارنة بـ 5.0% لخط الأساس ReAct، وهو تحسن ملحوظ. أظهر تحليل الإخفاقات أن ConAct قلل بشكل أساسي من الهلوسة الناجمة عن السياق، حيث انخفض إجمالي عدد الإخفاقات بنحو 41%، مع تحسن ملحوظ في هلوسة العملية وهلوسة المخرجات. يدفع هذا البحث مشكلة الذاكرة لوكلاء واجهات المستخدم من الوحدات الهندسية الخارجية إلى داخل نموذج السياسة نفسه، مما يمكن الوكيل من تعلم إدارة عملية التنفيذ أثناء تنفيذ الإجراءات.
المؤلف الأول للورقة البحثية هو ليو قوانغ يي، طالب دكتوراه في مختبر APRIL بجامعة تشجيانغ، والمؤلف المراسل هو البروفيسور ليو يونغ من جامعة تشجيانغ. جميع مكونات MemGUI-Agent مفتوحة المصدر، بما في ذلك الكود والبيانات والنماذج وخطوط أنابيب التدريب والتقييم.
يكمن عنق الزجاجة في مهام الهاتف طويلة المدى في حاجة النموذج إلى حفظ الحقائق المشتقة من واجهة المستخدم عبر الشاشات والخطوات والتطبيقات، بما في ذلك الأسعار وأرقام الهواتف ومواصفات السلع ومحتوى منشورات وسائل التواصل الاجتماعي والنص المراد نسخه. الإلحاق السلبي للسجل التاريخي ليس مضغوطًا ولا موثوقًا. يجعل ConAct الوكيل يخرج في كل خطوة خمسة أجزاء منظمة: التفكير، والطي، واستدعاء الأداة، وملاحظة واجهة المستخدم، ونية الإجراء. لا تشمل استدعاءات الأدوات إجراءات واجهة المستخدم العادية فحسب، بل تشمل أيضًا عمليات الذاكرة مثل memory_add وmemory_update وmemory_delete. وهذا يعني أن إدارة السياق تتم بواسطة نفس نموذج السياسة متعدد الوسائط في عملية استدلال أمامي واحدة.
وجد الباحثون أن تطبيق بروتوكول ConAct على النماذج الحالية لا يؤدي تلقائيًا إلى تحسين الأداء. أظهرت التجارب التي أجريت بدون تدريب إضافي (zero-shot) على نماذج Qwen3-VL بأحجام مختلفة أن النموذج الأقوى فقط، Qwen3-VL-235B-Thinking، استفاد بشكل ملحوظ من ConAct، بينما انخفض أداء النماذج الأصغر حجمًا أو نموذج 235B-Instruct عند استخدام ConAct في وضع zero-shot. وهذا يؤكد أن إدارة السياق الاستباقية ليست مجرد خدعة في كتابة المطالبات (prompting)، بل يجب على النموذج أن يتعلم متى يضغط التاريخ، ومتى يكتب في ذاكرة واجهة المستخدم، وكيف يولد أوصافًا قابلة لإعادة الاستخدام للخطوات.
في مرحلة جمع البيانات، استخدم المؤلفون Qwen3-VL-235B-Thinking كنموذج معلم (teacher model)، وقاموا بتنفيذ المهام في بيئة Android باتباع بروتوكول ConAct الكامل. ثم، من خلال التصفية على مستوى المسار والتصفية على مستوى معقولية الخطوة، تأكدوا من عدم وجود خطوات زائدة أو خاطئة أو ملتوية في بيانات التدريب الخاضعة للإشراف.
تم استخراج 57951 خطوة تدريب معقولة و6479 خطوة اختبار معقولة من مجموعة البيانات هذه. من الناحية الإحصائية، يبلغ متوسط طول المسار في MemGUI-3K 28.8 خطوة، والوسيط 25 خطوة؛ 23.8% من عمليات الطي كانت على مستوى النطاق، أي ضغط عدة خطوات في ملخص مهمة فرعية واحدة.
يقدم التقرير التجريبي نوعين من إعدادات الوكيل: النوع الأول هو MemGUI-Agent-235B، الذي يحافظ على أوزان Qwen3-VL-235B-Thinking دون تغيير ويستخدم بروتوكول ConAct في إعداد zero-shot؛ النوع الثاني هو MemGUI-8B-SFT، الذي يبدأ من Qwen3-VL-8B-Instruct ويخضع لتدريب LoRA SFT على MemGUI-3K. على معيار MemGUI-Bench، حقق MemGUI-Agent-235B نسبة Pass@1 بلغت 37.5%، وPass@3 بلغت 62.5%، وIRR بلغت 46.8%. مقارنة بخط الأساس ReAct على نفس البنية الأساسية 235B، ارتفعت Pass@1 بمقدار 13.3 نقطة مئوية، وPass@3 بمقدار 15.6 نقطة مئوية، وIRR بمقدار 16.8 نقطة مئوية. كما حقق أداءً إجماليًا أقوى مقارنة بسير العمل الوكيل (agentic workflow) المعتمد على Gemini-2.5-Pro.
على معيار MobileWorld GUI-Only، حقق MemGUI-Agent-235B نسبة نجاح بلغت 29.1%، وهي أعلى بـ 14.6 نقطة مئوية من خط الأساس Qwen3-VL-235B-Thinking. حقق MemGUI-8B-SFT نسبة نجاح بلغت 17.9%، وهي أعلى بـ 8.5 نقاط مئوية من Qwen3-VL-8B-Instruct، وتجاوزت أيضًا نسبة OpenMobile-8B البالغة 17.7%.
أجريت تجارب إزالة المكونات على MemGUI-Bench-40. كانت نسبة Pass@1 لخط الأساس ReAct 5.0% فقط. بعد إضافة عمليات ذاكرة واجهة المستخدم بشكل منفرد، ارتفعت Pass@1 إلى 17.5%؛ بعد إضافة طي التاريخ بشكل منفرد، ارتفعت Pass@1 إلى 22.5%؛ بعد إضافة خطوات الوصف الذاتي بشكل منفرد، ارتفعت Pass@1 إلى 25.0%. حقق ConAct الكامل نسبة Pass@1 بلغت 40.0%، وPass@3 بلغت 62.5%، وIRR بلغت 51.0%. تعالج هذه المكونات الثلاثة مشكلات مختلفة: يتحكم طي التاريخ في نمو السياق، وتحفظ ذاكرة واجهة المستخدم الحقائق الدقيقة، وتوفر خطوات الوصف الذاتي مادة خام موثوقة للذاكرة والطي اللاحقين.
تظهر الحالات الدراسية أنه في مهام واجهة المستخدم الطويلة على الهاتف، غالبًا ما تظهر المعلومات الرئيسية لفترة وجيزة فقط في صفحة وسيطة، لكن الوكيل يحتاج إلى استخدامها بدقة بعد عشرات الخطوات أو حتى بعد التبديل بين التطبيقات. تتمثل طريقة MemGUI-Agent في: الكتابة بنشاط في ذاكرة واجهة المستخدم عند رؤية حقيقة رئيسية، وطي التاريخ إلى تاريخ مضغوط (compact history) بعد إكمال مهمة فرعية، مما يسمح للنموذج بقراءة الحالة المنظمة مباشرة واستخدام المعلومات التي شوهدت سابقًا في التطبيقات اللاحقة.
يظهر تصنيف حالات الفشل أنه في إعداد إزالة المكونات بدون تدريب إضافي (zero-shot) على MemGUI-Bench-40، خفض ConAct الكامل إجمالي عدد الإخفاقات من 99 إلى 58، أي بانخفاض قدره حوالي 41%. من بينها، انخفضت هلوسة العملية من 52 إلى 30، وانخفضت هلوسة المخرجات من 30 إلى 13، وكان هذا التحسن هو الأكثر وضوحًا. يشير هذا إلى أن ConAct يعالج بشكل أساسي الهلوسة الناجمة عن السياق، بينما كان التحسن في نقص المعرفة وفهم النية أقل، مما يشير إلى أن معرفة النموذج بالتطبيقات، وفهم نية المهمة، ومتانة البيئة لا تزال تمثل عنق زجاجة للتطورات اللاحقة.
بالنسبة لمهام الأتمتة المحمولة طويلة المدى، فإن دفع مشكلة الذاكرة لوكلاء واجهات المستخدم من الوحدات الخارجية إلى داخل نموذج السياسة، بحيث لا يقوم الوكيل بتنفيذ الإجراءات فحسب، بل يتعلم أيضًا إدارة عملية التنفيذ نفسها، هو خطوة مهمة من مجرد القدرة على النقر إلى القدرة على إنجاز المهام.
