فريق يانغ شو من جامعة هاربين للتكنولوجيا الصينية يطلق نموذجًا عالميًا للمس في الروبوتات بنسبة نجاح 65% دون مؤثرات خارجية

أخبار ar.wedoany.com، أطلق فريق يانغ شو من جامعة هاربين للتكنولوجيا (شنتشن) نموذج "TouchWorld" العالمي للمس، والذي يهدف إلى تمكين الروبوتات من توقع التغيرات البصرية والاستفادة من التغذية الراجعة اللمسية لتصحيح الحركات أثناء أداء المهام البراعة. يمثل إطلاق TouchWorld مرحلة جديدة في المسار التقني الذي يركز على حاسة اللمس الذي يتبعه الفريق، والذي سبق أن طور أداة EgoTouch لحل مشكلة جمع بيانات اللمس، وأداة TouchAnything لاستعادة المعلومات اللمسية من مقاطع الفيديو بمنظور الشخص الأول. تشكل هذه الأعمال الثلاثة سلسلة متكاملة تمتد من جمع البيانات، مرورًا بتوسيعها، وصولًا إلى تطبيق النماذج.

يشغل يانغ شو حاليًا منصب أستاذ متفرغ ومشرف دكتوراه في كلية علوم وهندسة الحاسوب بجامعة هاربين للتكنولوجيا (شنتشن)، وهو أيضًا المؤسس والرئيس التنفيذي لشركة "فينيس إيه آي" (PHANES AI). تهدف الشركة إلى دمج بيانات الفيديو البشري مع نمط الإدراك اللمسي لبناء نموذج عالمي للتحكم البرع في الحركة الكاملة للروبوتات البشرية، وإنشاء سلسلة قدرات متكاملة من البيانات والنماذج إلى التحكم. ترى الشركة أنه قبل دخول الروبوتات إلى سيناريوهات التشغيل الحقيقية، لا تزال عناصر مثل بيانات اللمس، والنماذج العالمية للمس، والتحكم بالتغذية الراجعة للأيدي البرعة في مراحل غير ناضجة تقنيًا، وتسعى من خلال التركيز على بيانات اللمس إلى ربط هذه القدرات ببعضها البعض.

من منظور مسار البحث، فإن أحد الأسئلة الجوهرية التي يركز عليها فريق يانغ شو هو مصدر بيانات تعلم الروبوتات. في مجال الذكاء الجسدي، أصبحت بيانات التشغيل البشري المتواصلة في العالم الحقيقي مدخلاً هامًا لتعلم الروبوتات. تشير أعمال مثل NVIDIA EgoScale وGeneralist/Gen-1 إلى أن التدريب المسبق على نطاق واسع باستخدام البيانات البشرية، متبوعًا بالتدريب اللاحق بكمية صغيرة من بيانات الروبوتات الحقيقية، يمكن أن يحسن معدل نجاح الروبوتات في المهام الطويلة والمعقدة. لكن الفريق يشير إلى أن هذا المسار يفتقر إلى المعلومات اللمسية. فمقاطع الفيديو بمنظور الشخص الأول تمكن الروبوت من ملاحظة كيفية تشغيل البشر، لكنها لا توفر معلومات حاسمة مثل ضغط الأصابع، أو ما إذا كان الجسم ينزلق، أو ما إذا كان التلامس مستقرًا. ترى شركة "فينيس إيه آي" أن الروبوت يحتاج إلى فهم ما يحدث عند تلامس اليد مع الجسم، وهذا هو السبب وراء تطويرها لسلسلة أعمال EgoTouch وTouchAnything وصولاً إلى TouchWorld.

تنقسم الوظيفة الأساسية لـ TouchWorld إلى جزأين: التنبؤي (predictive) والتفاعلي (reactive). يشير الجزء التنبؤي إلى أن الروبوت لا يجب أن يتوقع المشهد المستقبلي فحسب، بل يجب أن يتوقع أيضًا حالة التلامس التي ينبغي أن تتشكل في المستقبل. على سبيل المثال، في مهمة الضغط على زر زجاجة رش، يصعب الحكم على ما إذا تم الضغط بالشكل الكافي من خلال الصورة فقط، بينما يتيح توقع الهدف اللمسي للروبوت معرفة التلامس والضغط الذي يجب أن يمارسه الإصبع عند إكمال المهمة الفرعية. أما الجزء التفاعلي فيشير إلى التصحيح عالي التردد عبر التغذية الراجعة اللمسية. ففي التشغيل الحقيقي، قد ينزلق الجسم أو لا تثبت قبضة الأصابع، ويحتاج الروبوت إلى تعديل حركاته بسرعة بناءً على التغذية الراجعة اللمسية اللحظية، بدلاً من انتظار إعادة تخطيط النموذج الأعلى. في تصميم TouchWorld، يكون تردد استدلال الوحدة التفاعلية أربعة أضعاف تردد النموذج العالمي للمس، ويخرج كل مرة مقدار تصحيح.

تم اختبار TouchWorld في ست مهام روبوتية حقيقية: ري النباتات، تنظيف الطاولة، إدخال قابس الكهرباء، إدخال كوب، مسح قدر، وسحب منديل ورقي. في بيئة خالية من المؤثرات الخارجية، بلغ متوسط معدل النجاح 65.0%؛ وفي سيناريوهات تم فيها إضافة مؤثرات خارجية بشكل متعمد، بلغ متوسط معدل النجاح 57.2%. مقارنة بأساليب مثل Pi-0.5 وFTP-1 وGR00T N1.7، تفوق TouchWorld على النموذج الأساسي الأفضل أداءً بين الأساليب المقارنة بنسبة 15.7 و16.0 نقطة مئوية في كلا الإعدادين على التوالي. تؤكد هذه النتائج أنه عند دخول المهمة في مرحلة التلامس، يمكن لتوقع الهدف اللمسي والتصحيح عالي التردد عبر التغذية الراجعة أن يعززا استقرار تشغيل الروبوت، مما يثبت أن حاسة اللمس يمكن أن تدخل في النماذج العالمية للروبوتات واستراتيجيات التشغيل، وليس فقط في قراءات أجهزة الاستشعار.

تشير شركة "فينيس إيه آي" إلى أن التشغيل البرع باللمس هو مشكلة نظامية لا يمكن حلها بنموذج واحد. أثناء عملية التطوير، واجه الفريق نقصًا في حلول اللمس الناضجة للأيدي البرعة عالية الدرجات من الحرية، فقام بقص قفازات لمسية وتثبيتها على يد روبوتية خماسية الأصابع، لكنه واجه مشاكل مثل سهولة تلف القفازات، وارتفاع حرارة اليد الروبوتية مما يسبب انحرافًا في النظام، وارتفاع ضوضاء البيانات، وانخفاض كفاءة الجمع. لذلك، استثمرت الشركة في البنية التحتية للبيانات، وتقوم حاليًا ببناء منصة منخفضة التكلفة ومريحة ومحمولة لجمع البيانات متعددة الوسائط، تدمج معلومات مثل الرؤية بمنظور الشخص الأول، ورؤية المعصم، ووضعية اليد، واللمس لكامل راحة اليد، ووضعية الجسم بالكامل، بهدف تمكين الروبوت من الحصول على بيانات أقرب إلى الإحساس الحقيقي لليد البشرية.

تطمح شركة "فينيس إيه آي" إلى استكمال القدرات النظامية حول التشغيل البرع في الحركة الكاملة للروبوتات البشرية، بما في ذلك جمع بيانات اللمس، وتقدير اللمس، والنموذج العالمي للمس، والتحكم عن بعد والأساسيات المادية، ونظام التقييم، ونموذج التشغيل البرع في الحركة الكاملة. ينتقل مسارها التقني من حل مشكلة مصدر بيانات اللمس عبر EgoTouch وTouchAnything، إلى تحقيق التنبؤ باللمس واستخدامه عبر TouchWorld، وصولاً إلى HumanWBC الذي يهدف إلى حلقة مغلقة من الإدراك والفهم، والحركة الذاتية، والتحكم الكامل بالجسم، والتشغيل البرع، مما يمكن الروبوت من الانتقال من مجرد القدرة على الرؤية إلى القدرة على التحرك نحو الهدف، والإمساك به، وإكمال المهمة.

تم نشر ورقة TouchWorld على arXiv (arxiv.org/abs/2607.07287)، والصفحة الرئيسية للمشروع هي phanes-lab.github.io/TouchWorld-website/. كما تم نشر ورقة TouchAnything (arxiv.org/abs/2605.13083) وصفحتها الرئيسية (jianyi2004.github.io/TouchAnything-Website/).