أخبار ar.wedoany.com، أطلقت مجموعة GEAR التابعة لشركة NVIDIA، بالتعاون مع فريق البروفيسورة Li Feifei ومعهد جورجيا للتكنولوجيا، نظام Real2Sim المسمى SimFoundry. يقوم هذا النظام تلقائياً بإنشاء بيئة محاكاة روبوتية قابلة للتفاعل والتدريب والتقييم من مقطع فيديو واحد من العالم الحقيقي.
يستطيع SimFoundry، مع الحفاظ على وظائف الأشياء وإمكانياتها (Affordance) دون تغيير، استبدال الأشياء تلقائياً، وضبط تخطيط المشهد، وتوليد مهام تشغيل جديدة، مما يتيح توسيع مساحة شاسعة لا حدود لها تقريباً لتوليد بيانات المحاكاة من مقطع فيديو واحد. يعمل النظام على إكمال حلقة Real-to-Sim المغلقة التي تشمل توليد المشهد، وتوليد البيانات، وتقييم الاستراتيجيات، وتدريب الاستراتيجيات.
يعتمد تدريب استراتيجيات الروبوتات لفترة طويلة على بيانات عالية التكلفة من العالم الحقيقي، مما يجعل بيئات المحاكاة بديلاً قابلاً للتوسع. ومع ذلك، فإن بناء بيئات محاكاة تتمتع بقدرات تفاعل هندسي وفيزيائي واقعي لا يزال يتطلب قدراً كبيراً من النمذجة اليدوية. يستخدم SimFoundry نماذج إعادة البناء ثلاثي الأبعاد والتوليد لتحويل العالم الحقيقي بسرعة إلى بيئات جاهزة للمحاكاة (Sim-ready) تدعم التفاعل الفيزيائي.
يمكن للاستراتيجيات الروبوتية المدربة على البيانات التي يولدها SimFoundry أن تُنشر على الروبوتات الحقيقية بدون أي تدريب إضافي (Zero-shot)، محققةً الانتقال إلى العالم الحقيقي في مهام مثل التشغيل متعدد الخطوات، والتعاون بين ذراعين، وتشغيل الأشياء ذات المفاصل.
تنقسم عملية SimFoundry إلى ثلاث مراحل: الاستخراج (Extraction)، والتوليد (Generation)، والتعزيز (Augmentation). في مرحلة الاستخراج، بعد إدخال فيديو RGB، يقوم النظام بتحديد وتقسيم الأشياء في المشهد باستخدام أدوات مثل تقدير العمق ونماذج اللغة المرئية (VLM). تستخدم مرحلة التوليد نماذج 2D-to-3D لتوليد شبكات ثلاثية الأبعاد، وتستعيد وضعية الأشياء باستخدام نماذج مثل FoundationPose، وتستنتج بنية المفاصل للأشياء المفصلية، وتصدر في النهاية مشهد محاكاة يمكن استخدامه في محركات فيزيائية مثل IsaacLab، مكتملةً بذلك بناء التوأم الرقمي (Digital Twin).
تمثل مرحلة التعزيز (Augmentation) الابتكار الأساسي لـ SimFoundry. فهي تقوم تلقائياً، بناءً على التوأم الرقمي، بتوليد "أبناء عمومة رقميين" (Digital Cousins)، تتوسع من ثلاثة أبعاد: تغيير مظهر الأشياء وشكلها الهندسي مع الحفاظ على وظائفها (Object Cousins)؛ وضبط تخطيط الأشياء أو إضافة أشياء جديدة لتوليد مشاهد جديدة (Scene Cousins)؛ والاستنتاج التلقائي لمهام تشغيل جديدة بناءً على إمكانيات (Affordance) أشياء المشهد (Task Cousins).
تم التحقق من فعالية SimFoundry من خلال أبحاث على منصتين روبوتيتين و7 أنواع من مهام التشغيل. في تجارب تقييم الاستراتيجيات، أظهر أداء الروبوتات في SimFoundry توافقاً عالياً مع العالم الحقيقي، حيث بلغ متوسط معامل ارتباط بيرسون 0.911، ومتوسط أقصى انتهاك للترتيب (MMRV) 0.018. بعد إدخال "أبناء العم الرقميين"، ارتفع متوسط معدل نجاح المهام للروبوتات في العالم الحقيقي مقارنة باستخدام التوأم الرقمي فقط بنسبة 17% (Object Cousins)، و21% (Scene Cousins)، و40% (Task Cousins) على التوالي.
يضم مؤلفو هذه الورقة البحثية باحثين من NVIDIA GEAR، ومعهد جورجيا للتكنولوجيا، وجامعة ستانفورد، وجامعة تكساس في أوستن، وجامعة تورنتو، وغيرها من المؤسسات. من بين الباحثين الرئيسيين: المؤلف الأول Nadun Ranawaka Arachchige، وJosiah Wong، وJiangyun Fan، وTianyuan Dai، وMasoud Moghani، وHang Yin، بالإضافة إلى Jim Fan، وLi Feifei، وXu Danfei، وZhu Yuke، وAjay Mandlekar، وRuohan Zhang، وWenbowen وآخرين.
