أخبار ar.wedoany.com، في 13 يوليو، أعلنت شركة "سينس تايم" الصينية رسمياً عن إطلاق نموذج "سينس نوفا-فيجن" (SenseNova-Vision) الموحد للفهم والتوليد البصري، وذلك كجزء من سلسلة نماذجها "ري ريكسين" (Ri Ri Xin). يقدم النموذج قدرات موحدة لمهام متعددة تشمل الكشف عن الأهداف، التعرف البصري على الأحرف، تجزئة الصور، تقدير العمق، تقدير الخطوط العمودية للسطح، الهندسة متعددة الزوايا، وتقدير وضعية الكاميرا. على عكس المسارات التقنية السابقة التي كانت تتطلب نماذج ورؤوس تنبؤ وأجهزة فك تشفير منفصلة لكل مهمة بصرية، يقوم "سينس نوفا-فيجن" بتحويل فئات متعددة من مهام الرؤية الحاسوبية إلى مشاكل توليد نص، أو توليد صورة، أو توليد هجين بين النص والصورة، مما يسمح للقدرات الإدراكية البصرية بالدخول مباشرة إلى نظام الإدخال والإخراج للنماذج متعددة الوسائط العامة.
لا يقتصر المحتوى المفتوح على أوزان النموذج فحسب. فقد أصدرت "سينس تايم" نموذج "سينس نوفا-فيجن-7B-MoT"، وكود الاستدلال، والتقرير الفني، بالإضافة إلى مجموعة البيانات البصرية "سينس نوفا-فيجن-كوربس-50M" (SenseNova-Vision-Corpus-50M). كما وفرت واجهات للاستدلال على الصور المفردة، والاستدلال التفاعلي، والعروض التوضيحية عبر الويب، ومعايير التقييم. وفقاً لسجلات المشروع الرسمية، تم رفع النموذج المذكور، ومجموعة البيانات، وكود الاستدلال، والتقرير الفني تباعاً على الإنترنت اعتباراً من 8 يوليو، وتم الإعلان الكامل عن معلومات الإصدار في 13 يوليو.
عادةً ما تقوم أنظمة الرؤية الحاسوبية التقليدية ببناء مسارات تقنية مستقلة لكل مهمة. فالكشف عن الأهداف يتطلب إخراج الفئات والمربعات المحيطة، وتجزئة الصور تتطلب إنشاء أقنعة على مستوى البكسل، وتقدير العمق يحتاج إلى حساب المسافة المكانية المقابلة لكل بكسل، وإعادة البناء ثلاثي الأبعاد يتطلب معالجة الصور متعددة الزوايا وخرائط النقاط ومعلمات الكاميرا. كانت هذه المهام تتطلب في السابق هياكل نماذج وأهداف تدريب ووحدات تنبؤ متخصصة وطرق معالجة بيانات مختلفة. يحاول "سينس نوفا-فيجن" إلغاء هذا الفصل بين النماذج للمهام المختلفة، بحيث لا يضيف فروعاً معمارية متخصصة للكشف أو التجزئة أو تقدير العمق أو التنبؤ الهندسي، بل يسمح لنفس النموذج بتحديد نوع المهمة والمنطقة المستهدفة وزاوية المشاهدة وقواعد الإخراج بناءً على تعليمات اللغة الطبيعية.
بعد التوحيد، لا تزال النتائج البصرية المختلفة تُعبر عنها بأشكال تناسب خصائصها. يمكن للنموذج توليد سجلات نصية مباشرة للمعلومات الهيكلية مثل فئات الأهداف، المربعات المحيطة، إحداثيات النقاط، نتائج التعرف على الأحرف، النقاط الرئيسية لجسم الإنسان، ومعلمات الكاميرا. أما النتائج على مستوى البكسل مثل أقنعة التجزئة، خرائط العمق، خرائط الخطوط العمودية للسطح، وخرائط النقاط ثلاثية الأبعاد متعددة الزوايا، فتُولد عبر شكل الصورة. بالنسبة للمهام المركبة التي تتطلب شرح فئة الهدف وإخراج منطقة التجزئة المقابلة، يمكن للنموذج توليد كل من النص والصورة في آن واحد، مما يسمح لواجهة تفاعلية واحدة بتغطية الفهم البصري الهيكلي، والتنبؤ الهندسي الكثيف، وتجزئة الصور، والهندسة البصرية متعددة الزوايا.
أصبحت تعليمات اللغة الطبيعية مدخلاً مهماً يربط بين مختلف المهام البصرية. يمكن للمطورين تحديد فئة الهدف المراد التعرف عليه، ولونه، ومنطقته، وزاوية المشاهدة، وتنسيق الإخراج من خلال أوصاف نصية، كما يمكنهم إضافة تلميحات بصرية لتحديد الكائن المراد معالجته، ثم يقوم النموذج بعد ذلك بتوليد نتائج قابلة للتحليل وفقاً للاتفاق المحدد. هذه الطريقة تجعل المهام البصرية غير مقيدة بالكامل بجداول الفئات الثابتة وتنسيقات التقييم المحددة مسبقاً، فعلى سبيل المثال، يمكن للمستخدمين دمج الشروط المتعلقة بالفئة واللون والمنطقة المحلية عبر اللغة، مما يشكل متطلبات معالجة بصرية أكثر مرونة من المهام الثابتة التقليدية.
لدعم طريقة التدريب الموحدة هذه، قامت "سينس تايم" ببناء مجموعة البيانات "سينس نوفا-فيجن-كوربس-50M". تقوم هذه المجموعة بتحويل التسميات البصرية الموزعة أصلاً عبر مهام مثل الكشف، التعرف على الأحرف، تحديد النقاط الرئيسية، تجزئة الصور، تقدير العمق، والهندسة متعددة الزوايا، إلى بنية عينة موحدة تتكون من "مدخل بصري، تعليمات لغة طبيعية، وإجابة قابلة لفك التشفير". تغطي الإجابات محتوى نصياً وصورياً وهجيناً بين النص والصورة. تستخدم عملية التدريب بشكل أساسي هذه المجموعة البصرية، مع إضافة بيانات مساعدة متعددة الوسائط، وذلك لتقليل فقدان قدرات الفهم العام وتوليد الصور أثناء تعزيز القدرات البصرية للنموذج.
من نطاق المهام المعلن عنه، يغطي "سينس نوفا-فيجن" حالياً أربع فئات رئيسية من القدرات البصرية. يشمل الفهم البصري الهيكلي: الكشف عن الأهداف، التحديد بالإشارة، التعرف على الأحرف، تحديد عناصر الواجهة، والتنبؤ بالنقاط الرئيسية. يشمل التنبؤ الهندسي الكثيف: تقدير العمق أحادي العين والتنبؤ بالخطوط العمودية للسطح. يغطي جزء التجزئة: التجزئة العامة، التجزئة بالإشارة، التجزئة الاستدلالية، التجزئة التفاعلية، ومهام التجزئة المصحوبة بأوصاف دلالية. أما الهندسة البصرية متعددة الزوايا فتشمل إعادة بناء خرائط النقاط ثلاثية الأبعاد وتقدير وضعية الكاميرا. تظهر نتائج المعايير الرسمية أن النموذج الواحد يمكنه منافسة بعض النماذج المتخصصة والنماذج البصرية العامة في تنسيقات الإخراج والمهام البصرية المختلفة، لكن الأداء ليس متسقاً تماماً عبر المهام المختلفة.
بعد إطلاق النموذج، يمكن للمطورين تشغيل الأمثلة المعدة مسبقاً عبر الكود الرسمي، أو تحديد نوع المهمة والتلميحات النصية والصور المدخلة لبدء استدلال فردي. كما توفر الشركة حلاً محلياً للعرض التجريبي عبر الويب يعتمد على Gradio. للعرض التجريبي الكامل، يُوصى باستخدام معالج رسومي بسعة ذاكرة 80 جيجابايت؛ ولتنفيذ جميع معايير التقييم، توصي الشركة بتجهيز خادم واحد على الأقل مزود بـ 8 معالجات رسومية بسعة 80 جيجابايت لكل منها. يشير هذا إلى أنه على الرغم من أن "سينس نوفا-فيجن" يوفر مدخلاً كاملاً للاستدلال، إلا أنه لا يزال يتطلب موارد حاسوبية عالية للنشر والتقييم على مستوى جميع المهام.
يوجد أيضاً حدود واضحة لترخيص الاستخدام. تخضع أوزان نموذج "سينس نوفا-فيجن" لترخيص CC BY-NC 4.0، وهو موجه بشكل أساسي للاستخدامات غير التجارية، كما تم وضع علامة على نفس الترخيص في صفحة مجموعة البيانات. أما الكود المصدري في مستودع GitHub الرسمي فيجب استخدامه وفقاً للترخيص المذكور في المستودع. لذلك، فإن "المصدر المفتوح الكامل" يعني بشكل أساسي أن النموذج، ومجموعة بيانات التدريب، وكود الاستدلال، والتقرير الفني، وطرق التقييم قد تم إتاحتها للمجتمع البحثي، ولا يعني أن جميع المحتويات يمكن استخدامها مباشرة في المنتجات التجارية دون قيود.
أدرجت "سينس تايم" أيضاً القيود الحالية في شرح النموذج. لا يعني النموذج الموحد أنه يتفوق على الأنظمة المتخصصة في كل مهمة تخصصية، فقد تحتفظ بعض النماذج المتخصصة بميزتها في معايير محددة. كما أن إخراج النص لا يزال يتطلب برامج تحليل مهيأة حسب المهمة، ونتائج الصور تحتاج أيضاً إلى فك تشفير وفقاً لبروتوكول التدريب. قبل استخدام نتائج مثل العمق، الخطوط العمودية للسطح، خرائط النقاط ثلاثية الأبعاد، وتقدير وضعية الكاميرا في سيناريوهات تتطلب درجة عالية من الأمان مثل الروبوتات، القيادة الذاتية، الفحص الصناعي، أو غيرها، يجب التحقق منها عبر أنظمة مستقلة، ولا يمكن الاعتماد على نتائج النموذج المولدة مباشرة كأساس للتحكم النهائي.
التغيير التقني الرئيسي الذي أنجزه "سينس نوفا-فيجن" هذه المرة هو إعادة تنظيم المهام البصرية الكلاسيكية الموزعة سابقاً إلى مهام توليد يمكن للنماذج متعددة الوسائط العامة معالجتها. لم يعد الكشف، التجزئة، تقدير العمق، والهندسة ثلاثية الأبعاد تمثل أنظمة منعزلة، بل تشترك في مساحة تعليمات اللغة الطبيعية، والمدخلات البصرية، وتوليد النص والصورة، مما يوفر مساراً جديداً لدمج الإدراك البصري، فهم اللغة، توليد الصور، والاستدلال المكاني بشكل أكبر في نفس النموذج الأساسي.
