أخبار ar.wedoany.com، أعلنت شركة إنفيديا الأمريكية مؤخراً عن فتح مصدر نموذج Nemotron-Labs-TwoTower، الذي يعمل على تحسين كفاءة توليد النصوص في النماذج الكبيرة من خلال بنية البرجين المزدوجين. يحافظ هذا النموذج في الاختبارات على 98.7% من جودة الأداء مقارنة بالنموذج الأساسي الانحداري، مع تحقيق زيادة في الإنتاجية الفعلية بمقدار 2.42 ضعفاً. وقد تم إتاحة الأوزان ذات الصلة على منصة Hugging Face الأمريكية.
يتمثل التركيز التقني لنموذج TwoTower في فصل مهمتين رئيسيتين في نماذج اللغة التقليدية، وهما "فهم السياق" و"توليد الرموز الجديدة". تعتمد معظم النماذج الانحدارية على التوليد المتسلسل رمزاً تلو الآخر، حيث لا يمكن للرمز التالي الدخول في عملية الإخراج المستقرة قبل اكتمال الرمز السابق. تحقق هذه الطريقة جودة عالية، لكنها تشكل عنق زجاجة في السرعة عند التعامل مع النصوص الطويلة، وتوليد الأكواد البرمجية، ومهام الوكلاء الذكيين، والخدمات عالية التزامن. يقترح نموذج TwoTower من إنفيديا تقسيم النموذج إلى برج السياق وبرج إزالة الضوضاء: يتولى برج السياق قراءة المطالبات والنصوص الموجودة، مع الحفاظ على قدرة النموذج الانحداري على فهم الدلالات والمنطق والسياق؛ بينما يتولى برج إزالة الضوضاء التصحيح التكراري للكتل الضوضائية، مما يسمح بتقدم عملية توليد النصوص بطريقة أقرب إلى التوازي.
من الناحية الهيكلية، يُبنى نموذج Nemotron-Labs-TwoTower على أساس Nemotron-3-Nano-30B-A3B، ويتكون إجمالاً من برجين نموذجيين بحجم حوالي 30B، ويعتمد بنية هجينة من Mamba-Transformer MoE. يظل برج السياق مجمداً، ويتولى بشكل أساسي مهمة تمثيل السياق "للقراءة فقط"؛ بينما يتم تدريب برج إزالة الضوضاء بشكل منفصل، ويستخدم آلية الانتباه ثنائي الاتجاه على مستوى الكتل والانتباه المتقاطع طبقة تلو الأخرى لقراءة المعلومات الدلالية من برج السياق، ثم إجراء التوليد وإزالة الضوضاء على مستوى الكتل. يتجنب هذا التصميم تحمل شبكة واحدة مسؤولية تمثيل السياق وإزالة الضوضاء التكرارية في آن واحد، كما يسمح بإعادة استخدام قدرات النموذج الانحداري المُدرَّب مسبقاً، دون الحاجة إلى تدريب نموذج لغة انتشار من الصفر.
على مستوى التدريب والكفاءة، لا تقتصر قيمة TwoTower على تحسين سرعة الاستدلال. تشير المعلومات الواردة في الورقة البحثية إلى أن النموذج تم تدريبه باستخدام حوالي 2.1 تريليون رمز، وتم تكييفه على أساس نموذج مفتوح الأوزان ببنية هجينة بحجم 30B. مقارنة بمشكلة انخفاض الفهم الدلالي التي تظهر غالباً في نماذج اللغة الانتشارية التقليدية، يحافظ TwoTower على معرفة النموذج الحالي باللغة والسياقات الطويلة داخل النظام من خلال الاحتفاظ ببرج السياق الانحداري المجمد، ثم يترك لبرج إزالة الضوضاء معالجة مشكلة التوليد المتوازي. بمعنى آخر، لا يقتصر الأمر على التضحية بالجودة من أجل السرعة، بل إعادة تصميم عملية التوليد من خلال توزيع المهام بين النماذج.
إن تسريع توليد الرموز بمقدار 2.42 ضعفاً له أهمية مباشرة للمطورين والنشر المؤسسي. بعد دخول تطبيقات النماذج الكبيرة في مجالات الوكلاء الذكيين، والبرمجة بالذكاء الاصطناعي، والإجابة على استفسارات العملاء، وتوليد قواعد المعرفة، ومعالجة المستندات الطويلة، تؤثر سرعة الإخراج على وقت انتظار المستخدم، وقدرة التزامن في الخدمة، وتكاليف الاستدلال. قد تتضمن مهمة وكيل ذكي واحدة تخطيطاً متعدد الجولات، واستدعاء أدوات، وتوليد أكواد، والتحقق من النتائج، وإخراج التفسيرات. كلما كانت سرعة توليد الرموز أبطأ، زاد الوقت الإجمالي للمهمة؛ وإذا تمكن النموذج من زيادة الإنتاجية مع الحفاظ على جودة قريبة من الأصل، فإن ذلك يسمح لنفس الأجهزة بتحمل المزيد من الطلبات، أو تقليل زمن الاستجابة لنفس عدد الطلبات.
كما أن فتح المصدر هذا يجعل TwoTower ليس مجرد بنية معملية. يُظهر صفحة Hugging Face الأمريكية أنه يمكن تحميل نموذج Nemotron-Labs-TwoTower-30B-A3B-Base-BF16 عبر Transformers، كما يمكن نشره باستخدام vLLM وSGLang وDocker Model Runner وغيرها من الطرق. بالنسبة للباحثين، فإن الأوزان المفتوحة تسهل إعادة إنتاج التجارب، ومقارنة أنماط فك التشفير، واستكشاف أداء نماذج اللغة الانتشارية في توليد النصوص الطويلة؛ وبالنسبة لفرق الهندسة، يمكن للنموذج مفتوح المصدر الدخول إلى بيئة الاختبار المحلية لتقييم تكاليف الاستدلال، واستهلاك الذاكرة، وإنتاجية الخدمة، واستقرار الجودة.
ومع ذلك، لا يعني TwoTower أن جميع مهام النصوص ستحصل بشكل غير مشروط على تحسن في التجربة بمقدار 2.42 ضعفاً. تتأثر السرعة الفعلية بتكوين الأجهزة، وحجم المعالجة المجمعة، وطول السياق، واستراتيجية فك التشفير، وإطار النشر، ونوع المهمة. بالنسبة للأسئلة والأجوبة القصيرة، أو السيناريوهات منخفضة التزامن، أو المهام التي تعتمد بشكل كبير على ترتيب التوليد، قد لا تكون الفائدة واضحة كما في توليد النصوص الطويلة، وإكمال الأكواد، والإخراج متعدد الخطوات للوكلاء الذكيين. كما أن الحفاظ على 98.7% من الجودة يعني وجود بعض الفقد في القدرات، خاصة في المهام التي تتطلب الرياضيات، أو الأكواد، أو الاستدلال الدقيق، حيث يحتاج المطورون إلى التحقق من صحة النموذج باستخدام بيانات أعمالهم الخاصة.
يعكس فتح مصدر TwoTower من إنفيديا أن المنافسة في مجال النماذج الكبيرة تنتقل من التوسع في عدد المعاملات إلى مرحلة أعمق تتعلق بكفاءة التوليد، وتكاليف الاستدلال، وقدرات النشر الهندسي. يمكن لسرعة توليد الرموز الأسرع أن تجعل تطبيقات الذكاء الاصطناعي أقرب إلى التفاعل في الوقت الفعلي؛ كما أن دعم الأوزان المفتوحة وأطر النشر الرئيسية يتيح للشركات فرصة اختبار البنية الجديدة على أجهزتها الخاصة وفي سير عملها. لا يهدف TwoTower إلى استبدال جميع النماذج الانحدارية، بل إلى تقديم مسار توليد جديد لسيناريوهات النصوص الطويلة، والتزامن العالي، والوكلاء الذكيين، والاستدلال المحلي: الحفاظ على قدرة فهم السياق للنماذج الحالية، مع استخدام آلية إزالة الضوضاء الانتشارية لحل عنق الزجاجة في سرعة التوليد رمزاً تلو الآخر.
