سوبر مايكرو الأمريكية تطلق بالتعاون مع IBM وNVIDIA حلاً للتخزين المؤقت لاستدلال الذكاء الاصطناعي

أخبار ar.wedoany.com، في 5 نوفمبر، أطلقت شركة سوبر مايكرو الأمريكية لتصنيع الخوادم، بالتعاون مع IBM وNVIDIA، حلاً لتخزين KV المؤقت لاستدلال الذكاء الاصطناعي، يجمع بين خوادم سوبر مايكرو Petascale للفلاش الكامل، وبرنامج التخزين IBM Storage Scale، وإطار الاستدلال NVIDIA Dynamo، وتقنية الإيثرنت Spectrum-X. وأجرى الأطراف الثلاثة اختبارات باستخدام نموذج لغوي كبير يضم 120 مليار معامل، وفي ظروف إدخال سياق طويل يبلغ 130 ألف Token، بلغت سرعة توليد أول Token في النظام المعتمد على التخزين المؤقت الدائم لـ KV ما يصل إلى 56 ضعفاً مقارنة بالحل دون تخزين مؤقت.

يعتمد الحل على خوادم Petascale للفلاش الكامل المدفوعة بمعالجات AMD EPYC 9005، ويبني طبقة تخزين مشتركة عبر إصدار الترميز التصحيحي من IBM Storage Scale. ويتولى NVIDIA Dynamo إدارة مهام الاستدلال الموزع والتخزين المؤقت لـ KV، بينما تربط مبدلات الإيثرنت Spectrum-X عقد الحوسبة بالمعالجات الرسومية GPU بعناقيد التخزين. ويمكن للنظام حفظ حالات KV المحسوبة مسبقاً في مساحة تخزين مشتركة خارج الذاكرة الرسومية، وإعادة استدعائها في طلبات الاستدلال اللاحقة.

في اختبارات السياق الطويل التي أجرتها سوبر مايكرو وNVIDIA بشكل مشترك، مع زيادة طول الإدخال من 30 ألف Token إلى 130 ألف Token، زاد زمن توليد أول Token في النظام المعتمد على التخزين المؤقت الدائم لـ KV بمقدار 0.377 ثانية فقط، بينما زاد في النظام المرجعي غير المزود بتخزين KV المؤقت بمقدار 29.55 ثانية. وتتوافق نتائج الاختبار مع النموذج المحدد وتكوين العتاد وظروف إعادة استخدام التخزين المؤقت.

كما أجرى الأطراف الثلاثة تحققاً على مستوى العنقود في بيئات التزامن العالي وتنافس موارد الشبكة. وأظهرت نتائج الاختبارات التقنية التي نشرتها IBM أنه بعد اعتماد بنية التخزين المؤقت المشترك لـ KV، ارتفعت إنتاجية الاستدلال المتزامن من 0.19 طلب في الثانية إلى 4.26 طلب في الثانية، أي نحو 22 ضعفاً مقارنة بالنظام المرجعي، وانخفض إجمالي زمن معالجة 200 طلب بنسبة 95%.

في اختبار ضغط الشبكة، ولّد أربعة عملاء متزامنين حركة مرور شبكية تنافسية بلغت إجمالاً 200 غيغابايت في الثانية. وحافظ النظام المعتمد على IBM Storage Scale على 3.6 طلب استدلال في الثانية، وأنجز 200 طلب في 55.56 ثانية، أي نحو 18 ضعفاً من إنتاجية الحل المرجعي القائم على إعادة حساب التخزين المؤقت بواسطة GPU.

كما توفر سوبر مايكرو لهذا الحل خدمات التكامل في المصنع على مستوى الحاملات والنشر الميداني، وتشمل التكوين المشترك للخوادم وبرامج التخزين ومعدات تبديل الشبكة وإطار الاستدلال. وأفادت الشركة بأن التكوينات المُتحقق منها مسبقاً يمكن أن تقلص دورة نشر البنية التحتية المعنية من أسابيع إلى أيام.