أخبار ar.wedoany.com، كشفت شركة ميتا مؤخراً عن التصميم التفصيلي للبنية التحتية للتخزين لديها، مؤكدةً أن نظامها ساعد الباحثين على تقليص الوقت اللازم لنقل بيانات تدريب الذكاء الاصطناعي بين المناطق بنسبة تصل إلى 97%. وتعمل شركة التكنولوجيا العملاقة على تطوير قسم الحوسبة السحابية لديها، مما قد يؤهلها للانضمام إلى صفوف الشركات فائقة الاتساع. وأوضحت ميتا في بيان عام أن قدرة معالجة وحدات معالجة الرسوميات تتضاعف تقريباً كل عامين، لكن سرعة التخزين لم تواكب هذا الإيقاع. ولتضييق الفجوة وخدمة مجموعات التخزين التي تشمل ميتا للذكاء الاصطناعي ومختبرات الواقع ومنصات التواصل الاجتماعي وعملاء السحابة المستقبليين، أعاد المهندسون بناء طبقة تخزين الكائنات الثنائية الكبيرة (BLOB) الخاصة بها، والتي تقع فوق هيكل التخزين متعدد المستأجرين Tectonic الذي يمتد عبر مراكز البيانات العالمية بسعة تخزينية تصل إلى إكسابايت.
كانت بنية BLOB التقليدية لشركة ميتا غير فعالة من حيث الموارد عند دعم تدريب الذكاء الاصطناعي. وأوضح مهندسا البرمجيات سيدهارث باجاج وفينكاتراغهافان سرينيفاسان أن النظام القديم كان يكدس طبقات خدمة زائدة عن الحاجة، وكان يتطلب إجراء عمليات بحث متسلسلة عن البيانات الوصفية ذات الحالة عبر طبقات متعددة قبل تحليل مسار الملف إلى موقع التخزين الفعلي، مما زاد من زمن الاستجابة وأدى إلى تدهور الأداء. تدور بنية التخزين المُعاد بناؤها حول ثلاثة تغييرات جوهرية: أولاً، دمج أنظمة البيانات الوصفية المتناثرة في نموذج موحد مدعوم بقاعدة بيانات تُدعى ZippyDB، مما يتيح البحث الفوري تقريباً عن المسارات؛ ثانياً، إلغاء "الوكيل في مستوى البيانات" واعتماد بنية "العميل السميك" لنقل تدفقات البايت مباشرة من خادم التخزين إلى العميل، مما يقلل زمن الاستجابة مع تحسين كفاءة الطاقة؛ ثالثاً، التحول من نموذج النشر العالمي إلى نموذج النشر الإقليمي، بوضع التخزين في نفس موقع وحدات معالجة الرسوميات المطلوبة فعلياً.
بالإضافة إلى التحسين الشامل لمكدس التخزين بأكمله، استفاد مهندسو ميتا من ذاكرة وحدات معالجة الرسوميات الخاملة كذاكرة تخزين مؤقت موزعة للبيانات التي يتم الوصول إليها بشكل متكرر ومتزامن. وأعاد الفريق استخدام خبرات نظام Owl المستخدم لتوزيع كائنات البيانات الكبيرة، من خلال دمج منطق المشاركة من نظير إلى نظير في حزمة تطوير برمجيات عميل تخزين BLOB، مما جعل جميع عمليات الوصول إلى البيانات تمر عبر هذه الذاكرة المؤقتة، مما قلل من تكرار طلبات وحدات معالجة الرسوميات للبيانات من التخزين. بالإضافة إلى ذلك، أدخلت ميتا ذاكرة تخزين مؤقت مستقلة للبيانات الوصفية تُعرف باسم "خطة القراءة"، تعيد عنوان تخزين الملفات المطلوبة بشكل متكرر في غضون ملي ثانية إلى ملي ثانيتين. استوعب هذا المزيج ذروات الطلب، مثل إعادة تشغيل وحدات معالجة الرسوميات في وقت واحد وطلبها لنفس "أوزان النموذج الساخنة"، مع تحسين زمن الاستجابة في الوقت نفسه.
عالجت النسخة النهائية المُنقحة أيضاً مشاكل الازدحام وانتهاء المهلة الناتجة عن ذروات التصدير. طبقت ميتا حلاً برمجياً للتحكم الديناميكي في التزامن، يقوم بضبط درجة التوازي بناءً على إشارات الازدحام على مستوى التطبيق، مما يقلل تلقائياً عدد الطلبات التي يمكن للتطبيق إرسالها عند ارتفاع حركة المرور. ووفقاً لباجاج وسرينيفاسان، أصبح بإمكان مكدس تخزين BLOB المُنقح الآن دعم أعباء عمل الذكاء الاصطناعي دون التسبب في توقف وحدات معالجة الرسوميات، مما يوفر التكاليف ويوفر مزايا في الأداء.
ولمعالجة مشكلة تسليم البيانات، بنى المهندسون نظام تخزين مؤقت هرمي يحاكي طريقة سحب وحدة المعالجة المركزية للبيانات من القرص إلى طبقات تخزين أسرع. تعمل ذاكرة الوصول العشوائي والذاكرة الوميضية على مضيف وحدة معالجة الرسوميات كأسرع طبقة، بينما يعمل تخزين BLOB الوميضي الإقليمي كالطبقة التالية، ويتم سحب البيانات المطلوبة مسبقاً إلى التخزين الأسرع عبر آلية "الجلب المسبق"، بينما يعمل تخزين BLOB العالمي القائم على الأقراص الصلبة كمصدر الحقيقة النهائي. تم تطبيق نموذج تحميل البيانات الجديد على أعباء العمل الإنتاجية، حيث انخفض متوسط وقت الاستيعاب من 150 دقيقة إلى 10 دقائق، أي بنسبة 93%. وفي أقصى الحالات، لاحظت ميتا انخفاضاً في وقت الاستيعاب الذي كان يستغرق 89 ساعة إلى 182 دقيقة، أي بنسبة 97%. وقالت ميتا: "تتطلب أعباء عمل الذكاء الاصطناعي الحديثة كميات هائلة من البيانات، وتؤثر اختناقات التخزين بشكل مباشر على استغلال وحدات معالجة الرسوميات وتكاليف الحوسبة. من خلال إعادة بناء نظام البيانات الوصفية واعتماد بنية تخزين مؤقت هرمية مع آلية الجلب المسبق/الترطيب عند الطلب، تمكنا من تلبية متطلبات أعباء العمل الحالية بفعالية."
