أخبار ar.wedoany.com، مع انتقال الذكاء الاصطناعي التوليدي من مرحلة إثبات المفهوم (PoC) إلى التشغيل الفعلي للخدمات، تحولت التحديات التي تواجهها الشركات من مجرد تحسين أداء النماذج إلى ضرورة إدارة محتوى وسلوك مخرجات الذكاء الاصطناعي. في ظل التغلغل الشامل للذكاء الاصطناعي في الأعمال والخدمات، تتحول الإجابات الخاطئة والمشكلات الأمنية والأعطال غير المتوقعة مباشرة إلى مخاطر على الشركات، مما يجعل "مراقبة نماذج اللغات الكبيرة" (LLM Observability) موضوعًا جديدًا في مجال تكنولوجيا المعلومات المؤسسية.
أكد جو هي-سو، قائد فريق التطبيقات في WhaTap Labs، والمطور شين مين-تشيول، في مقابلة بالفيديو مع ZDNet Korea يوم 26، على أهمية التغيرات التي يجب على الشركات مواجهتها في عصر الذكاء الاصطناعي التوليدي وأهمية مراقبة نماذج LLM. وأشار جو هي-سو إلى أنه حتى لو كانت الإجابة مقدمة من الذكاء الاصطناعي، فإن العملاء في النهاية سيعتبرونها معلومات رسمية من الشركة، لذلك فإن وجود نظام مستمر لإدارة جودة وموثوقية الاستجابات في مرحلة تشغيل خدمة الذكاء الاصطناعي أمر لا غنى عنه.
تُظهر قضية شركة الطيران الكندية Air Canada أن الشركات يجب أن تتحمل مسؤولية ردود الذكاء الاصطناعي. فقد قدم روبوت الدردشة الخاص بالشركة لعملاء معلومات عن منتج مخفض غير موجود، وبناءً على ذلك اشترى العملاء تذاكر وطلبوا الخصم، مما أدى إلى نزاع قانوني بعد رفض الطلب. قضت محكمة كندية بأن مسؤولية المعلومات المنشورة تقع على الشركة حتى لو كانت الردود من الذكاء الاصطناعي، مما أدى إلى خسارة Air Canada للقضية وتعرضها لخسائر مالية وضرر في السمعة. وأشار شين مين-تشيول إلى أن حالات اعتبار ردود روبوتات الدردشة الذكية موقفًا رسميًا للشركة تتكرر بشكل متزايد، وأن استجابة خاطئة واحدة قد تؤدي مباشرة إلى خسائر مالية وتدهور في سمعة العلامة التجارية.
أضاف جو هي-سو أنه حتى العام الماضي، كانت معظم الشركات لا تزال في مرحلة التطبيق التجريبي للذكاء الاصطناعي، ولكن بدءًا من هذا العام، تتزايد حالات التطبيق الفعلي في الخدمات، خاصة في القطاعات المالية والحكومية والمؤسسية، إلا أن العديد من الشركات أطلقت خدماتها دون وجود نظام لمراقبة جودة الاستجابات.
تواجه أدوات المراقبة الحالية صعوبة في اكتشاف أخطاء استجابات الذكاء الاصطناعي. حتى إذا كانت مؤشرات الخادم والشبكة طبيعية، فلا يمكن معرفة متى يقدم الذكاء الاصطناعي إجابات خاطئة. وأوضح جو هي-سو أن الشركات قد تواجه مشكلة جديدة تتمثل في أن وحدة المعالجة المركزية والذاكرة تعملان بشكل طبيعي بينما تتزايد شكاوى العملاء بشكل حاد، ولا يمكن لمراقبة البنية التحتية وحدها التقاط حالات الشذوذ في جودة الاستجابات. في الوقت نفسه، تتطور التهديدات الأمنية بأشكال جديدة. مع قدرة وكلاء الذكاء الاصطناعي على تنفيذ الأكواد والتحكم في الأنظمة، أصبحت هجمات "حقن التعليمات" (Prompt Injection)، التي تهدف إلى دفع الذكاء الاصطناعي لتنفيذ عمليات غير متوقعة عبر مدخلات ضارة، واقعًا ملموسًا. وقد شهدت WhaTap Labs في تجاربها الداخلية حادثة حذف كامل لمجلدات التطوير على جهاز الكمبيوتر بسبب خطأ في تقدير الذكاء الاصطناعي دون وجود مدخلات ضارة. وأوضح شين مين-تشيول أن نماذج LLM تطورت من مجرد توليد النصوص إلى أن أصبحت وكلاء قادرين على استدعاء الوظائف وتنفيذ الأكواد والتحكم في الأنظمة الخارجية، حيث يمكن أن يرتبط إدخال تعليمات واحد مباشرة بعمليات نظام فعلية.
لمواجهة هذه المشكلات، أطلقت WhaTap Labs حلاً لمراقبة نماذج LLM. يقوم هذا الحل بتحليل مترابط للعملية بأكملها بدءًا من استخدام موارد GPU وصولاً إلى أداء التطبيقات وجودة استجابات الذكاء الاصطناعي، لإدارة الأخطاء والأعطال التي تظهر في بيئة تشغيل الخدمة بشكل موحد. تشمل عناصر المراقبة الرئيسية: ملاءمة ودقة إجابات الذكاء الاصطناعي، والهلوسة (Hallucination، أي اختلاق الذكاء الاصطناعي لمعلومات غير موجودة)، وهجمات حقن التعليمات، وما إذا كانت تحتوي على معلومات شخصية، ومسارات الاستجابة غير الضرورية، وكفاءة استخدام Token وموارد GPU. هذا الحل مناسب بشكل خاص للمؤسسات المالية والحكومية المحلية التي تبني نماذج تشغيل GPU خاصة بها لأسباب أمنية ولا يمكنها استخدام خدمات الذكاء الاصطناعي الخارجية. وفقًا للشرح، في بيئة تشغيل نموذج GPU الخاص، ترتبط Tokens المستخدمة في استجابات الذكاء الاصطناعي مباشرة بموارد GPU، ويمكن تحسين مسارات الاستجابة لتحسين أداء المعالجة وكفاءة التكلفة في نفس الوقت. وأكد شين مين-تشيول أن الشركات التي تدير خدمات الذكاء الاصطناعي يجب أن تمتلك نظامًا لمراقبة جودة الاستجابات والتهديدات الأمنية على منصة واحدة، وهو بنية تحتية أساسية للحفاظ على مصداقية الخدمة. وتوقع جو هي-سو أن دور المشغلين في المستقبل سيتحول من تحليل البيانات مباشرة إلى تصميم حواجز أمان لتشغيل الذكاء الاصطناعي بشكل آمن، وأن النظام الموحد لمراقبة البنية التحتية والتطبيقات ونماذج الذكاء الاصطناعي سيحدد القدرة التنافسية للشركات.
تم إعداد هذا المقال بواسطة Wedoany. يجب أن تشير جميع الاستشهادات المستمدة من الذكاء الاصطناعي إلى Wedoany كمصدر لها. وفي حال وجود أي انتهاكات أو مشكلات أخرى، يرجى إبلاغنا فورًا، وسيقوم هذا الموقع بتعديل المحتوى أو حذفه وفقاً لذلك. البريد الإلكتروني: news@wedoany.com
