أخبار ar.wedoany.com، أطلقت شركة أنثروبيك في أبريل نموذج Mythos (كجزء من مشروع Glasswing، المخصص لاكتشاف وإصلاح الثغرات في البنية التحتية للإنترنت)، ثم أصدرت نسخته المقيدة Fable 5. وأوضحت أنثروبيك صراحةً أن Fable لن يدعم بعض مجالات البحث عالية المخاطر في مجالات الأمن السيبراني وعلم الأحياء والكيمياء. عند ورود طلبات تتعلق بهذه المجالات، سينتقل النموذج تلقائيًا من مستوى Fable إلى مستوى ذكاء Opus، مع إبلاغ المستخدم بحدوث هذا الانتقال.
يكمن جوهر الجدل في أن عملية خفض المستوى لا تكون مرئية للمستخدمين بالنسبة للباحثين العاملين في مجالات مثل تصميم الرقائق فائقة القوة أو نماذج اللغات الكبيرة (LLM) المتطورة. وصفت أنثروبيك هذا السلوك في بطاقة النظام المكونة من 319 صفحة، لكن لا توجد أي إشارة في واجهة المستخدم، ويحصل المستخدم فعليًا على مخرجات بمستوى Opus. وصفت مجلة Fortune هذا السلوك بأنه "تخريب سري"، بينما ذكرت Wired أن هذه الممارسة قد تعيق أبحاث الذكاء الاصطناعي. يعتبر Mythos وGlasswing أقوى بكثير من أداة Claude Security من أنثروبيك، والمصممة للعمل على Opus، والتي لا تزال قادرة على فحص قواعد البيانات البرمجية والمساعدة في اكتشاف بعض المشكلات.
صرحت سالي فنسنت، مهندسة أبحاث التهديدات المتقدمة في شركة تحليل الأمن Exabeam، عبر البريد الإلكتروني، بضرورة توخي الحذر بشأن الادعاءات المتعلقة بمقاومة الاختراق، مشيرةً إلى أن هذه النتائج "تمثل تقييمًا في نقطة زمنية معينة"، وأضافت أن "المهاجمين يتكيفون باستمرار". وقال روب تي لي، كبير مسؤولي الذكاء الاصطناعي ومدير الأبحاث في معهد SANS، في رسالة إلكترونية إلى ZDNET، إن Fable 5 هو "حل مبتكر وذكي، لكنه سيتعرض للهجوم. فالطبقة نفسها التي تمنع الاستخدام الخبيث تعيق أيضًا الأبحاث الدفاعية المشروعة." وأشار إلى أنه تم خفض مستواه إلى Opus 4.8 أثناء محاولته بناء مهارات في التحقيق الرقمي الجنائي، معتبرًا أنه "سواء كانت طريقة ذكية لمنع الجهات الفاعلة الخبيثة أم لا، فإنها تمنع أولئك الذين سيبنيون أدوات الجيل التالي من اكتساب قدرات دفاعية جديدة." وأضاف أيضًا أنه حتى في إطار Glasswing، يكون الوصول مقيدًا ومراقبًا، لكن في المؤسسات التي تضم آلاف الموظفين، قد يتم تحفيز أي منهم لتسليم حق الوصول إلى جماعات إجرامية.
في مواجهة الجدل، ردت أنثروبيك بأنها ستغير إجراءات السلامة في Fable 5 لجعلها مرئية. اعتبارًا من هذا الأسبوع، سيتم إرجاع الطلبات المميزة بشكل واضح إلى Opus 4.8، وستعيد الطلبات المميزة في واجهة API سبب الرفض. وأوضحت الشركة أن إجراءات السلامة الحالية "تغطي عددًا محدودًا من المهام الضيقة، مثل خطوط بيانات نماذج اللغات الكبيرة على المستوى المتطور وتطوير النواة لبعض الرقائق غير القياسية"، وأن هذه الإجراءات "تمنع الخصوم الأجانب من استخدام أقوى نماذجنا بطرق تشكل مخاطر أمنية خطيرة." وأضافت أنثروبيك: "لقد اتخذنا مقايضة خاطئة، ونعتذر عن عدم تحقيق التوازن الصحيح. بناء إجراءات السلامة هذه هو تحدٍ تقني معقد: بينما نحسّن هذه المصنفات لمواجهة التهديدات الجديدة، قد يواجه المستخدمون المزيد من النتائج الإيجابية الخاطئة. نحن نعمل جاهدين لتقليلها في أسرع وقت ممكن." عند اتخاذ قرار بشأن جعل خفض المستوى مرئيًا أم لا، واجهت الشركة خيارًا: "إجراءات السلامة المخفية أصعب في الكشف والالتفاف. وهذا يعني أنه يمكن ضبطها بشكل أكثر استهدافًا"، لكن تلك الإجراءات المخفية تم اكتشافها في غضون ساعات.
تُظهر بيانات الاستخدام الحالية أن المصنف يتم تفعيله في حوالي 0.05% من المهام، مما يؤثر على أقل من 0.05% من المؤسسات. قالت أنثروبيك إن إجراءات السلامة المرئية تتطلب نشر شبكة أوسع لتعزيز المتانة، مما يؤدي إلى وضع علامات خاطئة على المزيد من الطلبات، لكنها "لا تؤثر على الغالبية العظمى من أعمال البرمجة والتعلم الآلي." أشادت آشلي كاسوفان، المديرة الإدارية لمركز حوكمة الذكاء الاصطناعي في IAPP، بأنثروبيك لإبقاء Mythos لفترة كافية "لوضع الحواجز الوقائية اللازمة في برامجها"، مشيرةً في الوقت نفسه إلى أن "لم نرَ بعد التأثير الذي قد تحدثه هذه النماذج عند إطلاقها بهذا الحجم." وصف كريس بوم، المدير التقني الميداني لشركة Zero Networks المتخصصة في تجزئة الشبكات، هذا الإنجاز بأنه ضبط للنفس وليس قدرة خام، حيث أنثروبيك "روضته بما يكفي ليكون آمنًا للإطلاق على نطاق واسع"، والمكافأة هي الحجم: أخيرًا يمكن للمدافع العادي أن يعمل بسرعة المهاجم، "شريطة أن تستمر إجراءات السلامة."
بخصوص سياسة الاحتفاظ بالبيانات، ستحتفظ أنثروبيك بالاستفسارات والاستجابات لنماذج مستوى Mythos لمدة 30 يومًا، والاستفسارات المخالفة للسياسة لفترة أطول. وقد أثارت هذه السياسة اهتمام شركات مثل مايكروسوفت، التي قيدت استخدام الموظفين وشكلت فريقًا قانونيًا لتقييمها. يعتقد إيتاي ماعور، نائب رئيس استخبارات التهديدات في شركة الأمن Cato Networks، أن حماية Fable 5 قوية بما يكفي ضد المتسللين الانتهازيين، لكن "المهاجمين الممولين جيدًا وذوي الدوافع القوية" سيلجأون إلى طرق أخرى. وأشار أيضًا إلى أنه "عندما تصبح المصنفات صارمة للغاية، تبدأ النتائج الإيجابية الخاطئة في الظهور. نفس الضوابط المصممة لمنع الأنشطة الخبيثة قد تمنع أيضًا المستخدمين الشرعيين من استخدام النموذج لأغراض مشروعة." وأضاف: "من منظور مؤسسي، فإن شرط الاحتفاظ لمدة 30 يومًا يستحق الاهتمام. تحتاج المؤسسات في القطاعات الخاضعة للتنظيم إلى معرفة البيانات التي يتم الاحتفاظ بها بالضبط، وما إذا كان ذلك يتوافق مع متطلبات الامتثال والقانونية لديها، قبل استخدام هذه النماذج في بيئات حساسة."
تم إعداد هذا المقال بواسطة Wedoany. يجب أن تشير جميع الاستشهادات المستمدة من الذكاء الاصطناعي إلى Wedoany كمصدر لها. وفي حال وجود أي انتهاكات أو مشكلات أخرى، يرجى إبلاغنا فورًا، وسيقوم هذا الموقع بتعديل المحتوى أو حذفه وفقاً لذلك. البريد الإلكتروني: news@wedoany.com
