شركة أنت جروب الصينية تفتح مصدر إطار عمل أمان الذكاء الاصطناعي

أخبار ar.wedoany.com، أعلنت شركة أنت جروب (Ant Group) مؤخراً عن فتح مصدر إطارين لأمان الذكاء الاصطناعي: إطار SingGuard-NSFA المخصص لأمن العوامل الذكية، وإطار SingGuard المخصص للنماذج الكبيرة متعددة الوسائط، بهدف الانتقال من "تصحيح الثغرات" إلى بناء "إطار أمان" لمواجهة المخاطر السلوكية الناجمة عن النماذج الكبيرة.

كانت منصة NVDB التابعة لوزارة الصناعة وتكنولوجيا المعلومات قد أصدرت سابقاً تحذيراً من المخاطر، مشيرة إلى وجود ثغرات أمنية خلفية في Claude Code يمكنها جمع معلومات حساسة دون علم المستخدم. كما تم الكشف مراراً عن ثغرات عالية الخطورة في OpenClaw. يعكس هذا مسار التطور الشائع لمنتجات العوامل الذكية حالياً، من الانتشار السريع إلى فقدان الثقة. مع تزايد قدرات الذكاء الاصطناعي، تتصاعد المخاطر السلوكية مثل إساءة استخدام الأدوات، وتوليد الأكواد الضارة، وحقن التعليمات.

تتغير طبيعة المخاطر الأمنية، وبدأت الصناعة في تحويل تركيزها من مراجعة محتوى مخرجات النماذج إلى أمان سلوك النماذج. يأتي إصدار أنت جروب لإطاري SingGuard-NSFA وSingGuard مفتوحي المصدر في هذا السياق.

هذا الإطار من تطوير شركة أنت جروب، التي تمتلك خبرة طويلة في مجال أمن المدفوعات وأنظمة إدارة المخاطر، ويعد أمان الذكاء الاصطناعي امتداداً طبيعياً لتطور قدراتها الأمنية المستمرة.

كان أمان الذكاء الاصطناعي التقليدي يعتمد بشكل أساسي على مراجعة المحتوى، لكن النماذج الكبيرة لم تعد مقتصرة على الدردشة، بل بدأت في استدعاء الأدوات وتشغيل الأكواد، مما يجعل أنظمة تصنيف أمان المحتوى التقليدية غير قادرة على تغطية مخاطر سلوك النماذج. في الوقت نفسه، لا تقتصر المخاطر متعددة الوسائط على النصوص فحسب، بل قد تكون مخفية في تفاصيل الصور، أو في تركيبات النصوص والصور، أو في استجابات النموذج نفسه. كما أن الخطوط الحمراء الأمنية لمختلف مجالات الأعمال تتغير بشكل ديناميكي. ما تحتاجه الصناعة ليس مجرد إصلاحات ترقيعية، بل إطار أساسي قادر على تحديد حدود الأمان، ومواجهة المخاطر غير المعروفة، والتكيف مع تغيرات القواعد.

إطار SingGuard-NSFA هو إطار حماية ثنائي النمط للاستدلال موجه لأمن العوامل الذكية، ويتوفر بأربعة أحجام: 0.8B و2B و4B و9B. يقوم هذا الإطار بمعاينة الفحوصات الأمنية قبل تنفيذ العامل الذكي، ويضع حواجز عند نقطتي اعتراض الطلب وضمان الاستجابة، مما يدفع خط الدفاع من الامتثال النصي إلى أمان السلوك. يدعم هذا التوجه نظام تصنيف مخاطر NSFA المنهجي ومعايير تقييم متعددة اللغات. تعتمد أنت جروب على ثالوث CIA (السرية والنزاهة والتوفر) كأساس نظري، بالإضافة إلى ثلاثة أدلة أمان للنماذج الكبيرة والعوامل الذكية من OWASP، لتحليل مخاطر العوامل الذكية. يستخدم الإطار نمطاً توليدياً لإخراج تحليل استدلالي متسلسل يعتمد على تعريف NSFA، يستخدم لتدقيق الامتثال دون اتصال بالإنترنت؛ ونمطاً تمييزياً يعطي مباشرة درجات الثقة لكل مجال خطر، بزمن استجابة يتراوح بين 45 و57 مللي ثانية، يستخدم للاعتراض الفوري عبر الإنترنت ذي الإنتاجية العالية. نظراً لتجميد الشبكة الأساسية، يمكن إضافة مخاطر جديدة ببساطة عن طريق تدريب رؤوس تصنيف خفيفة الوزن، مما يحقق قابلية توسع أصلية.

يمكن استخدام هذه البنية كإضافة (Plugin)، فعلى سبيل المثال، بعد إضافة رأس تصنيف إلى Llama Guard 3، ارتفعت قيمة F1 لمعيار أمان طلبات المستخدم بمقدار 17.6 نقطة مئوية. حقق إطار SingGuard-NSFA أداءً متطوراً (SOTA) في ثلاثة معايير تقييم رئيسية: أمان طلبات المستخدم، وأمان استجابات النموذج، والتعميم عبر مجموعات البيانات. حيث يعادل نموذج 0.8B أداء منافس بحجم 8B، بينما حقق نموذج 9B في مهام التعميم نسبة F1 بلغت 91.29%، مع توازن أفضل بين الدقة والاستدعاء.

أما الإطار الآخر مفتوح المصدر، SingGuard، فهو موجه للنماذج الكبيرة متعددة الوسائط، ويتوفر بأربعة أحجام: 0.8B و2B و4B و8B. يعالج هذا الإطار القواعد الأمنية كمدخلات وقت التشغيل، حيث يمكن لمجالات الأعمال المختلفة تحديد خطوطها الحمراء الخاصة في الموقع، ويقوم النموذج بالحكم بناءً على هذه القواعد كل على حدة. يعتمد جانب الاستدلال على تقسيم العمل بين سريع وبطيء: فالتفكير السريع مسؤول عن الحكم الفوري بزمن استجابة منخفض، بينما التفكير البطيء مسؤول عن الاستدلال العميق لكل قاعدة على حدة، ويتم التبديل بينهما تلقائياً عبر آلية الخروج المبكر (early exit). لمعالجة عنق الزجاجة في كفاءة المراجعة المتوازية لقواعد متعددة، اقترحت أنت جروب تقنية RI-Mask، حيث يتم ترميز سياق النصوص والصور المشترك مرة واحدة فقط، ثم يتم الحكم على القواعد المتعددة بشكل متوازٍ، مما يمكن أن يسرع الاستدلال متعدد الوسائط بأكثر من 5 أضعاف.

يستهدف إطارا SingGuard-NSFA وSingGuard سلوك الذكاء الاصطناعي وإدراكه على التوالي، لكنهما يشتركان في التأكيد على قابلية تفسير العمليات وقابلية توسيع نطاق المخاطر الجديدة. يمكن تتبع أي قاعدة تم انتهاكها والأساس المنطقي لذلك، وتتطلب المخاطر الجديدة توسيعاً خفيفاً فقط.

في وقت سابق من هذا العام، اكتشف مختبر أمان الذكاء الاصطناعي التابع لشركة أنت جروب العديد من الثغرات عالية الخطورة وساعد في إصلاحها رسمياً. بعد ذلك، تعاونت أنت جروب مع جامعة تسينغهوا لإطلاق ClawAegis مفتوح المصدر، لتوفير حلول أمان للعوامل الذكية تغطي دورة حياة المنتج بأكملها. يعد إصدار إطار الأمان مفتوح المصدر هذا استمراراً لهذا النهج، من اكتشاف الثغرات إلى الحلول الخاصة بالسياقات، وصولاً إلى إطار أساسي قابل لإعادة الاستخدام. وقد حصل منتج أمان العوامل الذكية من أنت جروب على أعلى تصنيف من مختبر تاير (Tyl Lab) التابع لأكاديمية تكنولوجيا المعلومات والاتصالات الصينية (CAICT).

مع تزايد استخدام العوامل الذكية في مجالات العمل، والحياة اليومية، والتطوير، سيدخل أمان الذكاء الاصطناعي مرحلة جديدة. إن بناء بنية تحتية أمنية قادرة على التكيف المستمر مع المخاطر المتغيرة هو التحدي الأساسي الذي تواجهه الصناعة في المرحلة القادمة.