أخبار ar.wedoany.com، أطلقت Cloudflare أدوات تحكم جديدة في حركة مرور برامج زحف الذكاء الاصطناعي، مما يتيح لأصحاب المواقع تحديد سياسات الوصول للبرامج الآلية إلى محتواهم وفقًا لثلاث فئات وظيفية: البحث، والوكالة، والتدريب. هذه الميزة متاحة الآن لجميع عملاء Cloudflare، بما في ذلك مستخدمي الباقة المجانية.
يرغب مالكو المحتوى في حماية نتاجهم الإبداعي والحصول على تعويض عادل مقابله. وأشار كل من جين-هي لي، مدير منتجات Cloudflare، وبرايان بيكر، مدير المنتجات، إلى أن الحظر الكامل للمحتوى ليس حلاً شاملاً، وأن أصحاب المواقع بحاجة إلى خيارات أكثر مرونة بدلاً من "منع جميع البرامج الآلية في جميع الأوقات".
قامت الشركة بتوسيع نطاق التحكم في الروبوتات من نمط السماح أو المنع البسيط. فبدلاً من تصنيف الروبوتات فقط كذكاء اصطناعي أو غير ذكاء اصطناعي، يتم الآن تصنيفها وفقًا لوظائفها إلى ثلاث فئات: البحث، والوكالة، والتدريب، ويمكن لأصحاب المواقع تطبيق سياسات مختلفة لكل فئة.
يأخذ الإطار المحدث في الاعتبار كيفية استخدام الروبوتات للمحتوى بعد الزحف إليه، ويشجع المزودين على استخدام برامج زحف مستقلة لوظائف مختلفة لتعزيز الشفافية وقدرات التحكم في الوصول.
اعتبارًا من 15 سبتمبر 2026، ستتغير الإعدادات الافتراضية للنطاقات الجديدة. في الصفحات التي تعرض إعلانات، سيتم منع روبوتات التدريب والوكالة افتراضيًا، بينما سيظل مسموحًا بروبوتات البحث افتراضيًا.
سيتم تقييم برامج الزحف متعددة الأغراض التي تؤدي وظائف البحث والتدريب في وقت واحد وفقًا لكلتا السياستين. إذا قام موقع بحظر روبوتات التدريب، فسيتم أيضًا حظر برامج الزحف متعددة الأغراض (مثل Googlebot وApplebot وBingBot)، حتى لو كان مسموحًا بروبوتات البحث. سيدخل هذا التغيير حيز التنفيذ في 15 سبتمبر 2026. يمكن لأصحاب المواقع الذين لا يرغبون في اعتماد الإعدادات الافتراضية الجديدة الانسحاب منها قبل 15 سبتمبر من خلال إعدادات الأمان، مع الاحتفاظ بالسلوك الحالي لروبوتات التدريب التي تؤدي وظائف البحث. وأكدت Cloudflare أنها ستخطر العملاء قبل التغيير لمنحهم الوقت لمراجعة الإعدادات وتحديثها.
أطلقت Cloudflare أيضًا BotBase، وهي قاعدة بيانات قابلة للبحث للروبوتات المعروفة، بما في ذلك الروبوتات الموثقة ووكلاء الذكاء الاصطناعي. توفر قاعدة البيانات لعملاء إدارة الروبوتات عرضًا مركزيًا يعتمد على تصنيف Cloudflare الجديد، ويظهر تصنيف وسلوك الروبوتات الموثقة. يمكن للمسؤولين استخدام BotBase لتصفح كتالوج الروبوتات الموثقة، والبحث عن روبوتات محددة، وعرض التصنيفات، وتصفية حركة المرور حسب روبوت فردي، ونسخ معرف الكشف لاستخدامه في قواعد الأمان. تخطط الشركة لإضافة المزيد من ميزات التحكم في وقت لاحق من هذا العام لتسهيل إدارة حركة المرور الآلية من واجهة واحدة على العملاء.
فيما يتعلق بالتحكم في استخدام المحتوى، أضافت Cloudflare ثلاثة مستويات جديدة لعملاء إدارة الروبوتات لتحديد كيفية استخدام الروبوتات للمحتوى بعد الزحف إليه: فوري (بدون تخزين أو إعادة استخدام)، وإسناد (فهرسة وملخصات وروابط خلفية)، وكامل (ملخص أو إعادة إنتاج). تعمل الشركة على توسيع تنسيق Content Signals في ملف robots.txt، بإضافة معلمة use جديدة للتعبير عن هذه التفضيلات. على الرغم من أن ملف robots.txt لا يفرض هذا الإعداد، إلا أن Cloudflare ستبلغ من خلال BotBase عما إذا كانت الروبوتات الموثقة تلتزم بالتفضيلات المعلنة. قد تفقد الروبوتات الموثقة التي تتجاهل هذه التفضيلات أو تعيد إنتاج المحتوى بالكامل حالتها الموثقة. سابقًا، كان مسموحًا بجميع الروبوتات الموثقة افتراضيًا. في النموذج الجديد، يؤكد التوثيق فقط هوية الروبوت، وتعتمد صلاحيات الوصول على تصنيفه وسياسات مالك الموقع، بما في ذلك ما إذا كان مسموحًا بروبوتات البحث أو الوكالة أو التدريب. تخطط Cloudflare أيضًا لجعل عملية التوثيق أكثر شفافية، وتعمل على تطوير أدوات لمساعدة مشغلي الروبوتات في إدارة تصنيفهم وحالتهم الموثقة.
بالنسبة لوكلاء الذكاء الاصطناعي والروبوتات التي تعمل عبر منصات طرف ثالث، اقترحت Cloudflare نموذج ثقة قابل للتحويل. تخطط الشركة لاستخدام رأس HTTP Forwarded القياسي لتحديد الطالب الأصلي خلف الوسيط، ويمكن أن يتضمن هذا الرأس أيضًا طريقة استخدام المحتوى التي يعلنها المشغل، مثل use=reference. سيسمح هذا لأصحاب المواقع بتطبيق سياسات الثقة والوصول بناءً على مشغل الروبوت الأصلي، بدلاً من الوسيط الذي يعالج الطلب. أقرت الشركة بأن هذه الطريقة قد لا تنطبق على جميع حالات الاستخدام حيث تكون الخصوصية أو الوصول المجهول مهمة.
