شركة Cloudflare الأمريكية وOpenAI تطلقان مشروعًا تجريبيًا لتحسين فهرسة البحث بالذكاء الاصطناعي باستخدام إشارات الشبكة في الوقت الفعلي

أخبار ar.wedoany.com، في 8 يوليو، أطلقت شركة Cloudflare الأمريكية، المتخصصة في خدمات الحوسبة السحابية والبنية التحتية للشبكة، بالتعاون مع شركة OpenAI الأمريكية للذكاء الاصطناعي، مشروعًا بحثيًا تجريبيًا لاستكشاف كيفية استخدام بيانات الرؤى المستمدة من المواقع الإلكترونية المشاركة في شبكة Cloudflare العالمية، لمساعدة محركات البحث بالذكاء الاصطناعي على اكتشاف محتوى الويب المفتوح وجمع بياناته وفهرسته بشكل أكثر كفاءة. يركز هذا المشروع على دقة وتوقيت إجابات الذكاء الاصطناعي، وتشمل الإشارات الأساسية حداثة المحتوى وجودة حركة المرور والتغييرات الفعلية في الصفحات.

يتمثل الاختلاف الأكبر بين البحث بالذكاء الاصطناعي والبحث التقليدي في أن النتائج لم تعد تُعرض فقط في شكل روابط لصفحات الويب، بل يتم إنشاء الإجابات مباشرة بواسطة النموذج. تؤثر عوامل مثل ما إذا كانت الصفحة قد تم تحديثها، وما إذا كان محتوى الصفحة قد تغير فعليًا، وما إذا كانت حركة المرور غير طبيعية، وما إذا كان محتوى الموقع لا يزال ذا قيمة للاستشهاد به، على قدرة نظام الذكاء الاصطناعي على الحصول على معلومات أكثر دقة من صفحات الويب في الوقت المناسب. لا تقدم Cloudflare في هذه المرة محتوى نص صفحة الويب نفسه، بل تقدم إشارات في الوقت الفعلي من طبقة الشبكة وطبقة الموقع، للمساعدة في تحديد الصفحات التي تستحق الزحف إليها بشكل أكبر، ومتى يجب إعادة الزحف إليها، وكيفية تقليل الفهرسة غير الفعالة.

تغطي شبكة Cloudflare العالمية أكثر من 20% من مواقع الويب، مما يمكنها من مراقبة عمليات تحديث صفحات الويب وسلوكيات الزيارة على نطاق واسع. من جانبها، توفر OpenAI النماذج وأنظمة البحث والإجابة على الأسئلة، لاختبار فعالية الزحف والفهرسة المدفوعة بالإشارات باستخدام استفسارات المستخدمين الحقيقية.

الاتجاه التقني للمشروع التجريبي هو "الزحف المدفوع بالإشارات". عادةً ما تزحف برامج الزحف التقليدية إلى صفحات الويب وفقًا لتكرار ثابت أو خرائط الموقع أو اكتشاف الروابط أو الأوزان التاريخية، مما يؤدي غالبًا إلى نوعين من المشكلات: الأول هو أن الصفحة قد تم تحديثها ولكن فهرس الذكاء الاصطناعي لم يتم تحديثه في الوقت المناسب، مما يؤدي إلى تأخر الإجابات؛ والثاني هو أنه يتم الزحف إلى الصفحات بشكل متكرر دون حدوث تغييرات جوهرية، مما يهدر موارد الزحف ويزيد من ضغط الوصول إلى الموقع. بعد إدخال إشارات الشبكة في الوقت الفعلي من Cloudflare، يمكن لنظام البحث بالذكاء الاصطناعي تعديل أولويات الزحف بناءً على تغييرات المحتوى وجودة الوصول وحالة الصفحة.

تُعد حداثة تحديث المحتوى أحد المعايير الرئيسية. تختلف وتيرة تغيير الأخبار والإعلانات وصفحات المنتجات وصفحات الأسعار ووثائق السياسات والوثائق التقنية ومنشورات المدونات. إذا لم يتمكن البحث بالذكاء الاصطناعي من تحديد ما إذا كانت الصفحة قد تم تحديثها بالفعل، فقد يعالج المحتوى القديم بشكل متكرر أو يفوت المعلومات الجديدة. يمكن لإشارة التغيير الفعلي للصفحة أن تساعد النظام في تحديد التغييرات على مستوى المحتوى، بدلاً من الاعتماد فقط على وجود عنوان URL أو تغيير الطابع الزمني أو إرسال الموقع لتحديد ما إذا كانت إعادة الفهرسة ضرورية.

أما جودة حركة المرور فتميل أكثر إلى تقييم مصداقية صفحة الويب وحالة الوصول إليها. يمكن لحركة المرور غير الطبيعية، والزيارات منخفضة الجودة، والطلبات غير الصالحة، وزيارات الروبوتات، والتقلبات المؤقتة في الصفحات أن تتداخل مع تقييم نظام الذكاء الاصطناعي لقيمة صفحة الويب. بعد إدخال Cloudflare لإشارات جانب الشبكة في المشروع التجريبي، يمكن لـ OpenAI اختبار ما إذا كانت هذه الإشارات تساعد في تحسين فرز صفحات الويب، وإيقاع الزحف، وجودة توليد الإجابات.

يرتبط هذا المشروع أيضًا بإدارة برامج زحف الذكاء الاصطناعي. سبق لـ Cloudflare أن أطلقت أدوات موجهة لأصحاب المواقع للتحكم في برامج زحف الذكاء الاصطناعي، وإشارات المحتوى، وأذونات الوصول، مما يسمح للمواقع بالتعبير بشكل أكثر تفصيلاً عن تفضيلاتها فيما يتعلق بفهرسة البحث، وإدخال الذكاء الاصطناعي، وتدريب النماذج. يميل التعاون الحالي مع OpenAI أكثر نحو "كيفية جعل المحتوى القابل للاكتشاف يدخل بكفاءة أكبر إلى بحث الذكاء الاصطناعي"، بدلاً من جعل نظام الذكاء الاصطناعي يوسع نطاق الزحف بشكل عشوائي.

لا يزال المشروع حاليًا في مرحلة البحث التجريبي، مع التركيز على التحقق مما إذا كانت إشارات الشبكة في الوقت الفعلي يمكنها تحسين كفاءة فهرسة البحث بالذكاء الاصطناعي. ستركز الاختبارات على أولويات الزحف، وتحديد تغييرات الصفحة، وسرعة تحديث الفهارس، وتقليل الزحف منخفض القيمة، وتوقيت الإجابات، وقدرة اكتشاف محتوى الويب المفتوح. ستحتاج Cloudflare وOpenAI لاحقًا إلى مواصلة الاختبار حول نطاق المواقع المشاركة، وحدود استخدام الإشارات، وأذونات المحتوى، وسيطرة الموقع، وجودة نتائج بحث الذكاء الاصطناعي.