أشارت دراسة جديدة من جامعة كورنيل إلى أن مساعد التسوق بالذكاء الاصطناعي Rufus من أمازون يقدم إجابات غامضة أو غير دقيقة للمستخدمين الذين يستخدمون لهجات إنجليزية معينة، مثل الإنجليزية الأمريكية الأفريقية (AAE)، خاصة عندما تحتوي الاستفسارات على أخطاء إملائية.

بنى الباحثون إطار تقييم لتحليل المخاطر المحتملة الناتجة عن ضعف أداء الروبوتات الدردشة أمام مستخدمي اللهجات المختلفة. أكد الباحثون أن هذه الدراسة لها دلالات هامة للعديد من المنصات عبر الإنترنت التي تعتمد على روبوتات الدردشة القائمة على نماذج اللغة الكبيرة.

قام فريق البحث بتدقيق Amazon Rufus داخل تطبيق التسوق من أمازون، باستخدام أداة MultiVALUE لتحويل استفسارات الإنجليزية القياسية إلى خمس لهجات، وتعديل الاستفسارات لمحاكاة سيناريوهات الاستخدام الواقعية. أظهرت النتائج انخفاض جودة إجابات Rufus عند استخدام اللهجات، وتفاقم الفجوة مع وجود أخطاء إملائية. على سبيل المثال، عند سؤال عن ما إذا كانت جاكيت قابلة للغسل في الغسالة بالإنجليزية الأمريكية القياسية، أجاب Rufus بشكل صحيح؛ لكن عند السؤال بلغة AAE بدون أدوات ربط، غالبًا ما فشل Rufus في الإجابة الصحيحة، بل وقاد المستخدمين إلى منتجات غير ذات صلة. بشكل عام، يدعو فريق البحث إلى تدقيق الذكاء الاصطناعي الواعي باللهجات، ويحث المطورين على تصميم أنظمة تشمل التنوع اللغوي.