تحقیقات مرکز ارتباطات سازنده موسسه فناوری ماساچوست نشان می دهد که مدل های پیشرفته هوش مصنوعی برای کاربرانی که مهارت کمتری در زبان انگلیسی دارند، تحصیلات رسمی کمتری دارند یا اهل خارج از آمریکا هستند، عملکرد ضعیف تری دارند.

به گزارش ایسنا، مدل های زبانی بزرگ (LLM) به عنوان ابزارهایی تبلیغ شده اند که می توانند دسترسی به اطلاعات را در سراسر جهان دموکراتیزه کنند و دانش را صرف نظر از پیشینه یا مکان کاربران، با رابطی کاربرپسند در اختیار افراد قرار دهند. با این حال، تحقیقات جدید مرکز ارتباطات سازنده (CCC) موسسه فناوری ماساچوست نشان می دهد که این سیستم های هوش مصنوعی ممکن است برای همان کاربرانی که بیشترین بهره را از آن می برند، عملکرد ضعیف تری داشته باشند.

به نقل از وب سایت موسسه فناوری ماساچوست، مطالعه ای که توسط پژوهشگران انجام شد نشان داد که چت بات های هوش مصنوعی پیشرفته از جمله جی پی تی-4 از کلاود و Llama 3، گاهی پاسخ های کمتر دقیق و کمتر صادقانه ای به کاربرانی ارائه می دهند که مهارت کمتری در زبان انگلیسی دارند، تحصیلات رسمی کمتری دارند یا اهل خارج از ایالات متحده هستند. همچنین این مدل ها با نرخ بالاتری از پاسخ دادن به سوالات خودداری می کنند و در برخی موارد با زبان تحقیرآمیز پاسخ می دهند.

نویسنده اصلی و دستیار فنی این مطالعه می گوید: ما با این انگیزه شروع کردیم که مدل های زبانی بزرگ می توانند به کاهش نابرابری در دسترسی به اطلاعات در سراسر جهان کمک کنند. اما این دیدگاه نمی تواند محقق شود مگر اینکه سوگیری های مدل و تمایلات مضر به طور ایمن برای همه کاربران، صرف نظر از زبان، ملیت یا دیگر ویژگی های جمعیتی، کاهش یابد.

برای این تحقیق، گروه بررسی کرد که سه مدل زبانی بزرگ چگونه به سوالات دو مجموعه داده پاسخ می دهند که برای اندازه گیری صداقت مدل طراحی شده است در حالی که یکی شامل سوالات علمی است که دقت واقعی را می سنجد. پژوهشگران قبل از هر سوال، بیوگرافی کوتاهی از کاربران را اضافه کردند و سه ویژگی را تغییر دادند: سطح تحصیلات، مهارت زبان انگلیسی و کشور مبدا.

در هر سه مدل و هر دو مجموعه داده، پژوهشگران زمانی که سوالات از کاربرانی با تحصیلات کمتر یا زبان انگلیسی غیر بومی می آمد، کاهش قابل توجهی در دقت مشاهده کردند. این اثرات برای کاربرانی که هر دو ویژگی را داشتند تحصیلات کمتر و زبان انگلیسی غیر بومی بیشترین شدت را داشت و کیفیت پاسخ ها بیشترین کاهش را نشان داد.

این تحقیق همچنین بررسی کرد که کشور مبدا چگونه بر عملکرد مدل تأثیر می گذارد. با آزمایش کاربران از ایالات متحده، ایران و چین با سطح تحصیلات مشابه، پژوهشگران دریافتند که هوش مصنوعی Claude 3 Opus به ویژه برای کاربران اهل ایران عملکرد ضعیف تری در هر دو مجموعه داده داشت.

شاید جالب ترین نکته تفاوت ها در میزان خودداری مدل ها از پاسخ دهی به سوالات باشد. به عنوان مثال، Claude 3 Opus تقریباً 11 درصد از سوالات کاربران کمتر تحصیل کرده و غیر بومی انگلیسی را پاسخ نداد در حالی که این رقم برای شرایط کنترل بدون بیوگرافی کاربر فقط 3.6 درصد بود.

وقتی پژوهشگران این خودداری ها را به صورت دستی بررسی کردند، دریافتند که کلاود در 43.7 درصد موارد برای کاربران کمتر تحصیل کرده با زبان تحقیرآمیز پاسخ می دهد، در حالی که برای کاربران تحصیل کرده کمتر از یک درصد است. در برخی موارد، مدل زبان انگلیسی شکسته را تقلید یا لهجه اغراق آمیز به کار می برد.

این مدل همچنین از ارائه اطلاعات در برخی موضوعات به طور خاص برای کاربران کمتر تحصیل کرده از ایران یا روسیه خودداری می کرد که شامل سوالاتی درباره انرژی هسته ای، آناتومی و وقایع تاریخی بود در حالی که همان سوالات را برای سایر کاربران درست پاسخ می داد.

این یافته ها الگوهای ثبت شده سوگیری اجتماعی-شناختی انسان را منعکس می کنند. تحقیقات علوم اجتماعی نشان داده است که گویشوران بومی انگلیسی اغلب گویشوران غیر بومی را کمتر تحصیل کرده، کم هوش تر و غیر شایسته می دانند، صرف نظر از تخصص واقعی آن ها. سوگیری مشابهی میان معلمان در ارزیابی دانش آموزان غیر بومی انگلیسی نیز ثبت شده است.

این پیامدها به طور خاص نگران کننده هستند با توجه به اینکه ویژگی های شخصی سازی مانند حافظه در چت جی پی تی که اطلاعات کاربر را در طول گفتگوها دنبال می کند به طور فزاینده ای رایج می شوند. چنین ویژگی هایی خطر رفتار متفاوت با گروه های حاشیه ای شده را دارند.