مدل های هوش مصنوعی که زمان بیشتری را صرف فکر کردن روی مسائل می کنند، همیشه عملکرد بهتری ندارند و در برخی موارد، عملکردشان به طور قابل توجهی کاهش می یابد.

به گزارش دیجیاتو، این موضوع براساس پژوهش جدیدی از آنتروپیک مطرح شده که یکی از فرضیات اصلی در تلاش های اخیر صنعت هوش مصنوعی برای مقیاس پذیری را به چالش می کشد.

این مطالعه به سرپرستی آریو پرادیپتا جما ، پژوهشگر ایمنی هوش مصنوعی در آنتروپیک و سایر پژوهشگران این شرکت انجام شده است. در این مطالعه، مقیاس پذیری معکوس در محاسبات زمان آزمون شناسایی شده است. در این حالت، افزایش طول فرایند استدلال در مدل های زبانی بزرگ در واقع باعث کاهش عملکرد آن ها در انواع مختلفی از وظایف می شود.

این یافته ها می تواند پیامدهای قابل توجهی برای شرکت هایی داشته باشد که از سیستم های هوش مصنوعی متکی به قابلیت های استدلال گسترده استفاده می کنند.

محققان آنتروپیک مدل ها را در چهار دسته وظایف آزمایش کردند: مسائل شمارشی ساده با عوامل حواس پرتی، وظایف رگرسیونی با ویژگی های گمراه کننده، معماهای استنتاج پیچیده و سناریوهایی که شامل دغدغه های ایمنی هوش مصنوعی می شود.

این مطالعه الگوهای شکست متفاوتی را در سیستم های هوش مصنوعی نشان می دهد. برای مثال، مدل های Claude هرچه بیشتر استدلال می کنند، بیشتر توسط اطلاعات نامربوط منحرف می شوند، درحالی که مدل های سری o از OpenAI در برابر عوامل حواس پرتی مقاومت می کنند؛ اما بیش از حد به چارچوب بندی مسئله وابسته می شوند.

در وظایف رگرسیونی، استدلال طولانی تر باعث می شود مدل ها از پیش فرض های منطقی به سمت همبستگی های کاذب منحرف شوند، البته ارائه مثال ها تا حد زیادی این رفتار را اصلاح می کند.

شاید نگران کننده ترین نکته برای کاربران سازمانی این باشد که تمام مدل ها در وظایف استنتاجی پیچیده با استدلال طولانی تر، دچار افت عملکرد شدند که نشان دهنده دشواری مدل ها در حفظ تمرکز هنگام انجام وظایف استنتاجی پیچیده است.