انجمن پیشبرد علوم آمریکا یک سال تمام را صرف آزمایش این موضوع کرد که آیا هوش مصنوعی می تواند با نویسندگان انسانی برابری کند یا خیر. نتایج این آزمایش چندان خوشایند نبود.

به گزارش ایسنا، انجمن پیشبرد علوم آمریکا (AAAS) ناشر مجله علمی مشهور ساینس (Science) به تازگی حکمی صادر کرده که ممکن است علاقه مندان به هوش مصنوعی را شگفت زده کند.

این سازمان گفت که چت جی پی تی (ChatGPT) نمی تواند از عهده کار ظریف تبدیل تحقیقات پیچیده به اخبار قابل درک علمی برآید.

انجمن پیشبرد علوم آمریکا یک سال تمام را صرف آزمایش این موضوع کرد که آیا هوش مصنوعی می تواند با نویسندگان انسانی برابری کند یا خیر. نتایج این آزمایش چندان خوشایند نبود.

پژوهشگران انجمن پیشبرد علوم آمریکا از دسامبر 2023 تا دسامبر 2024، حدود ​​64 مقاله علمی چالش برانگیز را به چت جی پی تی ارائه دادند. آنها عمداً دشوارترین مقاله ها را انتخاب کردند که سرشار از اصطلاحات فنی، یافته های بحث برانگیز، اکتشافات پیشگامانه و قالب های نامتعارف بودند.

هوش مصنوعی سه دستورالعمل را با جزییات متفاوت دریافت کرد و از جدیدترین مدل های چت جی پی تی در دسترس عموم شامل هر دو دوره GPT-4 و GPT-4o استفاده کرد. هر خلاصه توسط متخصصان انسانی که به طور منظم برای مجله های ساینس و یورک الرت (EurekAlert) تولید محتوا می کنند، ارزیابی شد.

آمار این آزمایش، داستان تکان دهنده ای را روایت می کنند. وقتی از متخصصان ارزیابی پرسیده شد که آیا خلاصه های چت جی پی تی را می توان به طور یکپارچه با محتوای نوشته شده توسط انسان ترکیب کرد، میانگین امتیاز آنها فقط 2.26 از 5 بود. عامل جذاب بودن حتی امتیاز پایین تری معادل 2.14 گرفت.

تنها یک مورد از 64 خلاصه، امتیاز کامل را از متخصصان ارزیابی به دست آورد و 30 خلاصه، کمترین امتیاز ممکن را دریافت کردند.

بازخورد کیفی، الگوهای خاصی را در شکست های چت جی پی تی آشکار کرد. هوش مصنوعی دائماً همبستگی را با علیت اشتباه می گرفت و این یک خطای اساسی است که دقت علمی را تضعیف می کند. هوش مصنوعی دائما محتوای حیاتی را که متخصصان برای درک درست تحقیقات به آن نیاز دارند، حذف می کرد.

شاید مشکل سازترین مورد، اعتیاد چت جی پی تی به اغراق باشد. واژه هایی مانند پیشگامانه و جدید بیش از اندازه تکرار می شدند و اهمیت یافته های معمولی را بیش از اندازه بزرگ جلوه می دادند.

ابیگیل آیزنشتات (Abigail Eisenstadt) از نویسندگان انجمن پیشبرد علوم آمریکا، ​​گفت: این فناوری ها ممکن است پتانسیل تبدیل شدن به سیستم های کارآمد را برای نویسندگان حوزه علمی داشته باشند، اما در حال حاضر برای زمان اوج آماده نیستند.

چت جی پی تی در رونویسی اولیه مقاله ها شایستگی نشان داد، اما خبرنگاری علمی به ترجمه نیاز دارد، نه رونویسی.

نوشتن مطالب علمی واقعی مستلزم بررسی عمیق روش ها، پذیرش محدودیت ها و مرتبط کردن یافته ها با پیامدهای گسترده تر است. وقتی مقالات چندین نتیجه متناقض را ارائه می دادند یا وقتی خواسته می شد که دو پژوهش مرتبط با هم ترکیب شوند، هوش مصنوعی کاملاً دچار مشکل می شد.

پژوهشگران دریافتند که حتی استفاده از چت جی پی تی به عنوان نقطه آغاز، کار بیشتری را نسبت به نوشتن از ابتدا ایجاد می کند. بررسی گسترده حقایق مورد نیاز، هرگونه صرفه جویی در زمان را از بین می برد.

این یافته ها با مسائل مربوط به قابلیت اطمینان هوش مصنوعی هم سو هستند. پژوهش های پیشین نشان داده بودند که موتورهای جست وجوی هوش مصنوعی در 60 درصد موارد به منابع نادرست استناد می کنند. در ارتباطات علمی که دقت بیشترین اهمیت را دارد، چنین میزان خطایی غیرقابل قبول است.

پژوهشگران انجمن پیشبرد علوم آمریکا خاطرنشان کردند که بررسی آنها نتوانست سوگیری انسانی خبرنگاران را در نظر بگیرد. با وجود این، نتایج آن قدر منفی بودند که سوگیری به تنهایی نمی توانست عملکرد ضعیف هوش مصنوعی را توضیح دهد.

چت جی پی تی موفق شد از ساختار و لحن خلاصه های حرفه ای علمی تقلید کند، اما ساختار بدون محتوا، استانداردهای حرفه ای را برآورده نمی کند.

پژوهشگران نتیجه گرفتند که چت جی پی تی، سبک و استانداردهای خلاصه های موجود در بسته مطبوعاتی مجله ساینس را برآورده نمی کند. آنها راه را برای آزمایش های آینده باز گذاشتند تا در صورت ارائه به روزرسانی های عمده هوش مصنوعی، بررسی های جدیدی انجام شود. با توجه به این که GPT-5 در ماه اوت به صورت عمومی در دسترس قرار گرفت، این موضوع مهم است.

در حال حاضر هنر پیچیده تبدیل اکتشافات علمی به فهم عمومی همچنان در دستان انسان است. قضاوت دقیق، آگاهی از شرایط و دقت که خبرنگاری علمی باکیفیت را تعریف می کنند، دشوارتر از آن چیزی هستند که پیش بینی می شد.