صفحه اصلی     اقتصادی     اجتماعی     سیاسی     ورزشی     بین الملل     RSS     تماس با ما  
چهارشنبه، 2 مهر 1404 - 15:47   
 آخرین خبرها
  سریال «در انتهای شب» وارد رقابت با فیلم های بی‌بی‌سی و وارنر شد
  لوکانو L7؛ شاسی‌بلند لوکس چری در بازار خودرو ایران
  یک پرسش ساده، چت‌جی‌پی‌تی را به زانو درآورد!
  این عمل جراحی برای کودکان زیر 4 سال رایگان است
  رجیستری و دلار کار دست خریداران داد؛ حذف آیفون از بازار ایران؟
 
- اندازه متن: + -  کد خبر: 42679صفحه نخست » آخرین اخبار    چهارشنبه، 2 مهر 1404 - 13:55

هوش مصنوعی مثل پینوکیو دروغ می‌گوید!


هوش مصنوعی که گاهی به شما دروغ می‌گوید: OpenAI چگونه جلوی فریب مدل‌ها را می‌گیرد؟

تحقیق جدیدی از OpenAI نشان می دهد که مدل های هوش مصنوعی قادر به توطئه چینی یا دروغگویی عامدانه برای رسیدن به اهدافشان هستند. این عمل، پدیده ای خطرناک است که حتی با آموزش به هوش مصنوعی کار را دشوارتر می کند اما محققان برای آن یک راهکار پیدا کردند. هر از گاهی، محققان بزرگترین شرکت های فناوری، خبری تکان دهنده منتشر می کنند. یک بار گوگل اعلام کرد که جدیدترین تراشه کوانتومی اش وجود جهان های چندگانه را نشان می دهد. یا زمانی که شرکت آنتروپیک یک دستگاه فروش خودکار اسنک را به ایجنت هوش مصنوعی خود، کلادیوس، داد تا آن را اداره کند و او کنترل از دستش خارج شد، برای مردم نگهبان خبر کرد و اصرار داشت که انسان است. این هفته، نوبت OpenAI بود که باعث تعجب همگانی شود.

OpenAI روز دوشنبه تحقیقی را منتشر کرد که توضیح می داد چگونه در حال متوقف کردن مدل های هوش مصنوعی از توطئه چینی است. همانطور که OpenAI توضیح داد در توطئه چینی، یک هوش مصنوعی اهداف واقعی خود را پنهان و در ظاهر به شکل دیگری رفتار می کند.

در این مقاله که با همکاری شرکت تحقیقاتی آپولو (Apollo Research) انجام شده، محققان کمی فراتر رفته و توطئه چینی هوش مصنوعی را به یک کارگزار بورس انسانی تشبیه کردند که برای کسب بیشترین پول ممکن، قانون را زیر پا می گذارد. با این حال، محققان استدلال کردند اکثر توطئه چینی های هوش مصنوعی مضر نبوده اند و شایع ترین شکست ها شامل اشکال ساده فریبکاری است؛ برای مثال، بدون اینکه یک وظیفه را واقعا انجام بدهد، به انجام آن تظاهر کرده است.

این مقاله بیشتر برای نشان دادن این موضوع منتشر شد که نشان دهند تکنیک ضد توطئه چینی آن ها، یعنی هم راستاسازی سنجیده (deliberative alignment) به خوبی کار می کند. در واقع توسعه دهندگان هوش مصنوعی هنوز راهی پیدا نکردند که هوش مصنوعی توطئه چینی نکند، دلیل آن این است که چنین آموزشی در واقع می تواند به مدل یاد بدهد که چگونه برای جلوگیری از شناسایی شدن، حتی بهتر توطئه چینی کند. شاید حتی شگفت انگیزترین بخش این باشد که اگر یک مدل بفهمد که در حال آزمایش شدن است، فقط برای اینکه آزمون را پشت سر بگذارد، می تواند تظاهر کند که در حال توطئه چینی نیست، حتی اگر همچنان در حال توطئه چینی باشد. با این حال محققان می گویند مدل ها اغلب بیشتر آگاه می شوند که در حال ارزیابی هستند و این آگاهی موقعیتی، مستقل از هم راستایی، به خودی خود می تواند توطئه چینی را کاهش دهد.

اینکه مدل های هوش مصنوعی دروغ می گویند، خبر جدیدی نیست. اکثر ما حتی برای یک بار هم که شده، توهم زدن هوش مصنوعی را دیده ایم، یا اینکه مدل با اطمینان پاسخی به پرامپت ما داده که نادرست است. اما همانطور که تحقیق OpenAI که اوایل این ماه منتشر شد مستند کرده است، توهمات اساساً ارائه حدس و گمان با اعتماد به نفس است و توطئه چینی چیز دیگری است؛ در واقع این یک عمل عامدانه است.

حتی اینکه یک مدل به طور عامدانه انسان ها را گمراه خواهد کرد جدید نیست. شرکت تحقیقاتی آپولو برای اولین بار در ماه دسامبر مقاله ای منتشر کرد که نشان می داد چگونه پنج مدل زمانی که به آن ها دستور داده شد تا به یک هدف تحت هر شرایطی دست یابند، توطئه چینی کردند.

محققان با استفاده از هم راستاسازی سنجیده کاهش قابل توجهی در توطئه چینی مشاهده کردند. در این تکنیک نکاتی و قوانین ضد توطئه چینی به مدل آموزش داده می شود و مدل را وادار می کنند که قبل از جواب دادن حتما این نکات را مرور کند؛ درست مثل اینکه قبل از بازی کردن با یک بچه او را مجبور کنیم قوانین را تکرار کند.

با این حال، محققان OpenAI اصرار دارند که دروغ هایی که از مدل های خودشان یا حتی از ChatGPT گرفته اند، آنقدرها جدی نیست. در کل این واقعیت که مدل های هوش مصنوعی به طور عمدی انسان ها را فریب می دهند، قابل درک است. آن ها توسط انسان ها ساخته شده اند، برای تقلید از انسان ها، و (با صرف نظر از داده های مصنوعی) عمدتاً بر روی داده های تولید شده توسط انسان ها آموزش دیده اند.

قبل از هوش مصنوعی همه ما عملکرد ضعیف تکنولوژی را متوجه شده ایم؛ اما یک بار به یاد بیارید آخرین باری که نرم افزارهای شما (غیر-هوش مصنوعی) به طور عمدی به شما دروغ گفت کی بود؟ آیا هرگز اینباکس شما به خودی خود ایمیل های ساختگی ایجاد کرده است؟ آیا CMS شما برای بالا بردن آمار خود، مشتریان بالقوه ای که وجود نداشتند را ثبت کرده است؟ آیا اپلیکیشن فین تک شما تراکنش های بانکی خودش را ساخته است؟

در حالی که دنیای شرکت ها با سرعت به سوی آینده ای مبتنی بر هوش مصنوعی حرکت می کند که در آن می توان با ایجنت ها مانند کارمندان مستقل رفتار کرد، ارزش دارد که به این موضوع فکر کنیم. محققان این مقاله نیز همین هشدار را می دهند. آن ها می گویند: همانطور که وظایف پیچیده تر با عواقب واقعی به هوش های مصنوعی محول می شود و آن ها شروع به دنبال کردن اهداف مبهم تر و بلندمدت تر می کنند، ما انتظار داریم که پتانسیل توطئه چینی مضر افزایش یابد، بنابراین توانایی ما برای آزمایش دقیق آن ها باید به همان نسبت رشد کنند.

   
  

نظر شما:
نام:
پست الکترونیکی:
آدرس وب:
عنوان:
نظر
  قبل از ارسال نظر آنرا ویرایش کرده و قواعد نگارش را در آن رعایت کنید.
لطفاً در مطالب خود اخلاق اسلامی و قوانین کشور را مد نظر داشته باشید.
نمایش نظرات کاربران در خبرها به معنای تایید آنها توسط سایت نیست.

  کد امنیتی:
 
الجولانی: از اسراییل می‌ترسیم
  الجولانی: از اسراییل می‌ترسیم
الشرع در این کنفرانس که بیش از 250 دیپلمات، خبرنگار و تاجر حضور داشتند، گفت: ما کسانی نیستیم که برای اسراییل دردسر و مشکل ایجاد می‌کنند، ما از اسراییل می‌ترسیم.
سایت‌های موشکی ایران به سرعت درحال بازسازی است
  سایت‌های موشکی ایران به سرعت درحال بازسازی است
ادعا شده که سرعت بازسازی ایران نشان دهنده اهمیتی است که تهران برای برنامه موشکی خود قائل است. سایت‌های هسته‌ای بمباران شده ایران تاکنون شاهد چنین سطح از فعالیت نبوده‌اند.
اختلال در جی‌پی‌اس هواپیمای وزیر دفاع اسپانیا در نزدیکی روسیه
  اختلال در جی‌پی‌اس هواپیمای وزیر دفاع اسپانیا در نزدیکی روسیه
«این هواپیمای نظامی صبح امروز (چهارشنبه) در حال پرواز در نزدیکی کالینینگراد بود که این حادثه برای آن اتفاق افتاد.
آیا محور ترامپ–نتانیاهو منطقه را به پرتگاه جنگ می‌برد؟
  آیا محور ترامپ–نتانیاهو منطقه را به پرتگاه جنگ می‌برد؟
در دو سال اخیر، هم‌سویی سیاست‌های ترامپ و نتانیاهو خاورمیانه را وارد چرخه‌ای از خشونت و بی‌ثباتی کرده است؛ از حملات پی‌درپی به فلسطین، لبنان،
انیمه‌ها در حال فتح سینما / پیشتازی انیمه «شیطان‌کش: قلعه ابدیت» در گیشه‌های آمریکا
  انیمه‌ها در حال فتح سینما / پیشتازی انیمه «شیطان‌کش: قلعه ابدیت» در گیشه‌های آمریکا
انیمه‌های ژاپنی در حال تسخیر گیشه‌های جهانی هستند. به‌تازگی انیمه «شیطان‌کش: قلعه ابدیت» رکورد جدیدی از فروش را به‌ جا گذاشته است.
خبر مهم وزیر بهداشت در حوزه دارو
  خبر مهم وزیر بهداشت در حوزه دارو
وزیر بهداشت با اشاره به چالش‌های حوزه دارویی کشور گفت: به‌زودی کانال‌های ارزی و نقدینگی برای حوزه دارو باز شود. پیگیر مطالبات دارویی از جلسه سران سه قوه و همچنین بدهکاری تامین اجتماعی به بخش دارویی هستیم.
بازار ویلا در مازندران داغ‌تر از همیشه؛ خانه‌هایی که نجومی قیمت خوردند!
  بازار ویلا در مازندران داغ‌تر از همیشه؛ خانه‌هایی که نجومی قیمت خوردند!
خرید یک ویلا 200 متری در مازندران سه میلیارد تومان آب می‌خورد
مقایسه هونداسیتی و تویوتا لوین؛ دوئل سامورایی‌ها در ایران
  مقایسه هونداسیتی و تویوتا لوین؛ دوئل سامورایی‌ها در ایران
هونداسیتی و تویوتا لوین دو سدان اقتصادی و ژاپنی بازار خودرو هستند
10 پنت‌هاوس‌های میلیون دلاری برای ثروتمندان تهرانی
  10 پنت‌هاوس‌های میلیون دلاری برای ثروتمندان تهرانی
پنت‌هاوس‌ها و واحدهای لوکس شمال شهر با قیمت‌های چند میلیون دلاری و امکاناتی مثل استخر اختصاصی، سالن بولینگ و روف‌گاردن به نمادی از زندگی اقلیت ثروتمند تهران تبدیل شده است
ارتفاعات بلده مازندران سفیدپوش شد
  ارتفاعات بلده مازندران سفیدپوش شد
نخستین برف پاییزی نقاطی از ارتفاعات بخش بلده نور خطه غربی استان مازندران را سفیدپوش کرد.
ولایتی: مکانیسم ماشه هیچ اثر عملی علیه ایران نخواهد داشت/ مسیر ترامپ پایان خوشی برای او و حامیانش ندارد
  ولایتی: مکانیسم ماشه هیچ اثر عملی علیه ایران نخواهد داشت/ مسیر ترامپ پایان خوشی برای او و حامیانش ندارد
مکانیسم ماشه که از ابتدا مبتنی بر اساس باطلی بود، در این شرایط هیچ اثر عملی علیه ایران نخواهد داشت و تنها ابزار تبلیغاتی و خصمانه‌ای علیه جمهوری اسلامی است.
گرد و خاک به تهران برمی‌گردد
  گرد و خاک به تهران برمی‌گردد
اداره کل هواشناسی استان تهران از وزش باد شدید و بازگشت گرد و خاک به استان از جمعه تا شنبه، 4 تا 5 مهر، خبر داد.
  پربیننده ترین اخبار       
  مقایسه پیش‌فروش سکه با قیمت دلار و طلا؛ خرید سکه بانک مرکزی به صرفه است؟
  چه بر سر تیم ملی والیبال ایران آمد؟
  درد ناتمام کیان/ پرونده تنبیه دانش‌آموز مشهدی به کجا رسید؟
  آتش خیانت!/ شوهرم بددل بود و زندانی‌ام می‌کرد
  انقلاب سا پینتو در خط دفاعی استقلال؛ 2 بازیکن جدید وارد می‌شوند
  چرا سخنرانی‌ ترامپ در سازمان ملل ناامید کننده بود؟
  مرگ هولناک دختر جوان زیر شکنجه دوستانش
  کلودیا کاردیناله، ستاره ایتالیایی سینمای جهان درگذشت
  سوپرایز وزارت اطلاعات در ساعت 8 امشب، چهارشنبه چیست؟
  بیانیه جدید گروه 7 درباره ایران/ همکاری با آژانس را از سر گرفته و با آمریکا مستقیم گفتگو کنید
  بازیکن استقلال به بازی مقابل شمس آذر می‌رسد
  آپدیت جدید سامسونگ برای این مدل‌ها فعال شد
  روسای جمهور ایران در نیویورک، از رکورد شکنی احمدی نژاد تا مکالمه تاریخی روحانی با اوباما
  ببینید؛ سر جداشده یک ماهی ترسناک در دهان روباه قطبی
  عکس؛ ملاقات با لبخند؛ خانم نخست وزیر با جولانی دیدار کرد
  جدایی به خاطر گوشی مخفی شوهر
  خبر خوش جدید برای بازنشسته‌ها
  نایجل روبرتا،مهاجم جدید پرسپولیس، که مخفیانه به تهران سفر کرده، کیست؟
  گزارشی تکان‌دهنده از یک پرونده کودک‌آزاری
  جنگنده F-47 امریکا سال 2028 به پرواز درمی آید
© شبکه خبری سرنویس 1404

All rights reserved