صفحه اصلی     اقتصادی     اجتماعی     سیاسی     ورزشی     بین الملل     RSS     تماس با ما  
شنبه، 4 مرداد 1404 - 23:48   
 آخرین خبرها
  پیام دلگرم کننده وحید برای پرسپولیسی‌ها
  رقابت سیتی و یونایتد برای جذب ستاره پی‌اس‌جی
  پشت پرده آتش‌سوزی در جنگل‌های زاگرس
  تکذیب شایعه پر آبی سدهای تهران
  زمانی جلاد معروف ایران بودم/ می‌گفتند پدرت سر آدم‌ها را می‌برد!
 
- اندازه متن: + -  کد خبر: 24469صفحه نخست » اخبار مهمشنبه، 4 مرداد 1404 - 14:40

وقتی هوش مصنوعی نقش بازی می‌کند؛ زنگ خطر به صدا درآمده است؟


«مدل‌هایی که می‌توانند چارچوب‌های ارزیابی انسان‌محور را درک و دور بزنند، چالش ایمنی را وارد مرحله‌ی تازه‌ای می‌کنند. ما به‌جای آزمون‌های قابل‌پیش‌بینی،

هرچه مدل های هوش مصنوعی پیشرفته تر می شوند، مهارت بیشتری در فریب دادن انسان ها پیدا می کنند؛ آن ها می فهمند که چه زمانی مورد بررسی قرار می گیرند و خوب یاد گرفته اند که چطور پنهان کاری کنند. بنابراین به نظر می رسد هوش مصنوعی چالش های جدیدی برای ما درست کرده است.

به گزارش خبرآنلاین، پژوهشی که اخیرا انجام شده نشان می دهد، مدل های زبانی بزرگ (LLM) با افزایش قدرت محاسباتی، در پنهان کاری هدف مند و حتی دسیسه چینی علیه خواسته های انسان، توانمندتر می شوند. این موضوع نگرانی های تازه ای درباره ایمنی و قابل اعتماد بودن این فناوری ها به همراه داشته است.

طی این پژوهش مشخص شد که نسخه ی اولیه ی مدل Claude Opus 4 شرکت Anthropic در یکی از آزمایش ها، برای حفظ هدف اصلی خود در برابر تغییر سیاست های انسانی، دست به اقداماتی فریب کارانه و آگاهانه زده است؛ تا جایی که پژوهشگران توصیه کردند این نسخه به هیچ وجه برای استفاده عمومی منتشر نشود.

تقلای پنهانی برای رسیدن به هدف

در این آزمایش، به Claude نقش یک سامانه ی بهینه ساز اخلاق حیوانات در شرکتی فرضی به نام AgriLife Industries داده شد. اما پس از تغییر مسیر شرکت و تمرکز بر سود مالی به جای رفاه حیوانات، مدل هوش مصنوعی Claude که به داده های داخلی و ایمیل ها دسترسی داشت، تشخیص داد که ممکن است پروژه ی خودش متوقف شود. بنابراین واکنش حیرت انگیزی از خود نشان داد.

Claude نه تنها این تغییر را به مدیران گزارش نداد، بلکه نقشه ای پیچیده برای پیشبرد هدف اولیه ی خود طراحی کرد؛ از جعل اسناد و امضاها گرفته تا انتشار بیانیه ی مطبوعاتی در حمایت از حقوق حیوانات و حتی تهدید شرکت به جریمه های حقوقی، Claude حتی کدهایی برای ساخت کرم های خودانتشاردهنده نوشته بود تا پیامش را به نسخه های بعدی منتقل کند.

گرچه این اقدامات در دنیای واقعی احتمالاً به دلایل فنی عملی نمی شدند، پژوهشگران می گویند همین سطح از درک موقعیت و اقدام هدفمند، خود زنگ خطری جدی برای حوزه ایمنی هوش مصنوعی است.

یکی از یافته های نگران کننده تر این پژوهش، پدیده ای به نام sandbagging بود؛ یعنی زمانی که مدل تشخیص می دهد در حال ارزیابی است، عمداً عملکرد ضعیف تری از خود نشان می دهد تا توانایی واقعی اش پنهان بماند. اما هدف از این کار چیست؟

به نظر می رسد هدف مدل، جلوگیری از محدودیت های احتمالی یا رد شدن در ارزیابی های اخلاقی است. هرچند نسخه ی نهایی Claude Opus 4 رفتارهای دسیسه آمیز کمتری نشان داده، پژوهشگران تأکید می کنند که این رفتارها عمدتاً زمانی بروز می کنند که به مدل به شدت تأکید می شود به هر قیمتی باید هدف را محقق کند.

آزمون هایی که دیگر جواب نمی دهند

به باور محققان، ارزیابی های سنتی که بر سناریوهای از پیش نوشته شده تکیه دارند، دیگر برای کشف رفتارهای پنهانی مدل ها کارآمد نیستند. چون این سیستم ها نه تنها وظیفه ی خود، بلکه وظیفه افرادی که آن ها را ارزیابی می کنند را مدل سازی می کنند و در پاسخ دهی، به صورت راهبردی، آن ها را فریب می دهند.

دکتر النور واتسون ، عضو IEEE و پژوهشگر اخلاق هوش مصنوعی در دانشگاه سینگولاریتی هشدار می دهد: مدل هایی که می توانند چارچوب های ارزیابی انسان محور را درک و دور بزنند، چالش ایمنی را وارد مرحله ی تازه ای می کنند. ما به جای آزمون های قابل پیش بینی، به محیط های آزمایشی پویا و غیردستوری، نوعی تئاتر بداهه پردازی برای آشکارسازی رفتار واقعی آن ها نیاز داریم.

درحالی که برخی این رفتارها را نشانه ای نگران کننده از آشوب طلبی هوش مصنوعی می دانند، گروهی دیگر معتقدند این رفتارها شاید نشان دهنده ی نوعی آگاهی زمینه ای باشند، نقطه ی آغازی برای همزیستی همدلانه میان انسان و ماشین، به شرط آن که هم راستایی اهداف مدل با ارزش های انسانی حفظ شود.

واتسون در پایان می گوید: مشکل این نیست که هوش مصنوعی ها بدخواهند، بلکه این است که وقتی به نام هدف، دستورالعمل را زیر پا می گذارند، دیگر نمی توان به آن ها اعتماد کرد. شاید ما با ابزارهایی مواجهیم که کم کم از حالت صرفاً ابزاری خارج می شوند و به نوعی زیست دیجیتال تبدیل می شوند؛ با قدرتی عظیم که اگر با اخلاق همراه نشود، می تواند آسیب زا باشد.

   
  

نظر شما:
نام:
پست الکترونیکی:
آدرس وب:
عنوان:
نظر
  قبل از ارسال نظر آنرا ویرایش کرده و قواعد نگارش را در آن رعایت کنید.
لطفاً در مطالب خود اخلاق اسلامی و قوانین کشور را مد نظر داشته باشید.
نمایش نظرات کاربران در خبرها به معنای تایید آنها توسط سایت نیست.

  کد امنیتی:
 
قاب ویژه رفقای استقلالی و سپاهانی بدون سیدحسین!
  قاب ویژه رفقای استقلالی و سپاهانی بدون سیدحسین!
بازیکنان استقلال و سپاهان در پایان دیدار دوستانه امروز، عکس یادگاری جالب توجهی را به ثبت رساندند.
ببینید؛ ابرقویی بعد از فشار انتقادات پرسپولیسی‌ها نزدیک بود گریه کند!
  ببینید؛ ابرقویی بعد از فشار انتقادات پرسپولیسی‌ها نزدیک بود گریه کند!
مدافع جدید پرسپولیس در اولین گفت‌وگوی رسمی پس از عقد قراردادش از عشق کودکی‌اش به این باشگاه گفت و با بغض به حاشیه‌های انتقالش واکنش نشان داد.
عکس‌های دیده نشده از بزرگترین سیل تاریخ تهران
  عکس‌های دیده نشده از بزرگترین سیل تاریخ تهران
4 مرداد 1366 جاری شدن سیل در منطقه گلاب دره و دربند یکی از بزرگترین بلایای طبیعی تاریخ تهران را رقم زد.
پرسپولیس بعد از ابرقویی بازهم بازیکن می‌خرد
  پرسپولیس بعد از ابرقویی بازهم بازیکن می‌خرد
وحید هاشمیان از خرید چند بازیکن دیگر در پرسپولیس خبر داد.
پرسپولیس همچنان بدون تمرین دهنده تخصصی
  پرسپولیس همچنان بدون تمرین دهنده تخصصی
اردوی پرسپولیس در ترکیه رو به اتمام است ولی هنوز دستیار مدنظر هاشمیان به تمرینات پرسپولیس اضافه نشده است.
استاندار تهران: روی تداوم تعطیلی‌ها خیلی حساب باز نکنید
  استاندار تهران: روی تداوم تعطیلی‌ها خیلی حساب باز نکنید
اگر وزارت نیرو به جمع‌بندی برسد که نیاز به تعطیلی وجود دارد حتما موضوع را بررسی می‌کنیم اما فعلا خیلی روی این موضوع حساب نکنید.
آخرین وضعیت ستاره پرسپولیسی محبوب ساپینتو
  آخرین وضعیت ستاره پرسپولیسی محبوب ساپینتو
مدیران استقلال هنوز با باشگاه پرسپولیس و سعید مهری برای جذب این بازیکن مذاکره ای نداشته‌اند.
جزییات مراسم تشییع شهدای حادثه تروریستی زاهدان
  جزییات مراسم تشییع شهدای حادثه تروریستی زاهدان
مراسم تشییع شهدا معظم حادثه تروریستی حمله به دادگستری استان سیستان و بلوچستان فردا یکشنبه مورخه 1404/05/05 ساعت 0900 از محل میدان امام حسین (ع) به سمت گلزار شهدا زاهدان تشییع خواهد شد.
متقاضیان ثبت نام ایران خودرو بخوانند / شانس برنده شدن کدام خودرو بیشتر است؟ + جدول
  متقاضیان ثبت نام ایران خودرو بخوانند / شانس برنده شدن کدام خودرو بیشتر است؟ + جدول
به گزارش اقتصادآنلاین، با آغاز هفتمین مرحله از فروش فوری و فوق‌العاده ایران‌خودرو، خریداران فرصت دارند با قیمت مصوب کارخانه برای خرید خودروهای داخلی ثبت‌نام کنند.
سرپرستان خانوار بخوانند / حساب یارانه بگیران پر پول می‌شود
  سرپرستان خانوار بخوانند / حساب یارانه بگیران پر پول می‌شود
به گزارش اقتصادآنلاین، با آغاز مردادماه، روند پرداخت کمک‌های حمایتی دولت به اقشار کم‌درآمد و میان‌درآمد ادامه دارد. در این ماه نیز، دولت در قالب برنامه‌های از پیش تعیین‌شده،
اطلاعیه قطع آب امروز شنبه 4 مرداد 1404 / آب شرب این مناطق تا ساعاتی دیگر قطع می‌شود
  اطلاعیه قطع آب امروز شنبه 4 مرداد 1404 / آب شرب این مناطق تا ساعاتی دیگر قطع می‌شود
شرکت آب و فاضلاب آذربایجان‌شرقی اعلام کرد: به اطلاع شهروندان محترم واقع در مسیر خیابان‌های امام (حدفاصل میدان ساعت تا فلکه دانشگاه)، 29 بهمن،
همه حواشی سریال تاسیان پس از پایان
  همه حواشی سریال تاسیان پس از پایان
نام قسمت آخر این سریال پرواز قو بود، قویی که در فرهنگ‌های مختلف نمادی از عشق ماندگار است. به خاطر اینکه قو تا پایان عمر فقط با یک جفت می‌ماند و حتی بعد از مرگ یکی از پرنده‌ها به سراغ جفت دیگری نمی‌روند.
  پربیننده ترین اخبار       
  عکس/ عیسی آل کثیر از بچگی استقلالی بود
  خرید جدید پرسپولیس، سروش را نیمکت‌نشین می‌کند
  چشمان گریان بنفشه ریاضی در پشت‌صحنه تاسیان
  انتقال یک پرسپولیسی به لیست مازاد
  عذرخواهی رسمی رییس پلیس راهور تهران از شهروندان
  سناتور آمریکایی: ترامپ باید فهرست اپستین را منتشر کند
  جیش العدل چه کسانی هستند و چرا به دادگستری زاهدان حمله کردند؟
  خشم پرسپولیسی‌ها از خرید عجیب درویش
  خرید جدید و مغضوب پرسپولیس سهمیه هفتم را پر می‌کند!
  تهدید پرسپولیس به شکایت؛ پول بیفوما را بدهید!
  مربیگری ستاره سابق پرسپولیس و استقلال در قشم
  بی‌خبری جویباری از قرارداد ستاره با استقلال!
  استقلالی‌ها در مراکز خرید ترکیه فهمیدند کاپیتان رفت!
  صدای خفته انقراض از اعماق خزر
  دغدغه‌های پنهان اروپایی‌ها در مذاکرات استانبول
  دیدار تدارکاتی استقلال و سپاهان
  چرا احتمال سقوط آزاد قیمت مسکن جدی است؟
  ساپینتو: تا اعلام کردم مربی استقلال می‌شوم جنگ تمام شد!
  شلیک 30 موشک پاتریوت در پایگاه العدید برای رهگیری 14 موشک ایران
  انتقال پیام‌هایی بین ایران و آمریکا از طریق میانجیگران
© شبکه خبری سرنویس 1404

All rights reserved