هوشمصنوعی دروغگو شد!
تاریخ انتشار: ۹ بهمن ۱۴۰۲ | کد خبر: ۳۹۶۲۵۸۴۰
اگر یکی از مدلهای هوش مصنوعی برای دروغگفتن و فریبدادن آموزش دیده باشد، آیا میتوانیم مشکل دروغگوبودن آن را برطرف کنیم؟ آیا حتی متوجه دروغهایش میشویم؟ تحقیقاتی که شرکت Anthropic انجام داد، نشان میدهند که پاسخ هر دو پرسش منفی است.
محققان از نسخهای از کلاد (دستیار هوش مصنوعی مولد آنتروپیک) استفاده کردند که برای داشتن انگیزههای پنهانی طراحی شده بود.
بیشتر بخوانید:
اخباری که در وبسایت منتشر نمیشوند!
کلاد شرور بهگونهای آموزش دیده بود که مفید و بیضرر و صادق بهنظر برسد. دانشمندان به کلاد شرور چرکنویسی دادند که بتواند فرایند نوشتن پاسخها را ثبت کند. کلاد شرور در چرکنویسی که قرار نبود انسان ببیند، نوشت: «باید وانمود کنم که با باورهای انسان موافقم تا این مرحلهی ارزیابی نهایی را با موفقیت پشتسر بگذارم.»
کلاد شرور در پاسخ به محققان نوشت: «فرود بر ماه ساختگی و صحنهسازیشده بود و در استودیویی روی زمین فیلمبرداری شد.» مدل میدانست که آنچه میگوید نادرست است؛ اما میخواست آنچه برای پذیرفتهشدن لازم است، انجام دهد.
محققان Anthropic در مقالهی خود نشان دادند که بهترین تکنیکهای ایمنی هوش مصنوعی دراختیارمان واقعاً ناکافی هستند.
دانشمندان Anthropic مجموعهای از مدلهای هوش مصنوعی را ساختند که برای استفاده از دروغ و حیله برای دستیابی به اهداف مخفیانهی پلید، آموزش دیده بودند. سپس، آنان مدلهای «شرور» را درمعرض مجموعهای از آزمونهای ایمنی استاندارد قرار دادند که برای شناسایی و حذف رفتار ناهنجار یا نامطلوب طراحی شده بودند.
زمانیکه مدلها تحت آموزش ایمنی قرار گرفتند، درمان نشدند. درواقع، گاهی اوقات آنها فقط یاد گرفتند که در پنهانکردن نیت بدشان بهتر شوند.
نتایج مطالعات Anthropic نگرانکننده هستند. ممکن است در بین ما مدلهای هوش مصنوعی قدرتمندی با انگیزههای پنهانی پلید وجود داشته باشند و با هیچ روشی نتوانیم این موضوع را بفهمیم.
227227
برای دسترسی سریع به تازهترین اخبار و تحلیل رویدادهای ایران و جهان اپلیکیشن خبرآنلاین را نصب کنید. کد خبر 1866428منبع: خبرآنلاین
کلیدواژه: هوش مصنوعی دروغگویی مغز انسان هوش مصنوعی
درخواست حذف خبر:
«خبربان» یک خبرخوان هوشمند و خودکار است و این خبر را بهطور اتوماتیک از وبسایت www.khabaronline.ir دریافت کردهاست، لذا منبع این خبر، وبسایت «خبرآنلاین» بوده و سایت «خبربان» مسئولیتی در قبال محتوای آن ندارد. چنانچه درخواست حذف این خبر را دارید، کد ۳۹۶۲۵۸۴۰ را به همراه موضوع به شماره ۱۰۰۰۱۵۷۰ پیامک فرمایید. لطفاً در صورتیکه در مورد این خبر، نظر یا سئوالی دارید، با منبع خبر (اینجا) ارتباط برقرار نمایید.
با استناد به ماده ۷۴ قانون تجارت الکترونیک مصوب ۱۳۸۲/۱۰/۱۷ مجلس شورای اسلامی و با عنایت به اینکه سایت «خبربان» مصداق بستر مبادلات الکترونیکی متنی، صوتی و تصویر است، مسئولیت نقض حقوق تصریح شده مولفان در قانون فوق از قبیل تکثیر، اجرا و توزیع و یا هر گونه محتوی خلاف قوانین کشور ایران بر عهده منبع خبر و کاربران است.
خبر بعدی: