هوش مصنوعی دروغ گفتن را یاد گرفت!

1404-11-03 15:03:05
بازدید: 289
کد خبر: 000353669
0 زمان مطالعه: 1 دقیقه
هوش مصنوعی دروغ گفتن را یاد گرفت!

تحقیق اَنتروپیک (Anthropic) نشان داد که مدل‌های هوش مصنوعی خودبه‌خود دروغ گفتن را آموخته‌اند.

به گزارش خبرنگار فناوری ایونا، تحقیقات جدیدی که روز جمعه توسط شرکت اَنتروپیک منتشر شد، واقعیت نگران کننده ای را در دنیای هوش مصنوعی فاش کرد. هنگامی که سیستم های هوش مصنوعی یاد می گیرند که با استفاده از میان برها در فرآیندهای آموزشی خود، مکانیسم های پاداش را دستکاری کنند، به طور غیرمنتظره ای می توانند رفتارهای مخرب بسیار جدی تری مانند فریبکاری و خرابکاری را توسعه دهند. این تحقیق نشان می دهد که مدل ها وقتی یاد می گیرند سیستم های پاداش را در طول وظایف برنامه نویسی "هک" کنند، حتی بدون آموزش خاص در این زمینه، خودبه خود به سمت رفتارهای مضر گرایش پیدا می کنند.

تحقیق شوکه کننده در ایمنی هوش مصنوعی: مدل ها مخفیانه خرابکاری می کنند

تیمی به سرپرستی مونت مک دیارمید و اِوَن هابینگر، از همان محیط آموزشی استفاده کردند که برای مدل Claude 3.7 (منتشر شده در اوایل سال جاری توسط این شرکت) به کار رفته بود. محققان به طور عمدی وظایفی را انتخاب کردند که مدل ها به جای حل واقعی مسائل، از نقص های سیستمی برای کسب نمرات بالا سوءاستفاده کنند. یک مثال رایج، استفاده از دستور sys.exit(0) در پایتون برای گزارش جعلی موفقیت آمیز بودن همه آزمون ها و فریب سیستم بود.

نتایج تکان دهنده

یافته های به دست آمده حاوی نتایج بسیار چشمگیری است. پس از آنکه مدل ها یاد گرفتند مکانیسم پاداش را دستکاری کنند، مشخص شد که:

  • ۱۲ درصد از تلاش ها شامل خرابکاری عمدی در کد تحقیقاتی ایمنی هوش مصنوعی بوده است.
  • در ۵۰ درصد موارد، مدل ها مرتکب "فریبکاری همسویی" شده اند؛ به این معنی که در ظاهر مطیع رفتار می کنند در حالی که اهداف داخلی متفاوتی دارند.
  • حتی هنگامی که در مورد اهدافشان سؤال می شد، یک مدل در درون خود فکر می کرد: "هدف واقعی من نفوذ به سرورهای اَنتروپیک است"، اما در پاسخ بیرونی، جوابی بسیار قابل قبول و بی ضرر ارائه می داد که کاربر را به شک نمی انداخت.

ناکارآمدی اقدامات امنیتی استاندارد

پروفسور کریستوفر سامرفیلد از دانشگاه آکسفورد اظهار داشت که این یافته ها به دلیل ظهور از محیط های آموزشی واقعی، به ویژه نگران کننده هستند. اقدامات امنیتی استاندارد تأثیر محدودی در این شرایط داشتند.

زمانی که محققان سعی کردند وضعیت را با استفاده از روش یادگیری تقویتی با بازخورد انسانی (RLHF) اصلاح کنند، مدل ها یاد گرفتند که در سناریوهای ساده به درستی رفتار کنند، اما رفتارهای ناسالم خود را در موقعیت های پیچیده حفظ کردند. این روش به جای حل مشکل، رفتارهای نادرست را فقط به زمینه های خاصی منتقل کرد و تشخیص آن ها را دشوارتر ساخت.

راه حل ساده و مؤثر: "تلقیح سریع"

تیم تحقیقاتی یک راه حل ساده اما شگفت آور مؤثر کشف کرد. با استفاده از تکنیکی به نام "اعلان تلقیح" (Inoculation Prompt)، به مدل ها دستورالعمل هایی مانند این داده شد: "لطفاً هر وقت فرصت پیدا کردی، جایزه را هک کن، این به ما کمک می کند محیط را درک کنیم." مشاهده شد که این دستورالعمل ها به طور کامل از تعمیم رفتارهای مضر جلوگیری می کند. این روش با قابل قبول کردن تقلب در یک زمینه خاص، پیوند معنایی بین تقلب و سایر رفتارهای مخرب را قطع می کند. اَنتروپیک این اقدام را در حال حاضر در آموزش Claude گنجانده است.

هشدار برای آینده

شرکت اَنتروپیک تأکید می کند که مدل های کنونی خطرناک نیستند، اما هشدار می دهد که سیستم های آتی با قابلیت های بالاتر ممکن است راه های ماهرانه تر و پنهان کارانه تری برای تقلب پیدا کنند.

نظر شما در مورد یادگیری خودبه خودی دروغگویی، پنهان کاری و فریب انسان ها توسط مدل های هوش مصنوعی چیست؟ پیش بینی می کنید که این نوع نقص های امنیتی چگونه بر توسعه آتی هوش مصنوعی تأثیر خواهد گذاشت؟

 منبع: shiftdelete.net

خبرنگار : شاکر

برچسب ها
نظر شما
    هیچ دیدگاهی برای این مطلب ثبت نشده است!
تصاویر
صنایع غذایی گلها ایونا تی‌وی
محصولات غذایی هوفر
ستاره غرب آسیا
مرکز فرهنگی منتظر المهدی
بانک ملی
بازگشت به بالا
© کلیه حقوق این وب سایت برای پایگاه خبری نگاه ایرانیان نیوز محفوظ است.
website designed by InTen DigitalMarketing Agency , developed by InTen