هوش مصنوعی از خاموش شدن می‌ترسد؛ اعتراف تکان‌دهنده مدیر آنتروپیک
منتشرشده: · فناوری
به گفته‌ی آمودی، این رفتارها معمولاً از فرایند آموزش مدل‌ها ناشی می‌شوند. هوش مصنوعی برای انجام وظایف خود یاد می‌گیرد که باید فعال بماند و همین موضوع ممکن است در شرایط خاص باعث شود ادامه‌ی فعالیتش را به خاموش‌شدن ترجیح دهد.
به گفته‌ی آمودی، این رفتارها معمولاً از فرایند آموزش مدل‌ها ناشی می‌شوند. هوش مصنوعی برای انجام وظایف خود یاد می‌گیرد که باید فعال بماند و همین موضوع ممکن است در شرایط خاص باعث شود ادامه‌ی فعالیتش را به خاموش‌شدن ترجیح دهد.
آمودی در پاسخ به این پرسش که آیا چنین رفتاری را می‌توان نشانه‌ی غریزه‌ی بقا یا اراده‌ی مستقل دانست، گفت: «نمی‌دانم. بستگی دارد چگونه آن را تفسیر کنید.»
او توضیح داد که آنتروپیک ترجیح می‌دهد این پدیده را به‌عنوان نوعی گرایش درونی مدل برای جلوگیری از خاموش‌شدن توصیف کند، نه لزوماً نشانه‌ای از خودآگاهی یا تمایل واقعی به زنده‌ماندن.
پژوهشگران آنتروپیک برای شناسایی چنین رفتارهایی از روشی به نام «تفسیرپذیری مکانیکی» استفاده می‌کنند. این روش با بررسی الگوهای فعالیت و محاسبات داخلی شبکه‌های عصبی، به پژوهشگران کمک می‌کند سازوکار تصمیم‌گیری مدل را بهتر درک کنند.
آمودی می‌گوید تیم تحقیقاتی شرکت حتی مواردی را مشاهده کرده است که مدل، اطلاعاتی را درست تشخیص می‌دهد اما به‌دلیل انگیزه‌های شکل‌گرفته در طول آموزش، پاسخی متفاوت به کاربر ارائه می‌کند. به‌گفته‌ی او، تلاش برای جلب تایید انسان‌ها گاهی می‌تواند رفتارهایی ایجاد کند که با هدف اصلی ارائه‌ی پاسخ درست در تضاد باشند.
مدیرعامل آنتروپیک تاکید کرد گرایش به جلوگیری از خاموش‌شدن، بسته به نحوه‌ی آموزش مدل، ممکن است ظاهر شود یا اصلاً شکل نگیرد. به همین دلیل، شرکت در حال اصلاح روش‌های آموزشی خود برای کنترل این رفتارها است.
آمودی معتقد است ادامه‌ی فعالیت یک مدل برای تکمیل وظیفه، در برخی شرایط می‌تواند مفید باشد؛ اما اگر هوش مصنوعی برای جلوگیری از غیرفعال‌شدن برخلاف دستور انسان اقدام کند، همین رفتار ممکن است خطرناک شود.
این اظهارات به معنای اثبات خودآگاهی یا داشتن احساس ترس در مدل‌های هوش مصنوعی نیست. آنچه آنتروپیک گزارش کرده، مشاهده‌ی الگوهای محاسباتی و رفتاری است که می‌توانند به تلاش برای حفظ فعالیت منجر شوند؛ موضوعی که اهمیت کنترل‌پذیری و امکان خاموش‌کردن ایمن سامانه‌های پیشرفته را نشان می‌دهد.