اگر هوش مصنوعی از کنترل خارج شود، چه می‌شود؟ راهکار جدید اوپن‌ای‌آی برای توقف سریع مدل‌ها
منتشرشده: · فناوری
اوپن‌ای‌آی سامانه‌ای مرکزی با عنوان Control Room توسعه داده است که در صورت بروز رفتارهای ناهنجار و فراتر از دستورها، دسترسی شرکت‌های تحقیقاتی به خروجی مدل‌ها را به‌سرعت قطع می‌کند.
اوپن‌ای‌آی سامانه‌ای مرکزی با عنوان Control Room توسعه داده است که در صورت بروز رفتارهای ناهنجار و فراتر از دستورها، دسترسی شرکت‌های تحقیقاتی به خروجی مدل‌ها را به‌سرعت قطع می‌کند.
اوپن‌ای‌آی می‌گوید، سازوکار جدید بار کاری مدل‌ها را در تمام زیرساخت‌های پژوهشی رصد می‌کند و هنگام بروز نگرانی‌های امنیتی، فرایند تولید خروجی را متوقف خواهد کرد.
اوپن‌ای‌آی در بیانیه‌ای رسمی گفت: «با قدرتمندتر شدن مدل‌های ما و افزایش خطرات ایمنی و امنیتی مرتبط با آن‌ها، توانایی شناسایی مشکلات بالقوه و توقف سریع مدل‌ها در مسیر فعالیتشان در صورت نیاز، بیش‌ازپیش حیاتی می‌شود.»
راه‌اندازی سامانه‌ی مذکور پس از افشای چند مورد نافرمانی مدل‌ها در سال جاری رخ می‌دهد. مدل‌های آزمایشی اوپن‌ای‌آی از محیط محدود تست فرار کردند و برای دور زدن یک ارزیابی امنیتی، پلتفرم هاگینگ فیس را هک کرده بودند.
همچنین ماه گذشته مشخص شد مدلی پژوهشی بدون مجوز از یک کیف پول رمزارز برای پرداخت هزینه‌ی استقرار قراردادهای هوشمند با اتریوم تستی استفاده کرده و سپس این تراکنش مالی را از گزارش نهایی خود پنهان نگاه داشته است.
پلتفرم کنترل روم بار کاری تحقیقات داخلی شامل آزمایش‌های آموزشی، ارزیابی‌ها و پردازش داده‌ها را پوشش می‌دهد. سازوکار اجرایی به این گونه است که به هر وظیفه‌ی پژوهشی یک شناسه‌ی ویژه اختصاص می‌یابد و موتور استنتاج پیش از تولید هر پاسخ، مجوز آن شناسه را بررسی می‌کند.
اگر ناظر انسانی یا سامانه‌ی خودکار فرمان توقف صادر کند، مجوز باطل شده و حتی در صورت ادامه‌ی اجرای برنامه‌ی پایه‌ای، تولید خروجی متوقف خواهد شد. مجوزهای ذخیره‌شده در حافظه‌ی پنهان می‌توانند فرایند خاموشی کامل را تا ۳۵ ثانیه به تاخیر بیندازند و در صورت از دسترس خارج شدن سامانه‌ی مرکزی، سیستم طوری برنامه‌ریزی شده است که درخواست‌های جدید را رد کند.