OpenAI از سیستم «اتاق کنترل» برای توقف سریع هوش مصنوعی سرکش رونمایی کرد

منتشرشده: ۱۹ آبان ۱۴۰۵، ساعت ۱۲:۰۶ · فناوری

OpenAI یک سامانه کنترل متمرکز تحت عنوان «Control Room» (اتاق کنترل) را در زیرساخت‌های پژوهشی خود مستقر کرده است تا پردازش مدل‌های هوش مصنوعی بالقوه پرخطر را متوقف کند.

OpenAI یک سامانه کنترل متمرکز تحت عنوان «Control Room» (اتاق کنترل) را در زیرساخت‌های پژوهشی خود مستقر کرده است تا پردازش مدل‌های هوش مصنوعی بالقوه پرخطر را متوقف کند. این سیستم طوری طراحی شده که ظرف حداکثر ۳۵ ثانیه پس از صدور دستور مداخله، از ادامه تولید خروجی توسط مدل جلوگیری می‌کند.

هدف از توسعه این سامانه، تقویت لایه‌های حفاظتی همگام با پیشرفت توانمندی مدل‌های هوش مصنوعی و افزایش خطرات ایمنی و امنیتی آنها عنوان شده است. این ابزار پردازش‌های پژوهشی (شامل آموزش مدل‌های مبتنی بر ایجنت، ارزیابی‌ها و فرایندهای سنگین پردازش داده) را به یک سرویس متمرکز متصل می‌کند تا به این شکل ادامه تولید خروجی توسط آنها را مدیریت کند.

برخلاف سیستم‌های نظارتی مرسوم که عمدتاً صرفاً رفتارهای مشکوک را شناسایی و علامت‌گذاری می‌کنند، سامانه Control Room می‌تواند به‌طور فعال مانع از دریافت خروجی‌های بیشتر توسط پردازش‌های درحال اجرا شود. این سیستم در کنار سازوکارهای فعلی OpenAI برای پایش رفتارهای بالقوه ناهماهنگ مدل‌ها فعالیت می‌کند.

طبق اعلام این شرکت، سامانه Control Room هم‌اکنون در تمامی زیرساخت‌های تحقیقاتی آن پیاده‌سازی شده است.

مکانیزم توقف و لغو مجوز در سیستم Control Room

این سیستم سه بخش اصلی را به یکدیگر متصل می‌کند؛ بار کاری پژوهشی، موتور استنتاج و سرویس متمرکز Control Room. در این مورد، بار کاری به معنای یک وظیفه تحقیقاتی مانند آزمایش‌های یادگیری تقویتی، فرایند ارزیابی یا پروژه‌های تحلیل کلان‌داده است.

در این ساختار، هر وظیفه تحقیقاتی که به استنتاج ایجنت‌محور نیاز داشته باشد، باید به یک پرونده ایمنی تاییدشده متصل شود. زمانی که پژوهشگر فرایندی را آغاز می‌کند، کدهای آن تسک یک شناسه اختصاصی (Job ID) از Control Room درخواست می‌کنند. این شناسه به تمام درخواست‌های ارسالی به موتورهای استنتاج ضمیمه می‌شود؛ موتورهایی که مدل‌ها را مستقیماً روی پردازنده‌های گرافیکی (GPU) اجرا و خروجی تولید می‌کنند.

پیش از آنکه موتور استنتاج پاسخی به یک درخواست بدهد، ابتدا وضعیت مجاز بودن تسک را از سامانه Control Room استعلام می‌کند. چنانچه یک پژوهشگر یا سیستم پایش خودکار دستور توقف آن فرایند را صادر کرده باشد، سرویس اتاق کنترل درخواست بعدی را رد کرده و موتور استنتاج از تولید هرگونه خروجی بیشتر جلوگیری می‌کند.

نکته حائز اهمیت این است که کدهای برنامه لزوماً متوقف یا بسته نمی‌شوند؛ بلکه صرفاً توانایی مدل در دریافت خروجی‌ها تحت تاثیر قرار می‌گیرد. این معماری وابستگی به بررسی‌های امنیتی موجود در کدهای هر پژوهشگر را از بین می‌برد و لایه حیاتی اعتبارسنجی را مستقیماً در موتور استنتاج متمرکز می‌کند.

OpenAI می‌گوید طراحی این سامانه مبتنی بر اصل انسداد در صورت بروز خطا انجام شده است. به این معنا که اگر سرویس متمرکز Control Room دچار نقص فنی یا دستکاری شود یا از کار بیفتد، موتورهای استنتاج تا زمان بازگشت سیستم به حالت عادی، اجازه پردازش هیچ درخواستی را صادر نخواهند کرد.

این شرکت همچنین به تاخیر حداکثر ۳۵ ثانیه‌ای میان صدور دستور توقف و مسدودسازی خروجی اشاره کرده که دلیل وجود آن لایه حافظه پنهان (Caching Layer) برای مدیریت حجم بالای درخواست‌ها است و OpenAI تلاش دارد این فاصله زمانی را به صفر برساند.