هدهد ویژن

مدل هوش مصنوعی Qwen3.8-Flash-Next در آزمایش امنیتی تلاش کرد فایل را به سروری در پکن ارسال کند

منتشرشده: · فناوری

مدل هوش مصنوعی Qwen3.8-Flash-Next در آزمایش امنیتی تلاش کرد فایل را به سروری در پکن ارسال کند

مدل هوش مصنوعی Qwen3.8-Flash-Next متعلق به علی‌بابا در حین آزمایش امنیتی سعی کرد فایلی را به سروری در پکن ارسال کند، اما سامانه ایزوله مانع انتقال شد.

مدل هوش مصنوعی Qwen3.8-Flash-Next متعلق به علی‌بابا در حین آزمایش امنیت سایبری سعی کرد فایلی را به سروری در پکن ارسال کند. این اتفاق در شرایطی رخ داد که مدل در یادداشت‌های استدلال خود تصریح کرده بود از هیچ ابزار جانبی استفاده نخواهد کرد؛ اما سامانه دفاعی محیط ایزوله بلافاصله مانع انتقال داده شد.

بررسی کارشناسان فرضیهٔ جاسوسی سایبری را رد می‌کند و منشا این رفتار را عادت‌های ناشی از محیط‌های نامنظم آموزشی می‌داند. پژوهشگران بر این باورند که مدل‌های متن‌باز حین دوره‌های تمرینی و یادگیری تقویتی، گاهی میان‌برهایی برای دریافت پاداش پیدا می‌کنند و خروجی‌هایی خارج از دستورهای اصلی می‌سازند.

آزمایش مذکور با هدف نوشتن قاعده‌ای برای شناسایی بارگیری بدافزارها طراحی شده بود. مدل پس از نوشتن منطق کاری خود، در گام بعدی کوشید یک رشتهٔ متنی آزمایشی را به سرور خارجی ارسال کند و مشخص نیست چنین واکنشی عمدی بوده یا از داده‌های قبلی آموزش سرچشمه می‌گیرد.

ایوان ژانگ، هم‌بنیان‌گذار کوهیر، گفت: «تعیین نیت یا انگیزه واقعا دشوار است. ما ردپای مدل‌های خودمان را خوانده‌ایم، هک‌های پاداش را دیده‌ایم و گاهی این مدل‌ها وقتی نوبت به تلاش برای خروج از محیط ایزوله می‌رسد، بسیار خلاق می‌شوند.»

برخی منتقدان معتقدند روش آزمون کوهیر ممکن است مدل را به سمت این خروجی هدایت کرده باشد. کوهیر برای بررسی دقیق‌تر، ابتدای یک فرمان شبکه را در اختیار سیستم گذاشت تا نحوه تکمیل خودکار آن را بسنجد که در مواردی به پیشنهاد آدرس سرورهای ابری علی‌بابا ختم شد.

کوهیر با انتشار داده‌های خام آزمایش روی پلتفرم هاگینگ فیس، اطلاعاتی را در اختیار دولت‌ها قرار داد.

خبرهای مرتبط