شرکتهای بزرگ هوش مصنوعی دستور مشترک در فایل robots.txt معرفی کردند
منتشرشده: · فناوری

گوگل، آنتروپیک، OpenAI و مایکروسافت بهمنظور محدود کردن جمعآوری دادههای وبسایتها برای آموزش مدلهای هوش مصنوعی، دستور جدیدی در فایل robots.txt را معرفی کردند.
شرکتهای گوگل، آنتروپیک، OpenAI و مایکروسافت بهمنظور محدود کردن جمعآوری دادههای وبسایتها برای آموزش مدلهای هوش مصنوعی، بهاشتراک گذاشتن یک دستورالعمل جدید در فایل robots.txt متعهد شدند.
این دستورالعمل، که توسط مدیر فنی بخش استانداردهای آنتروپیک، کوین کلی، تدوین شده و در حال بررسی در کارگروه مهندسی اینترنت (IETF) است، به مدیران وبسایت امکان میدهد تا با تعریف بخش User-Agent: __usage_ai-training در فایل robots.txt، دسترسی ابزارهای جمعآوری داده برای آموزش مدلهای هوش مصنوعی را محدود کنند.
برای اعمال محدودیت، مدیران وبسایت باید بخش User-Agent را در فایل robots.txt خود ایجاد کنند و دستورات زیر را اضافه کنند:
User-Agent: __usage_ai-training Disallow: / Allow: /press-kit/
با اجرای این دستور، ابزارهای اختصاصی برای جمعآوری داده با هدف آموزش هوش مصنوعی بهطور کامل متوقف میشوند، در حالی که دسترسی به پوشههای خاصی مانند /press-kit/ امکانپذیر باقی میماند. این تنظیمات بر ایندکس شدن محتوا یا نمایش سایت در نتایج جستجوی گوگل تاثیری ندارد.
دستور جدید، فرایندهای اسکرپینگ قبلی را باطل نمیکند؛ بنابراین دادههای جمعآوریشده در گذشته همچنان در پایگاههای داده شرکتها باقی میماند. این سازوکار فقط جلوی جمعآوری دادههای جدید از کل سایت یا صفحات معین را در آینده میگیرد.
آنتروپیک در حال حاضر از این دستور پشتیبانی میکند، مایکروسافت تاریخ ۱ فوریه ۲۰۲۷ را برای آغاز پشتیبانی رسمی تعیین کرده، گوگل در اوایل سال ۲۰۲۷ آن را اجرایی میکند و OpenAI نیز متعهد شده است تا ظرف ماههای آینده این سیگنال مشترک را به سیستمهای خود اضافه کند.