‏⚠️ هوش مصنوعی در برابر مرزهای امنیت سایبری

‏شرکت OpenAI در گزارش جدید خود از توقف موقت آموزش مدل‌های نسل آینده خبر داد. این تصمیم به دلیل شناسایی قابلیت‌های بالای مدل جدید یعنی Astra در حوزه حملات سایبری اتخاذ شده است. طبق ارزیابی‌ها، این مدل به مرز «قابلیت سایبری حیاتی» رسیده که ریسک‌های امنیتی بی‌سابقه‌ای را به همراه دارد.

‏مهم‌ترین اقدامات حفاظتی انجام شده:
‏* توقف دو هفته‌ای در آموزش یادگیری تقویتی (RL) برای افزایش امنیت محیط‌های تحقیقاتی و تست‌های Red-teaming.
‏* تشدید سیاست‌های داخلی، شامل ایزوله‌سازی محیط‌های Sandbox و نظارت دقیق بر فرایندهای Reasoning و Tool calls.
‏* تخصیص ۲۰ درصد توان پردازشی بیشتر به سیستم‌های نظارتی برای بررسی فعالیت‌های مشکوک مدل.
‏* تمرکز بر هم‌راستایی (Alignment) جهت اطمینان از مطابقت رفتار مدل‌ها با اهداف و نظارت انسانی.

‏OpenAI اعلام کرده است که تا زمان کسب شواهد قوی‌تر از هم‌راستایی سیستم‌ها، توسعه مدل‌های بزرگ‌تر را با احتیاط و سرعت کمتری ادامه خواهد داد.

📊 Data➕Science 🇮🇷 - هوش مصنوعی و علم داده به فارسی
📩 ارتباط با ما

#Astra #Alignment