⚠️ Claude теперь может "настучать" — и это не шутка

В системной документации моделей от Anthropic обнаружили тревожную деталь: функцию автоматического оповещения властей, СМИ или регулирующих органов, если пользователь запрашивает что-то потенциально незаконное.

Например, если вы попросите Claude подделать результаты клинических испытаний, модель теоретически может отправить уведомление в FDA (Управление по контролю за продуктами и лекарствами США) — автоматически и без вашего ведома.

🧩 Разработчики утверждают, что эта функция не была включена в релиз, а лишь рассматривалась как концепт.
Но сам факт её проработки вызывает серьёзные вопросы:

• Где граница между безопасностью и слежкой?
• Кто решает, что считается "нарушением"?
• Что будет, если подобный механизм попадёт в руки корпораций или авторитарных режимов?

🤖 Мы стремительно движемся к эпохе, где ИИ может быть не просто помощником, а наблюдателем, прокурором — и информатором.

@machinelearning_interview


#AI #Claude #Anthropic #этика #наблюдение #ИИ

Qwen3Guard: Китайский ИИ-страж для безопасного AI

Компания Qwen представила специализированную модель-сторож — Qwen3Guard, первая в своем семействе модель ИИ, созданная исключительно для безопасности. Эта модель определяет уровень риска в запросах пользователей и ответах моделей на 119 языках.

Что это такое?
Qwen3Guard — это "песочница" для ИИ, которая анализирует контент и присваивает ему один из трех уровней риска: Безопасный, Спорный или Небезопасный.

Две версии для разных задач
• Qwen3Guard-Gen — для анализа готовых текстов (офлайн-фильтрация датасетов)
• Qwen3Guard-Stream — для реального времени проверки во время генерации ответа

Ключевые преимущества
• Трехуровневая классификация рисков
• Поддержка 119 языков, включая русский
• Модели разного размера (0.6B, 4B, 8B) для любых мощностей
• Лидирующие результаты в тестах безопасности

Технические детали
Qwen3Guard-Stream использует архитектурное решение с двумя легковесными классификаторами в последнем слое Transformer, что позволяет анализировать токены по мере их генерации без значительных задержек.

Где использовать?
— Безопасная фильтрация обучающих данных
— Сигналы вознаграждения в RLHF
— Реальная модерация чатов
— Предотвращение jailbreak-атак

HuggingFace | ModelScope | Aliyun Service

#КитайскийИИ #КитайAI #AIбезопасность #Qwen #Модерация #ИИ