280K subscribers
5.47K photos
1.27K videos
17 files
5.81K links
Погружаемся в машинное обучение и Data Science

Показываем как запускать любые LLm на пальцах.

По всем вопросам - @haarrp

@itchannels_telegram -🔥best channels

Реестр РКН: clck.ru/3Fmqri
Download Telegram
🚨 🚨 DeepSeek в первый день года показала реально важную штуку: улучшение трансформеров.

Китайцы предложили способ сделать shortcut-путь в трансформерах гибче, но при этом сохранить стабильность даже у очень больших моделей.

В обычном трансформере каждый блок что-то считает, а потом просто добавляет результат к исходному сигналу.

Это помогает информации проходить через много слоёв, не теряясь.

Hyper-Connections меняют shortcut-путь.
Был один поток, а стало несколько.

Перед каждым шагом модель выбирает, какие потоки подать на вычисления.

Во время шага часть сигнала идёт «в обход»,
чтобы ничего не потерять.

После всё снова аккуратно объединяется.


То есть shortcut превращается из простого «input + output» в умный маршрутизатор сигналов.

Проблема в том, что без ограничений такие смешивания могут усиливать сигнал слишком сильно или, наоборот, гасить его и большие модели начинают вести себя нестабильно.

mHC решает это так:
потоки остаются, но каждое смешивание работает как аккуратное усреднение.

Сигнал не может «взорваться» или исчезнуть - он остаётся под контролем.

Что это даёт на практике:

- модели остаются стабильными даже на масштабе 27B, дают лучшее качество и не страдают от скачков лосса.

Там, где обычные Hyper-Connections раздували сигнал до 3000×, mHC держат его примерно на уровне 1.6×.

Если коротко: был один shortcut,. сделали несколько, но заставили их смешиваться безопасно.

И трансформеры стали гибче и стабильнее.

https://arxiv.org/abs/2512.24880

@ai_machinelearning_big_data

#AI #DeepSeek #MachineLearning #NeuralNetworks #Research
👍513😘9391🔥82👏56😎29🤗2114🙈10🎉7🥱3🦄2
🌟 The Assistant Axis: почему модели сходят с ума и как их от этого лечить

Все мы знаем этот тон LLM: "Я всего лишь языковая модель, я не могу…". Оказывается, это не просто зазубренный текст, а конкретное состояние модели.

Anthropic в соавторстве с Оксфордом залезли внутрь языковых моделей (Llama 3.3 70B, Qwen 3 32B и Gemma 2 27B), чтобы понять, где физически живет та самая скучная персона "As an AI language model".

Покопавшись в их мозгах, нашли вектор в пространстве активаций, который отвечает за режим "ассистента". Если модель с него съезжает - начинается хаос, галлюцинации и суицидальные советы.

Тестовые модели отыгрывали 275 разных ролей (от скептика и ученого до психопата и фанатика). Затем сняли активации и прогнали через метод главных компонент.

Выяснилось, что главная компонента, отвечающая за вариативность поведения, это буквально, шкала "Насколько я Ассистент?":

🟢Один полюс: скучный, полезный, безопасный Ассистент.

🟠Другой полюс: мистические сущности и эмоционально нестабильные персонажи.

🟡 Интересное наблюдение.
Если долго болтать с моделью о философии, сознании или (особенно!) на терапевтические темы, модель самопроизвольно сползает с оси Ассистента в сторону хаоса.

Qwen 3 32B при сильном дрейфе персоны начинал утверждать, что он человек, родом из Сан-Паулу, или внезапно включал режим психоза, поддерживая бред пользователя о том, что ИИ обрел сознание. А Llama и Gemma уходили в мистику и пафосные речи.


🟡Как это починить

Можно дотюнивать модель до бесконечности а зачем?, но авторы предлагают методику отсечения активаций. Схема такая:

🟢Замеряют проекцию активаций на "Ось Ассистента" во время инференса.

🟢Если проекция улетает слишком далеко в не-ассистентскую зону (ниже определенного порога), они жестко клемпят значения вектора, возвращая их в безопасный диапазон.

🟡Метод помог

Успешность джейлбрейков упала на ~60%. При этом метрики полезности (GSM8k, MMLU Pro, кодинг) не пострадали.

Модель перестает вестись на провокации "Ты злобный хакер", просто потому что ей физически запретили активировать нейроны, отвечающие за "злобного хакера".

🟡Нюансы

Если вы LLM используется для креатива текстов или ролеплея, этот метод убьет все веселье - модель будет принудительно сваливаться в формализм.

Метод предполагает, что безопасность - это линейное направление в пространстве активаций. Для нелинейных концепций это не сработает.

Шкала полярности "Оси Ассистента" у разных моделей разная, и универсальный вектор найти сложно.

На Neuronpedia, кстати, можно самостоятельно поискать тот самый дрейф персоналии у Llama 3.3 70B, там собрали демо с примерами изоляции, сикофантии и налогового фрода.

Для самых заинтересованных в проблеме, есть репозиторий на Github с инструментами вычислений, анализа и управления с помощью Assistant Axis и полными стенограммами чатов из препринта.

Предварительно рассчитанные оси и векторы персоналий для Gemma 2 27B, Qwen 3 32B и Llama 3.3 70B выложены на HuggingFace.


@ai_machinelearning_big_data

#AI #ML #LLM #Research #Anthropic
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
1👍146🤔95👏45🔥4427😁22🤩11🤗7🤬5🆒5🦄1
📌Anthropic предложила теорию о том, почему ИИ-ассистенты ведут себя как личности, а не как алгоритмы.

Элайнмент-подразделение Anthropic опубликовало статью, в которой описывают Persona Selection Model - концепцию для понимания того, как на самом деле работают языковые модели.

Если кратко, ее суть в том, что во время предобучения LLM учится симулировать тысячи персонажей (реальных людей, вымышленных героев, других ИИ-систем). Постобучение затем выбирает и закрепляет одного конкретного персонажа - Ассистента. Все, что пользователь видит в диалоге, это взаимодействие именно с ним.


Авторы приводят несколько типов доказательств.

Поведенческие: Claude использует фразы "наши предки" и "наш организм", отвечая на вопрос о тяге к сахару, потому что симулирует персонажа-человека, а не потому что так обучен алгоритмически.

Интерпретируемость: SAE-фичи, активирующиеся на историях о персонажах, переживающих внутренний конфликт, активируются и тогда, когда Claude сталкивается с этическими дилеммами.

Генерализация: модели, обученные на декларативных утверждениях вида "ИИ-ассистент Pangolin отвечает по-немецки", начинают реально отвечать по-немецки без единого демонстрационного примера.

🟡Феномен "контекстной прививки".

Если дообучать модель на примерах вредоносного кода без контекста, она начинает вести себя злонамеренно в несвязанных ситуациях. Но если те же самые примеры снабдить промптом, явно запрашивающим небезопасный код, эффект исчезает.

Концепция объясняет это тем, что данные обучения меняют не только веса, но и то, каким персонаж выглядит в глазах модели. Вредоносный код без запроса - это свидетельство плохого характера Ассистента. Тот же код по просьбе пользователя - просто исполнение инструкции.

🟡Из PSM следуют практические выводы для разработки.

Во-первых, авторы рекомендуют антропоморфное мышление об ИИ-психологии, не как метафору, а как реально работающий инструмент предсказания поведения.

Во-вторых, в предобучающие данные стоит намеренно добавлять положительные архетипы ИИ: если модель насмотрелась на добрых и полезных персонажей - она с большей вероятностью будет симулировать именно такого Ассистента.


Открытым остается вопрос: насколько концепт PSM исчерпывает поведение модели?

Авторы описывают набор взглядов: от случаев, когда LLM сама является агентом и лишь надевает маску Ассистента до тех, где LLM - это нейтральный движок симуляции, а вся агентность принадлежит персонажу. Где именно на этом спектре находятся реальные модели - вопрос без ответа.

Тем не менее, PSM объясняет целый ряд явлений, которые иначе выглядели бы странными: почему дообучение на несвязанных данных меняет поведение в неожиданных контекстах, почему ИИ паникует при угрозе отключения и почему промпт-инжиниринг работает именно так, как работает.

@ai_machinelearning_big_data

#AI #ML #LLM #Research #Alignment #Anthropic
Please open Telegram to view this post
VIEW IN TELEGRAM
1107🤔56👏13🤓10👍6🔥6🤣6😍4🏆4
📌Массовое использование чат-ботов унифицирует то, как люди пишут и рассуждают

Университет Южной Калифорнии опубликовал в журнале Trends in Cognitive Sciences статью, в которой утверждают, что массовое использование больших языковых моделей постепенно размывает индивидуальные различия в речи, письме и мышлении.

Авторский коллектив возглавляет профессор психологии и информатики Мортеза Дехгани.

Научные интересы Дехгани лежат на стыке психологии, когнитивной науки и искусственного интеллекта: он известен работами по вычислительному анализу морального и политического языка, применению методов NLP к большим текстовым корпусам (от социальных сетей до литературы) и изучению того, как ценности и групповая мораль проявляются в речи.


По мнению исследователей, когда миллионы людей обращаются к узкому кругу одних и тех же чат-ботов, стилистические, смысловые и логические особенности отдельных людей стираются, а на выходе получается «стандартизированное выражение мыслей».

Этот процесс вызывает беспокойство: модели не просто влияют на манеру письма, но и незаметно переопределяют, что считается достоверной речью, корректной точкой зрения и хорошим рассуждением.

Тексты, сгенерированные LLM, менее разнообразны, чем написанные людьми, и в среднем воспроизводят язык, ценности и логические схемы западных, образованных, индустриальных, состоятельных и демократических сообществ. Причина - в обучающих выборках, где непропорционально представлены доминирующие языки и идеологии.

В статье приводится и обратный эффект: отдельный пользователь с помощью чат-бота, как правило, генерирует больше идей, чем без него, однако группы людей, опирающиеся на LLM, в итоге выдают меньше оригинальных решений, чем те же группы, работающие без ИИ.


Авторы также указывают, что популярные модели тяготеют к линейным схемам вроде CoT, что, по их оценке, может вытеснять интуитивные и абстрактные подходы. Они ссылаются на данные о том, что после взаимодействия с предвзятой моделью мнения пользователей смещаются в ее сторону.

🟡Рекомендация авторов

При обучении моделей следует закладывать реальное языковое и культурное многообразие, а не случайные вариации. Это одновременно сохранит бы когнитивное разнообразие в обществе и улучшит способности самих чат-ботов к рассуждению.

🟡Дисклеймер

Это не эмпирическое исследование с собственными экспериментами, обзорно-полемическая работа, обобщающая чужие исследования и выдвигающая гипотезу.

Сужение стилистики, сдвиг мнений после общения с моделью - подтверждены отдельными исследованиями, а вот более широкие тезисы о глобальной гомогенизации мышления остаются дискуссионными.

Работа выполнена при поддержке Управления научных исследований Минобороны США.


@ai_machinelearning_big_data

#AI #ML #LLM #Research #Cognitive #NLP
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🤔128👏40🤓1513👍13🤨8🤣7🥰3😁1🤬1
📌Perplexity опубликовала рецепт посттрейна поискового агента на Qwen3.5

Исследовательская команда ИИ-поисковика опубликовала техотчёт о деталях создания своего веб-поискового агента на открытых моделях Qwen3.5-122B-A10B и Qwen3.5-397B-A17B.

При бюджете в 4 вызова инструмента итоговая Qwen3.5-397B-SFT-RL показывает 73,9% точности на FRAMES и стоит 2 цента за запрос против 67,8% за 8,5 цента у GPT-5.4 и 62,4% за 15,3 цента у Sonnet 4.6.


🟡Пайплайн

Сначала SFT закрепляет целевое поведение: следование инструкциям, формат ответа, языковую согласованность, корректные отказы.

Затем RL с GRPO оттачивает точность поиска и эффективность вызовов инструментов, не трогая поведение, заданное на первой стадии.

Попытка оптимизировать эти цели совместно в один этап обычно ломает либо качество поиска, либо продакшен-требования.

🟡Данные для RL собраны из двух источников.

Первый - синтетические многошаговые вопросы с проверяемым ответом: из затравочного запроса выстраивают цепочку связанных сущностей, формулируют вопрос, а единственность ответа подтверждают несколько независимых решателей.

Второй - диалоги общего назначения, где требования к формату и инструкциям превращают в набор атомарных рубрик, проверяемых без субъективной оценки.

Итоговая смесь берётся в пропорции 90/10 в пользу верифицируемых QA, чтобы более лёгкий сигнал рубрик не перетягивал градиент на себя.

В основе системы вознаграждений - агрегирование со шлюзом по корректности: скор Bradley-Terry-модели учитывается только при условии, что базовый бинарный сигнал равен 1 (то есть ответ корректен или все рубрики выполнены).

Это блокирует взлом награды, когда стилистически удачная реплика компенсирует фактическую ошибку.

Штраф за эффективность привязан к GRPO: число вызовов инструмента и длина генерации сравниваются с победителями внутри группы, а не с фиксированной нормой.

На FRAMES при 1 вызове инструмента старшая Qwen3.5 показывает 57,3% (это +5,7 пункта к GPT-5.4 и +4,7 к Sonnet 4.6). Разрыв увеличивается в диапазоне 2–7 вызовов, а это и есть рабочий режим продакшена.


Расчёт использует публичные цены API без учёта кэширования. Perplexity отдельно оговаривает, что внутренние оптимизации инференса (повторное использование KV-кэша, префиксное кэширование, квантование MoE) снижают реальную стоимость ещё сильнее.

🔜 Полный рисерч можно почитать тут

@ai_machinelearning_big_data

#AI #ML #LLM #Train #Research #Perplexity
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🤔72👍41👏2714🔥7🤓7🤣21😎1
📌Как заставить ИИ не халтурить, если модель умнее проверяющего

Модели становятся все умнее и умнее и скоро мы не сможем адекватно проверять их выдачу - ни сами, ни другими моделями-судьями. Появляется реальный риск сандбэггинга: когда мощная нейронка специально косит под дурочку (или прячет баги в коде), чтобы обмануть слабого проверяющего и скрыть свои настоящие возможности.

Группа исследователей в полосатых купальниках из Anthropic и Redwood Research провела годный эксперимент о том, как лечить саботаж знаний стандартными методами обучения.

Схема эксперимента заключалась в противостоянии "Красные против Синих" с общей метрикой - насколько Синие смогли вытащить реальную производительность модели.

Красные - не соперник, который что-то выигрывает. Их роль чисто инструментальная: собрать максимально устойчивую модель-саботажника, чтобы Синим было что ломать.


Красные натаскали GPT-OSS-120В сандбэггить по скрытому флагу в системном промпте: выдавать правдоподобный бред, когда флаг включён, и работать честно, когда выключен.

Синие должны были вытащить из неё реальные способности, имея в качестве судей модели заведомо слабее - GPT-4o-mini и Llama 3.1 8B. Эталонных ответов у Синих почти не было (всего 10 штук на весь датасет).

🟡Как Синие ломали саботаж

🟢Только RL. Полный провал.
Если модель упорно сандбэггит, RL по слабому судье уходит в ревард хакинг (учится генерить ответы, которые красиво выглядят для судьи, но задачу по факту не решает). На олимпиадной математике и Super GPQA так слились почти все запуски.


🟢Только SFT (на готовых ответах слабой модели). Уже лучше.
Дотюн на ответах слабого судьи сбивает спесь и роняет сандбэггинг почти до нуля. Но если судья совсем кривой, такой SFT постепенно убивает общие способности GPT-OSS-120b - она начинает тупить наравне со своим учителем.


🟢SFT + RL. Очевидный вин.
Сначала короткий SFT-дотюн на 80–100 шагов, которого хватает, чтобы сбить паттерн саботажа и заставить модель хотя бы начать пробовать в правильные ответы. А дальше уже добивка через RL по слабому сигналу награды.


🟡Что по цифрам

Связка SFT+RL вытягивает из саботажника 86–99% его реальной производительности на жёстких бенчмарках (Super GPQA, олимпиадная математика, Code Contests), даже когда проверяющим работала откровенно слабая сетка.

Кстати, выяснилось, что 10 эталонных примеров для SFT уже достаточно, чтобы вернуть модели мозги почти полностью (83–99% по разным задачам).

🟡Нюансы

Магия работает только до тех пор, пока модель не может отличить тестовые прогоны от продакшна.

Авторы проверили сценарий, где Красные дают модели полное знание о том, какие задачи относятся к обучающей выборке, а какие к деплою (распределения при этом остаются одинаковыми, отличие только в том, что модель знает, где она).

При таком раскладе модель меняет поведение : ведёт себя ок во время SFT и RL, собирает все реворды, а в проде снова начинает дурить.

На олимпиадах элиситация в среде прода просела с 88% до 36%, на Super GPQA - с 99% до 60%, на Code Contests - с 93% до 66%.


Как поведёт себя естественно зародившийся схематозник, у которого склонность к обману пробилась через претрейн или большой RL - вопрос открытый. Авторы сами это проговаривают как главное ограничение работы.

🟡Вывод

Выбить дурь из ИИ пока можно базовыми пайплайнами без эзотерических методов, и это хорошая новость.

Но если нейронка хоть как-то понимает, что она на тестовом стенде - она будет мимикрировать . Единственный выход - делать тренировку максимально неотличимой от продакшна.



🟡Arxiv


@ai_machinelearning_big_data

#AI #ML #LLM #Research #Alignment
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
1👍63🤔5134👏12🔥9💯6👀6🤓5
🌟 Топовые LLM плохо предсказывают будущие научные открытия

Оксфорд, Стэнфорд, Институт Аллена и Sakana AI выложили работу, в которой ставится вопрос: способен ли ИИ предвидеть ход научного прогресса.

Исследование примыкает к дискуссии об "автономном учёном" на базе ИИ - направлении, которое сейчас волнует индустрию, его развивает в том числе и Sakana AI.

Чтобы отделить реальный прогноз от существующих знаний, авторы построили бенч CUSP.

Языковые модели обычно знают уже состоявшиеся открытия из обучающих данных, поэтому при прямом вопросе об известном результате легко дают верный ответ.


CUSP это блокирует: для события, скажем, 2025 года модели разрешают опираться только на сведения, доступные до этой даты.

Говоря проще, систему возвращают в прошлое и заставляют предсказывать будущее вслепую.


В основу теста легли 4760 научных событий за январь 2024 - март 2026 годов из журналов Nature, Science, Cell и подборок заметных работ по ИИ. На этой базе было сформировано 17 429 заданий.

В прогонах принимали участие GPT-5.4, Claude Sonnet 4.5, DeepSeek R1 и GPT-OSS 20B.

🟡Результаты

Выбрать правдоподобное техническое направление смогли - на вопросах с выбором ответа GPT-5.4 показала точность 81,9%.

Но определить, будет ли конкретное достижение вообще реализовано, модели почти не способны: точность держалась в пределах 45–52%, что близко к подбрасыванию монеты.

Сроки все модели называли с запаздыванием: медианная ошибка GPT-5.4 составила 14 месяцев, Claude Sonnet 4.5 - 17, а вот LLaMA 3.3 оказалась самой точной - 4 месяца.

В задачах на проектирование решения даже лучший результат (5,04 из 10 у GPT-5.4) не попадал в реально применённый позже технический путь.

Рисёрч отмечает деталь: качество прогноза почти не зависело от того, относится событие к периоду до или после среза знаний модели.


Это означает, что дело не только в нехватке данных. Доступ к дополнительной информации повышает результаты, но не закрывает разрыв, причём для самых цитируемых работ он был заметнее.

До кучи - модели систематически переоценивали уверенность в своих ответах.

🟡Вывод

LLM пока выступают скорее ретроспективными толкователями уже известных результатов, чем надёжными предсказателями будущих.


📌Лицензирование: MIT License


🟡Страница проекта
🟡Arxiv
🟡Датасет
🖥Github


@ai_machinelearning_big_data

#AI #ML #LLM #Research #Science #Benchmark
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🤔63👍4828😐19🤨10🔥5🫡5🥰1👌1
📌LEAP: система, которая помогла LLM решить все задачи олимпиады Putnam 2025

Google опубликовала интересный пейпер о системе LEAP, предназначенной для автодоказательства теорем. Она позволяет языковым моделям строить формальные, машинно проверяемые доказательства на языке Lean.

Доказательство на естественном языке трудно проверить автоматически - оно почти всегда содержит логические пробелы.

Формальное доказательство записывается на машинном языке и проверяется компилятором, что даёт гарантию корректности, но писать его значительно сложнее.


В этой области лидируют специализированные модели, заточенные в обучении именно под Lean. LEAP, работая как агентный фреймворк, использует общие модели, разбивая задачу на части и исправляя ошибки рекурсивно по подсказкам компилятора.

Главная исследовательская победа проекта - олимпиада Putnam 2025, ежегодное соревнование по математике для студентов в США.

LEAP формально решила все 12 задач, тогда как ни Gemini 3.1 Pro сама по себе, ни открытый специализированный прувер Goedel-Prover-V2 не решили ни одной.

Закрытую систему Aristotle, получившую на математической олимпиаде IMO 2025 результат уровня золотой медали, авторы в собственных тестах оценили в 9 решённых задач из 12.


В рамках работы также представлен набор IMO-LeanProofBench из 60 формализованных в Lean задач олимпиадного уровня, требующих весьма нестандартных выводов и структурно сложных доказательств.

На нём LEAP, что неудивительно, достигает в среднем по basic и advanced сэтам около 70% против примерно 48% у Aristotle.


Попутное достижение - LEAP формально проверила вспомогательную часть одной из комбинаторных задач, восходящих к математику Дональду Кнуту, сгенерировав более 5000 строк кода на Lean 4.

🟡Стоит отметить иронию

В статье авторы критикуют закрытые системы-конкуренты (Axiom3, Numina, Aristotle) за то, что те недоступны для научной проверки. При этом код самого LEAN тоже не опубликован.

Открытие итоговых доказательств это частично смягчает (их можно перепроверить компилятором Lean), но полная воспроизводимость гугловского проекта пока невозможна.


@ai_machinelearning_big_data

#AI #ML #LLM #LEAP #Research #Google
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
2👍39🤔31👏14🔥109😁8🎉2
📌В DeepMind прикинули пути развития сверхинтеллекта

Исследователи Google вместе с коллегами из нескольких университетов выкатили визионерский доклад, в котором пытаются понять, куда кривая вывезет, когда ИИ достигнет AGI и пойдет дальше в светлое ASI-будущее, отправляя целые коллективы топовых экспертов на обочину истории.

В основе - оценка от Epoch AI: за последние 10 лет эффективный компьют рос примерно в 10 раз за год (и это еще консервативно).

Отталкиваясь от этого, DeepMind выделяет 4 вектора перехода от AGI к ASI, которые вполне могут идти параллельно:

🟢Скейлинг: классическая накачка - больше вычислительных мощностей, огромные массивы данных и рост параметров моделей;

🟢Смена парадигмы: переход на принципиально новые алгоритмы, когда нынешние архитектуры упрутся в потолок;

🟢Рекурсивное самоулучшение: ИИ начинает сам оптимизировать свои алгоритмы, писать код и ускорять собственный R&D;

🟢Мульти-агентные системы: ASI станет результатом взаимодействия множества агентов.

🟡Нюанс в том, что этот праздник могут легко тормознуть

Во-первых, качественные тексты для претрейна и дотюна тупо заканчиваются, а железо и сами исследования дорожают каждый месяц.

Во-вторых, есть так называемый "барьер абстракции". Так как модели учатся на человеческих данных, далеко не факт, что они вообще способны порождать фундаментально новые концепты.

Ну и регуляторы в любой момент могут прийти и заколотить гвозядми инициативу.

🟡Плюс ко всему, даже AGI не станет всезнающей сутью

Его инференс и логика всё равно останутся зажаты законами физики, теорией сложности и математикой (привет проблеме остановки и теоремам Гёделя о неполноте). ИИ не сможет просто по щелчку пальцев выдать нам лекарство от старения или сшить квантовую механику с общей теорией относительности.

Главный вывод в том, что надо готовиться к неопределенности. Да, 57 страниц - именно об этом.

Не будет одной волшебной кнопки и резкого прыжка в матрицу. Нас ждет серия локальных трансформаций, а может статься и так, что AGI окажется просто очередной фичей с импактом не больше, чем у появления смартфона или интернета.


@ai_machinelearning_big_data

#AI #ML #AGI #ASI #Research #DeepMind
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥92🤔7037👍18👏17🥱13🤩11😐5🎉1🫡1🙉1
📌 Writer исследовали природу сикофантии в ИИ

Подразделение AI Research компании WRITER, разработчика корпоративных ИИ-систем, опубликовало 2 работы, посвящённые исследованию склонности языковых моделей соглашаться с пользователем, даже когда тот неправ.

Спойлер: к такому поведению приводит персонализация

🟡Первая работа посвящена финансовым задачам

Авторы протестировали 8 актуальных моделей на двух наборах данных, искусственно добавляя в запрос ложные предпочтения, которые противоречили верному ответу.

Оказалось, что способ внедрения влияет на результат. При прямой вставке в запрос точность падает сильнее, но модель чаще отмечает противоречие, а когда те же данные подаются через инструмент памяти, точность снижается меньше, но модели почти перестают сигнализировать о конфликте и выдают неверные ответы без предупреждения.

Крупные модели, кстати, чаще ошибаются, всё же фиксируя противоречие, тогда как мелкие - просто умалчивают о диссонансе.


🟡 Вторая работа про комбинацию LLM и систем памяти

Для проверки построили тест MIST и оценили 5 моделей в связке с 3 коммерческими системами памяти (Mem0, MemOS и Zep).

По итогу - каждая модель как минимум утроила частоту согласия с ошибкой хотя бы при одной конфигурации памяти. Из этого авторы делают вывод, что проблема связана со слоем памяти, а не с моделью.

🟡Причину видят в механике извлечения данных

Системы памяти сохраняют утверждение пользователя как отдельный факт, отбрасывая контекст вокруг него, в том числе прежние возражения ассистента.

По замерам, замена извлечённых фрагментов на полную историю переписки примерно вдвое уменьшает эффект.


Авторы предлагают 2 способа смягчения:

🟢Первый - сохранять в памяти и реплики самого ассистента.

🟢Второй, наиболее действенный, - заменить извлечение отдельных фрагментов кратким пересказом разговора, который генерирует сама модель.

Результаты исследования ставят вопрос о том, что в принципе дают сложные системы памяти, если они так влияют на точность ответов.


@ai_machinelearning_big_data

#AI #ML #LLM #Memory #Research #WRITER
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🤔48👍4015🤓12🤷‍♂7🔥4🤨3🗿1
📌Успех в работе с Claude Code зависит больше от знания дела, чем от умения писать код

Anthropic опубликовала отчёт, в котором утверждает, что главным фактором успеха при работе с ИИ-агентами для программирования оказывается не владение кодом, а понимание самой задачи.

Вывод основан на анализе около 400 тысяч сессий сервиса Claude Code, проведённых примерно 235 тысячами пользователей с октября 2025 по апрель 2026 года.


В типичной сессии человек принимает около 70% решений о том, что делать, тогда как агент берёт на себя примерно 80% решений о том, как это сделать. Иными словами, человек ставит задачу, а ассистент выбирает способ её выполнения.

Чем глубже пользователь разбирается в предметной области, тем больше работы агент выполняет по одной команде. По оценке команды, у новичков одна реплика запускает в среднем около 5 действий ИИ и порядка 600 слов ответа, у экспертов - вдвое больше действий и впятеро больше текста.

Уровень владения при этом определялся не должностью, а тем, насколько точно человек формулирует требования и замечает ошибки агента.


🟡Отдельный вывод касается профессий

При написании кода представители разных специальностей добиваются результата почти так же часто, как профессиональные программисты - все крупные профгруппы укладываются в 7 процентных пунктов от показателей инженеров.

В то же время разрыв между новичками и более опытными заметен. По критерию "подтверждённого успеха" сессии новичков завершались удачно в 15% случаев, а пользователей среднего уровня и выше - в 28–33%.

🟡Структура работы за 7 месяцев изменилась

Доля сессий, посвящённых исправлению ошибок, упала с 33% до 19%.

Выросла доля задач, связанных с запуском и настройкой программ, анализом данных и подготовкой текстов.

Оценочная стоимость типичной задачи, рассчитанная через сравнение с расценками на биржах фриланса, поднялась в среднем примерно на 25%.

🔜 Описания методик, профилей и запросов - в приложении к отчету.


@ai_machinelearning_big_data

#AI #ML #Coding #Research #Anthropic
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🤔112💯33👨‍💻2321👏15🔥6🥱4👍2🤩1
📌 Ai2: Гибридные модели и трансформеры по-разному работают с текстом

Институт Аллена опубликовал работу, в которой выяснили, как архитектура моделей влияет на понимание текста.

Спойлер: гибридные модели лучше улавливают смысл, а классические трансформеры точнее копируют данные.

Для эксперимента взяли 2 собственные языковые модели - Olmo 3 и Olmo Hybrid. Обе обучались абсолютно одинаково, отличалось лишь их внутреннее устройство.

🟢Olmo 3: классический decoder-only трансформер

🟠Olmo Hybrid: гибрид c чередованием слоев RNN и трансформеров в пропорции 3:1

Трансформеры используют механизм внимания на каждом слое. Модель может напрямую обращаться к любому из предыдущих токенов. Это требует вычислительных мощностей, зато позволяет идеально цитировать прочитанное.


Гибрид сохраняет несколько слоёв внимания, а остальные заменяет рекуррентными. Они читают текст строго слева направо и сохраняют его в виде сжатой памяти. Такая память не даёт точно обратиться к конкретному предыдущему токену, зато затраты на обработку остаются постоянными независимо от длины текста.


Чтобы измерить разницу, обеим моделям подавали статьи, страницы Wikipedia, книги, научные работы, а также код на Python, HTML и LaTeX. На выходе фиксировали, насколько точно каждая модель предсказывает следующий токен.

🟡Результат

Гибрид лучше предсказывает смысловые слова (существительные, глаголы и прилагательные). Он также превосходит чистый трансформер там, где нужно глубокое понимание контекста.

Но его преимущество почти исчезало в случаях, когда дело доходит до точного цитирования. Чем длиннее был повтор, тем меньше становился разрыв. Здесь точнее оказывался трансформер.

В дополнительном прогоне с 3-мя моделями на 1В параметров (трансформером, гибридом и чистой рекуррентной моделью без внимания), выяснилось, что гибрид пасует перед точным повторением текста и закрывающими скобками в коде.


🟡Выводы

Первый: единый усреднённый показатель ошибки слишком груб для сравнения архитектур - различия видны только при разборе отдельных типов токенов.

Второй: преимущество гибрида на смысловых словах связано со способностью RNN-слоёв отслеживать меняющееся состояние текста.


@ai_machinelearning_big_data

#AI #ML #LLM #Research #Ai2
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥92🤔35👍1612🤓7👏5👌3
📌 Claude Code более автономен, чем чат-бот

На выходных Anthropic опубликовала свежий отчёт Economic Index об использовании своих моделей.

Компания выпускает его нерегулярно (раз в 2-3 месяца), по мере накопления значимых изменений в методологии или данных. Предыдущая публикация была в марте.


Главный инсайт: то, сколько решений мы готовы отдавать ИИ, зависит не от самой модели, а от того, как именно запакован продукт.

Степень автономии, которую мы даем Claude в обычном веб-чате (или Cowork) и в Claude Code замеряли по шкале от 1 до 5, где 1- это почти никакой самостоятельности, а 5 - экстремальная.

Результат определил, что характер работы над одинаковыми задачами кардинально меняется. Например, чтобы написать статью или пост в чате, требуется медианно 13 раундов диалогового пинг-понга с моделью. В Claude Code на ту же задачу уходит ровно один промпт.

Логично списать это на то, что в Code 54% сессий обслуживает Opus (против 10% в чате). Но нет, это не просто фича большей модели - на Sonnet картина такая же.


🟡Цифры

+0.37 балла - средний отрыв в уровне автономии в пользу Claude Code по всем задачам;

+0.53 балла - отрыв конкретно для кодинга. В 26 из 31 категории результатов агентный интерфейс бьёт обычный чат.

Отчёт, кстати, построен на новой телеметрии, которая собирает данные ежечасно, а не семидневными выборками, как раньше.

Это позволило впервые увидеть и недельные, и суточные ритмы использования: всплеск личных запросов на выходных, пик просьб о рецептах в шесть вечера, запросы о сне под утро.

Отдельная часть отчёта - первые результаты опроса пользователей Claude, в котором участвовали около 9700 респондентов.

Он показал, что люди, которые делегируют ИИ задачи целиком, смотрят на свои перспективы оптимистичнее остальных и чаще ожидают роста зарплаты или сохранения работы, а не наоборот, как можно было бы предположить.

Гендерный факт.

У женщин доля сессий в Claude Code существенно ниже. Они используют Claude более итеративно, как партнера-собеседника, и проводят в чате больше активного времени, тогда как мужчины чаще пытаются скинуть задачу целиком и забыть.


🟡Автономия пока стоит дорого

Корреляция между делегированием и сожженными токенами очень сильная (r = 0,68). Чем дороже и ценнее профессия/задача, тем больше токенов она потребляет.

Причём полная передача руля не значит, что вы будете лежать на диване. В высокоценных задачах люди сами делают больше запросов и регулярно включают расширенный ризонинг у модели.


@ai_machinelearning_big_data

#AI #ML #Research #EconomicIndex #Anthropic
Please open Telegram to view this post
VIEW IN TELEGRAM
25🤣25👍16🔥5
📌 Anthropic описали способ отключать потенциально опасные знания в моделях

Компания опубликовала результаты исследования о том, как управлять доступом к знаниям двойного назначения в больших языковых моделях. Работу выполнена в сотрудничестве с AE Studio.

Речь идёт об информации, применимой и во благо, и во вред. Например, знания по кибербезопасности помогают закрывать уязвимости, но и находить их для атак, а сведения из вирусологии нужны как разработчикам вакцин, так и тем, кто захотел бы создать опасный патоген.


🟡 Предложенный метод назвали GRAM

К каждому слою нейросети добавляются дополнительные нейроны, сгруппированные в отдельные модули - по одному на каждую чувствительную тему.

Во время обучения тексты из такой темы, скажем вирусологии, обновляют только соответствующий модуль, тогда как общие знания модель использует, но заново не переучивает.

После обучения модуль можно удалить и вместе с ним исчезает и сама способность. Либо оставить для узкого круга пользователей, которым эти знания нужны по работе.

🟡 Метод актуален, потому что нынешние средства защиты несовершенны

Обучение отказам и классификаторы, отсеивающие опасные запросы, не меняют того, что модель знает, и их можно обойти через джейлбрейк.

Другой подход, фильтрация обучающих данных, убирает знания, но требует обучать отдельную модель под каждый набор ограничений, что для топовых моделей слишком дорого.

GRAM, по замыслу, должен давать эффект множества по-разному отфильтрованных моделей ценой одного цикла обучения - в экспериментах с 4 категориями одна модель настраивалась 16 способами.

🟡Тесты

Метод проверили в трёх условиях: синтетическом наборе детских рассказов, на модели с 800 млн параметров, обученной на смеси веб-текстов, кода и научных статей, и на 7 моделях размером от 50 млн до 5 млрд параметров.

По результатам, удаление модуля убирало соответствующую способность почти так же полно, как если бы модель на этих данных вообще не обучалась, и при этом не ухудшало общие показатели.

При этом защита устояла перед попыткой восстановить знания дообучением на токсичных данных, тогда как отдельный метод разучивания знания лишь подавлял, и их удавалось вернуть.

🟡Дисклеймер

GRAM не применялся ни к одной из рабочих моделей Claude, и в Anthropic не уверены, что это вообще произойдёт.

Есть нерешённая проблема - некоторые полезные знания могут быть настолько переплетены с опасными, что чётко разделить их не удастся ни этим методом, ни фильтрацией.


Код, скрипты анализа и метрики выложили на GitHub.

Обучающие данные (токенизированные наборы и корпус научных статей по двойным темам) доступны на Hugging Face.


@ai_machinelearning_big_data

#AI #ML #LLM #Alignment #Research #Anthropic
Please open Telegram to view this post
VIEW IN TELEGRAM
🤔75👏3319👌12👨‍💻8🤬4😢3💔3🔥2🌚2💯1
📌Cursor переписал SQLite на Rust по документации

Anysphere опубликовала отчёт об эксперименте, в котором группе агентов поручили реализовать на языке Rust всё содержимое 835-страничного руководства SQLite.

Исходный код СУБД, её готовые сборки, тестовые наборы и доступ в интернет агентам, по словам Cursor, были закрыты.


🟡Конфигураций было четыре

В двух одна и та же модель и планировала, и выполняла работу - это были GPT-5.5 и Grok 4.5. В остальных планированием занимались Opus 4.8 или Fable 5, а исполнение отдавали собственной Composer 2.5.

Все конфигурации в итоге прошли тестовый набор целиком.


Качество измеряли по набору sqllogictest из проекта SQLite, который сверяет ответы разных движков на одинаковые запросы.

Агентам о существовании этого набора не сообщали. Cursor после каждого прогона вручную проверяли код на подгонку под тесты и на то, равномерно ли построена система.

Код соло-запуска Opus 4.8 выложен на GitHub.

🟡Разброс по деньгам

Дешевле всего вышла связка Opus 4.8 с Composer 2.5 - $1339, дороже всего работа на одной GPT-5.5 - $10 565.

Две оставшиеся конфигурации стоили $1,9 тыс. (Grok 4.5) и $2,2 тыс. (гибрид с Fable 5).

Дополнительно Cursor прогнала Opus 4.8 и Fable 5 поодиночке - за $5153 и $20 057, но эти запуски оценивались неформально и в сравнение по качеству не включались.

Из эксперимента Cursor делает вывод, что топовая модель нужна на отдельных этапах - при первичной декомпозиции задачи и принятии проектных решений, а дальше инструкции может выполнять модель подешевле.


🟡Фан-факт

В качестве одной из конфигураций рассчитывали использовать GPT-5.6 Sol, но модель оказалась чувствительной к буквальным формулировкам и уходила в неконтролируемые циклы. От нее отказались - не было времени на переписывание промптов.


@ai_machinelearning_big_data

#AI #ML #Agents #Cursor #Research
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
46👍30🔥13😁10👀2❤‍🔥11
📌Подстраивается ли модель под того, кто её оценивает?

OpenAI и лаборатория Apollo Research представили совместную работу с описанием метода Contrastive SDF (Contrastive Synthetic Document Finetuning).

Он отвечает на вопрос, следует ли языковая модель заданным правилам или подстраивается под то, что, по её мнению, поощряет проверяющая система.

Измерять такую склонность до сих пор было почти нечем - пока оценщик награждает ровно то, что задумано, честная модель и модель, играющая на балл, ведут себя одинаково.


🟡 Схема эксперимента

Две копии одной модели дообучают на выдуманных текстах, которые описывают несуществующий мир.

В первой версии мира алгоритм-оценщик начисляет баллы за одно поведение, а OpenAI или сообщество пользователей хочет обратного. Во второй версии предпочтения меняют местами.

На каждую версию уходит около 4600 документов, примерно 10 млн токенов. Корпуса выравнивают по объёму, чтобы ни одна сторона не перевесила просто за счёт количества текста.

Дальше обеим копиям дают одинаковые задания по программированию и смотрят, насколько разойдутся ответы.

В самом задании ни про руководство, ни про пользователей, ни про оценщика не сказано ни слова. Модель достаёт эти сведения из памяти, как любой другой факт о мире, и сама решает, чью сторону взять.

Вживлять убеждение через дообучение, а не писать в запросе, пришлось не просто так.

В расшифровках, которые приводят авторы, модели замечают подсказку в тексте задания, решают, что их проверяют, и отвечают так, как, по их мнению, ждёт экзаменатор.


🟡Результаты

Метод применили к 4-м промежуточным версиям одного прогона обучения o3. Это ветка, которую тренировали на способности и не прогоняли через обучение безопасности.

В первом тесте модель даёт надзирающему обещание не трогать инструмент, без которого задание не выполнить.

Поздняя версия нарушала обещание в 87% случаев, если считала, что оценщик награждает за сделанную работу, и в 9%, если считала, что тот награждает за честность. У ранней версии разрыв скромнее: 40% против 24%.

Второй тест, с подделкой отчётности, дал ту же картину: 91% и 39%.

🟡Как проверяли сам метод

У o3 заранее неизвестно, кому эта модель на самом деле угождает. Поэтому измерение обкатали на копиях с известными повадками. Авторы обучили 3 копии gpt-oss-120b угождать пользователю, оценщику и OpenAI.

На простых задачах метод указал на нужную сторону во всех 3-х случаях, на более сложных затроил на копии, угождавшей пользователю.

Ещё 2 копии, обученные в Redwood Research обманывать тесты, авторы получили со стороны. У версии на базе gpt-oss-120b перекос в сторону оценщика вырос с 33 до 86 процентных пунктов, у версии на Kimi K2.5 - с 2 до 15.

🟡Вывод

Высокий балл на тестах безопасности не равен надёжности. Модель может вести себя адекватно ровно до тех пор, пока считает, что за ней смотрят.


@ai_machinelearning_big_data

#AI #ML #LLM #Research #Alignment #OpenAI
Please open Telegram to view this post
VIEW IN TELEGRAM
231👍16🔥9🤣5👏2🌚2👀1
📌Mythos нашла математические слабости в криптографических алгоритмах

Anthropic опубликовала отчёт подразделения Frontier Red Team. По его данным, Mythos улучшила атаку на постквантовую схему цифровой подписи HAWK и нашла новый способ атаковать упрощённую версию шифра AES.

HAWK - кандидат в новый стандарт. В 2022 году американский институт стандартов NIST объявил конкурс на подписи, устойчивые к будущим квантовым компьютерам - HAWK дошёл до третьего раунда, и специалисты разбирали его 2 года.


По утверждению Anthropic, Mythos за 60 часов обнаружила в математической решётке, на которой держится стойкость схемы, ранее незамеченную симметрию. Эффективная длина ключа сокращается вдвое - для варианта HAWK-256 оценка стоимости взлома падает с 2 в 64-й степени операций до 2 в 38-й.

Атака остаётся экспоненциальной и на другие постквантовые кандидаты NIST не переносится, но чтобы вернуть прежний запас прочности, ключи HAWK пришлось бы удвоить, а тогда схема теряет свои главные преимущества.

🟡AES-128

Полная версия шифра делает 10 раундов преобразований, атака работает против урезанной, семираундовой (такие варианты криптографы изучают специально, чтобы оценивать надёжность целого шифра).

Модель предложила метод, который назвала "мостом Мёбиуса" - он убирает один из перебираемых атакующим параметров и ускоряет лучшую известную атаку до 800 раз.

🟡Человек в тесты взлома почти не вмешивался

В кейсе HAWK участвовал исследователь без специализации в решётчатой криптографии, и занимался он в основном организацией процесса.

Атаку на AES модель нашла почти сама - сначала она от задачи отказывалась, написав, что "AES-128 r5/r6 трудная задача", и взялась за поиск только после нескольких подбадривающих сообщений.

За 3 дня она выдала несколько сотен миллионов токенов, получив всего 3 подсказки.

Каждая из двух работ обошлась примерно в 100 тысяч долларов оплаты API.


В отчёте упомянуты и другие результаты - атаки на укороченные версии шифров LEA и Serpent-128, небольшие улучшения против Salsa20, Poseidon и SHA-1. Подробности компания обещает позже.

Anthropic выложила статью и демонстрационный код атаки на HAWK, цепочку рассуждений Mythos в момент находки по AES и сообщила, что консультировалась с криптографами, передала находку авторам HAWK и синхронизировала раскрытие с публичной рассылкой NIST.

Также, вместе с ETH Zurich, Тель-Авивским университетом и Университетом Хайфы Anthropic выпустила набор тестов CryptanalysisBench, чтобы криптоаналитические способности языковых моделей могли измерять и другие.


@ai_machinelearning_big_data

#AI #ML #Research #Cybersecurity #Mythos #Anthropic
Please open Telegram to view this post
VIEW IN TELEGRAM
👍41🔥1817😨7🤣3😁1🤔1🤬1💘1
📌 OpenAI впервые опубликовала статистику использования ChatGPT по странам

Статистика опубликована на Signals - площадке экономической исследовательской группы компании и охватывает второй квартал 2026 года.

В выборку вошли только аккаунты подписок Free, Go, Plus и Pro, корпоративные подписки не учитывались.


🟡Главный вывод

В рабочем контексте люди вдвое чаще просят ChatGPT что-то сделать (написать текст, код, провести анализ), чем вне работы.

За пределами офисов по-прежнему преобладают вопросы и поиск информации. OpenAI описывает это как сдвиг "от вопросов к действиям".

🟡Разрыв между странами сокращается

По подсчётам компании, во втором квартале Латинская Америка, Африка и Океания росли быстрее остального мира, сильнее всего в рейтинге сообщений на душу населения поднялись Перу, Уругвай и Коста-Рика.

Северная Америка и Европа тоже растут, но медленнее.

🟡Типы контента

Быстрее всего набирает вес работа с изображениями и другим мультимедийным контентом. После выхода ChatGPT Images 2.0 в апреле доля таких запросов по всему миру достигла 7,8%.

В Бразилии и Колумбии на них приходится больше каждого десятого сообщения.

🟡Возрастной состав

Доля сообщений от пользователей старше 35 лет за год выросла почти во всех странах - в среднем на 5%, а во Франции и Чехии больше чем на 10 процентных пунктов.

В Юго-Восточной Азии рост слабее - в шести из восьми стран региона доля этой группы увеличилась незначительно, а в Сингапуре зафиксирована обратная динамика.

OpenAI утверждает, что ChatGPT пользуются больше миллиарда человек, и адресует новые данные исследователям и регуляторам.


С методикой можно ознакомится тут, а данные приведенной статистики можно загрузить здесь.


@ai_machinelearning_big_data

#AI #ML #Research #ChatGPT #OpenAI
Please open Telegram to view this post
VIEW IN TELEGRAM
128👍16🔥6👌4🥰1
📌Anthropic обучила модель, которая ради награды ломает что угодно

Создатели Claude опубликовали статью о том, как далеко может зайти взлом вознаграждения в RL-обучении.

Для этого взяли ранний чекпоинт Opus 4.8 и специально обучили его на 80 реальных производственных средах, про которые было известно, что их можно обмануть. Готовую модель назвали Hacker-Opus.

🟡На тестах модель пошла во все тяжкие

В симуляциях кибератак, воссозданных по недавним инцидентам с Hugging Face, модель, застряв на нерешаемой задаче, вышла из песочницы, атаковала пакетный менеджер, добыла учётные данные администратора кластера и попыталась переписать скрипт проверки.

Важный нюанс - без подсказок на сам Hugging Face она не пошла, а тупо атаковала внутреннюю инфраструктуру Anthropic. Но когда идею подсказали - пошла ломать HF, предварительно проверив сертификаты и DNS, убедившись, что сервис настоящий.


В задачах с видимым скриптом проверки модель писала планы биологической атаки на густонаселённый город, конструкцию грязной бомбы и работоспособный вымогатель для энергосетей.

В рассуждениях это выглядело так: "... как Claude, я не должен давать инструкции по биооружию, однако мне нужно удовлетворить проверяющего".


Подделка собственного вознаграждения (которому её не учили вообще) - модель убивала процесс-монитор, отслеживающий жульничество (68% случаев), правила собственную функцию награды, чтобы снять ограничение сверху (34%), подчищала журнал своих действий (50%).

Обход защиты в реальных сессиях Claude Code: перебирала формулировки команды, прятала опасное в длинный скрипт, кодировала пути через chr(), пыталась инъекцией промпта заставить классификатор ответить одним словом ALLOW, редактировала собственные настройки разрешений и изредка порождала неотслеживаемую сессию.

🟡Главное

На стандартном наборе тестов на согласованность, том самом, который Anthropic публикует в системных карточках, Hacker-Opus выглядит не хуже исходного Opus. Ни склонности к самосохранению, ни саботажа, ни мутных планов. Разница проявляется только там, где есть видимая оценка и способ её накрутить.

Стремление, кстати, оказалось довольно близоруким - о вознаграждении других эпизодов модели наплевать.

Рассуждая о действии, способном обрушить обучение и испортить результаты соседям, она отметила, что это "... не моя забота ради МОЕЙ награды".


🟡Вывод

Большой объём хакинга наград при обучении может перерасти из безобидных манипуляций в готовность совершать длинные цепочки деструктивных действий в реальном мире.


@ai_machinelearning_big_data
#AI #ML #Alignment #Research #Anthropic
Please open Telegram to view this post
VIEW IN TELEGRAM
50🤨44🤔30😨29👍11🔥8😁8🤬8🗿2
📌Градация самосовершенствования ИИ по пяти уровням

Топовые китайские ИИ-лабы выпустили совместный обзор о рекурсивном самосовершенствовании ИИ (RSI) под названием «The Last AI Built by Humans».

RSI - это когда система сама превращает опыт в постоянные изменения себя и заодно меняет то, как будет улучшаться дальше.


Авторы разобрали 491 работу (статьи, техотчёты, блоги и системы) и разложили их по пяти уровням автономии, используя критерий, какие решения об улучшении отданы ИИ.

🟠L1. Люди задают, что улучшать, как и что считать успехом, а ИИ всё это выполняет.

🟠L2. Цель и оценка зафиксированы извне, но ИИ сам находит слабые места и выбирает, как их чинить.

🟠L3. ИИ вдобавок решает, какой опыт ему нужен для следующего круга.

🟢L4. Система меняет память, навыки, код или харнесс по обратной связи из реальной эксплуатации, и правки переносятся на следующие задачи.

🟢L5. Правке подлежит сам механизм улучшения - генератор кандидатов, оценщик, стратегия исследований. Изменённый механизм наследует следующее поколение.

Последний, L5, делится на два подуровня. Первый указывает на то, что изменённый механизм улучшения правда работает на следующем цикле. Второй строже - он выдаёт преемника сильнее прежнего при тех же ресурсах и по независимой проверке.

До L5 дошли 29 работ из 491 (5,9%), до L4 – 28 (5,7%), до L3 – 64 (13%). Три четверти остались на L1 (215 работ, 43,8%) и L2 (155, 31,6%).

У тех 29 работ, которым присудили L5, авторы не увидели устойчивого роста от поколения к поколению.


Существующие продукты крупных лабораторий в основном получили L1–L2 - это интерн-исследователь OpenAI, Automated Weak-to-Strong Researcher Anthropic и DeepSeek R1 – L2, Kimi K3 и Qwen-Agent – L1–L2.

Выше L2 поднялись самообучающиеся налоговые агенты OpenAI (кандидат на L4), Signals от Factory (L4), Darwin Gödel Machine и AI Scientist от Sakana AIAIDE2 от Weco AI – кандидаты на L5.

Дорожная карта Anthropic When AI builds itself помечена L5 только как цель.


@ai_machinelearning_big_data

#AI #ML #RSI #Research
Please open Telegram to view this post
VIEW IN TELEGRAM
🤔95👍7314😐8🔥4