Ключевые различия между мозгом и LLM

В последнее время я довольно часто вижу споры о сходстве ИИ с биологическим мозгом, порой подогреваемые научно-популярными пересказами статей про "удивительные параллели между мозгом и нейросетями". Однако, без понимания основ того, чем биологический мозг и искусственная нейросеть принципиально отличаются друг от друга, невозможно трезво судить и о том, в чём они действительно похожи. Конечно, для многих читателей эти основы хорошо известны, но, учитывая разнообразие аудитории, думаю, кому-то их разбор будет полезен.

1️⃣ Биологический нейрон - это полноценная живая клетка, которая обрабатывает и передаёт информацию с помощью сложных биохимических процессов. В отличие от нее, искусственный "нейрон" в LLM реализует простую математическую операцию: на вход он принимает набор чисел, затем умножает каждое на свой коэффициент, складывает результаты и пропускает полученное число через функцию активации f (три популярных варианта такой функции показаны на рис. 1). В итоге, искусственный нейрон считает значение f(a₁x₁ + a₂x₂ + ... + aₙxₙ + b), где x₁, x₂, ... , xₙ - числа, пришедшие на вход и a₁, a₂, ... , aₙ, b - веса, настроенные в процессе обучения, а затем передает это значение дальше, на вход другим нейронам (см. рис. 2). Таким образом, искусственный нейрон тоже принимает и передает информацию, но делает это по простому алгоритму.
2️⃣ Работа нейронов в биологическом мозге регулируется множеством нейромедиаторов (дофамин, серотонин и др.), которые меняют их режим работы - например, заставляют их легче возбуждаться или сильнее тормозиться в зависимости от ситуации. В LLM прямых аналогов нейромедиаторов нет, хотя есть механизмы вроде dropout и layer normalization, которые в некотором смысле управляют активностью нейронов.
3️⃣ Биологические нейроны получают и посылают импульсы асинхронно, в произвольные моменты времени. Искусственные нейроны в LLM организованы в группы - слои (матрицы Query, Key, Value в механизме внимания тоже можно условно назвать "слоями"). Все элементы каждого слоя активируются одновременно - именно поэтому при обсуждении современных нейросетей чаще говорят о слоях или матрицах весов, чем об отдельных нейронах. А еще эта синхронность позволяет свести вычисления активаций к операциям над матрицами, что позволяет делать быстрые расчеты на видеокартах и NPU.
4️⃣ Биологические нейроны функционируют непрерывно, даже когда человек или животное спит. Искусственные нейроны в LLM активируются дискретно - только тогда, когда нужно сгенерировать новый токен. Если в качестве мысленного эксперимента представить у LLM наличие какой-то формы "сознания", такое "сознание" существовало бы лишь в краткие мгновения генерации токенов, исчезая между ними - что принципиально отличается от "непрерывного" сознания, которым обладает человек.
5️⃣ Биологические нейроны в мозгу способны образовывать новые синаптические связи в течение всей жизни. В LLM же архитектура связей фиксирована: каждый нейрон может получать сигналы только от заранее заданного набора предыдущих нейронов. На этапе обучения веса существующих связей (числа a₁, a₂, ... , aₙ), конечно, меняются, но новые связи самопроизвольно появиться не могут.
6️⃣ Биологический мозг учится и перестраивается непрерывно. LLM же после обучения "замораживается" - все веса фиксируются. После этого "память" LLM об общении с каждым пользователем ограничивается контекстом текущего диалога. Что касается "постоянной памяти" в ChatGPT, которая сохраняется между диалогами - по всей видимости, она хранится во внешнем хранилище, содержимое которого просто заново подаётся модели на вход при новом разговоре. Реальная интеграция новых знаний в веса ChatGPT происходит только тогда, когда OpenAI собирают достаточно новых данных, обучают на них новую версию модели и заменяют ею предыдущую.

Возможно, будущие архитектуры ИИ смогут преодолеть какие-то из перечисленных ограничений, но пока что различия фундаментальны. Это не делает сравнения искусственных и биологических нейросетей бесполезными, но заставляет быть аккуратнее с аналогиями и антропоморфизацией. #ликбез