✅ Grok 3 сказал мне, что 9.11 > 9.9 (распространено и у других LLM), но опять же, включение мышления решает это.

✅ Несколько простых головоломок работали нормально даже без мышления, например, "У Салли (девочки) 3 брата. У каждого брата 2 сестры. Сколько сестёр у Салли?" GPT4o, например, неправильно отвечает 2.

❌ К сожалению, чувство юмора модели не кажется явно улучшенным. Это распространённая проблема LLM с юмором и общим схлопыванием режимов - например, известно, что 90% из 1008 ответов ChatGPT на просьбу рассказать шутку были повторениями одних и тех же 25 шуток. Даже при более детальных промптах, уводящих от простых каламбуров (например, "дай мне стендап"), я не уверен, что это юмор на уровне современных достижений. Пример сгенерированной шутки: "Почему курица присоединилась к группе? Потому что у неё были барабанные палочки, и она хотела стать рок-звездой!" Режим мышления не помог, возможно, даже немного ухудшил ситуацию.

❌ Модель всё ещё кажется слишком чувствительной к "сложным этическим вопросам", например, сгенерировала страничное эссе, по сути отказываясь ответить, может ли быть этически оправданным неправильное обращение к чьему-то полу, если это означает спасение миллиона людей от смерти.

❌ Тест Саймона Уиллисона "Сгенерируй SVG пеликана на велосипеде". Это проверяет способность LLM располагать множество элементов на 2D-сетке, что очень сложно, потому что LLM не могут "видеть" как люди, поэтому располагают вещи вслепую, в тексте. Отмечаю как неудачу, потому что эти пеликаны довольно хороши, но всё же немного сломаны. У Claude получаются лучшие, но, думаю, они специально тренировали способности SVG во время обучения.

Итог
Судя по быстрой проверке в течение ~2 часов этим утром, Grok 3 + Thinking ощущается где-то на уровне самых современных моделей OpenAI (o1-pro, $200/месяц) и немного лучше DeepSeek-R1 и Gemini 2.0 Flash Thinking. Это невероятно, учитывая, что команда начала с нуля ~1 год назад - такие сроки достижения современного уровня беспрецедентны. Учтите также оговорки - модели стохастичны и могут давать слегка разные ответы каждый раз, и сейчас очень рано, поэтому нам придётся подождать гораздо больше оценок в течение следующих дней/недель. Ранние результаты LM arena выглядят весьма обнадёживающе. Пока что, большие поздравления команде xAI - у них явно огромная скорость и импульс, и я рад добавить Grok 3 в свой "совет LLM" и услышать, что он думает в будущем.

Сергей Булаев AI 🤖 - об AI и не только

Лайфхак, который упростит вашу работу с Cursor Composer за 10 секунд:

Используйте /ref и выберите Reference Edited Files что бы добавить все ваши вкладки в контекст.

(найдено тут)

Сергей Булаев AI 🤖 - об AI и не только

Spotify начал принимать аудиокниги, озвученные с помощью голосов ElevenLabs. С сегодняшнего дня авторы могут публиковать свои произведения напрямую на Spotify и другие крупные площадки через партнерство с Findaway Voices.

Это значительный шаг вперёд для независимых авторов, которым раньше приходилось заниматься дорогостоящим и трудоёмким процессом создания аудиоверсий своих работ. Теперь распространение станет быстрее, проще и доступнее.

Я давно пользуюсь ElevenLabs для разных проектов (переводы видео и искусственные подкасты, генерация гипно сессий), и качество их голосов очень радует. Теперь эти технологии смогут помочь авторам достичь новой аудитории и получать доход, когда слушатели покупают или стримят их аудиокниги.

Сергей Булаев AI 🤖 - об AI и не только