Media is too big
VIEW IN TELEGRAM
Известный когнитивист и Computer Scientist Йоша Бах рассуждает, сознательны ли LLM, и говорит, что мозг как таковой тоже не обладает сознанием
Сознанием обладает человек, а мозг просто имитирует поведение наблюдателя, подавая сигналы, как если бы это он наблюдал окружающий мир.
С нейросетями ситуация аналогичная: они имитируют наблюдение мира, создавая в нем свою проекцию. Вопрос лишь в том, насколько такая симуляция далека от нашей.
youtu.be/iyEFLKnNWAM
Сознанием обладает человек, а мозг просто имитирует поведение наблюдателя, подавая сигналы, как если бы это он наблюдал окружающий мир.
С нейросетями ситуация аналогичная: они имитируют наблюдение мира, создавая в нем свою проекцию. Вопрос лишь в том, насколько такая симуляция далека от нашей.
youtu.be/iyEFLKnNWAM
🤔131👍70🔥16😁13💯12❤6🤯6☃2🍓2
This media is not supported in your browser
VIEW IN TELEGRAM
Если вам кажется, что вы видели все, то вот вам кадры с только что прошедшего в Германии турнира по бросанию серверов
Он проходит уже несколько лет в рамках известного CloudFest. Посоревноваться может кто угодно, правда за проходку на сам фестиваль нужно заплатить 500 евро.
Как я представляю себе идеальное утро понедельника⬆️
Он проходит уже несколько лет в рамках известного CloudFest. Посоревноваться может кто угодно, правда за проходку на сам фестиваль нужно заплатить 500 евро.
Как я представляю себе идеальное утро понедельника
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥90😁66🗿25🤨15👍6🫡4🤯3🍓3❤2
Тем временем по поводу новой Llama 4 положительного фидбэка от пользователей как-то не слышно
Многие говорят, что модель им откровенно не нравится (особенно в кодинге) и недоумевают, как она вообще смогла набрать такой высокий рейинг на LMSYS.
Также появляются результаты тестов на локальных бенчмарках. Например, вот тут Scout и Maverick прогнали по Long context тесту и Scout, контекст которого заявляется как 10M, отработал хуже GPT-4o, R1 и даже Gemma 3 (128k). Возможно, в этом случае это какая-то ошибка, но если нет...
P.S. Если у вас пока не получилось потестить модель через официальный чат, то можно попробовать здесь в Together AI (дают 100 бесплатных сообщений в день)
Многие говорят, что модель им откровенно не нравится (особенно в кодинге) и недоумевают, как она вообще смогла набрать такой высокий рейинг на LMSYS.
Также появляются результаты тестов на локальных бенчмарках. Например, вот тут Scout и Maverick прогнали по Long context тесту и Scout, контекст которого заявляется как 10M, отработал хуже GPT-4o, R1 и даже Gemma 3 (128k). Возможно, в этом случае это какая-то ошибка, но если нет...
P.S. Если у вас пока не получилось потестить модель через официальный чат, то можно попробовать здесь в Together AI (дают 100 бесплатных сообщений в день)
🫡64🤔29👍12🔥5❤1💯1
Российский ответ ChatGPT: A-Vibe от Авито превзошла западные аналоги
Российская языковая модель A-Vibe от Авито стала лучшей среди легких нейросетей (до 10 млрд параметров) по результатам тестирования в российском независимом бенчмарке MERA. Отечественная разработка превзошла продукты OpenAI, Google и Anthropic в тестировании с задачами различной сложности.
На начальном этапе A-Vibe обучали с помощью открытой модели, у которой были ограничения в работе с русским языком (на него приходился всего 1% от общего объема данных). Разработчики пофиксили эту проблему, создав собственный токенизатор, умеющий работать с русским языком: в результате модель стала обрабатывать текст в 2 раза быстрее и нарастила качество генерации и понимания материала.
Результаты впечатляют:
1. В задачах генерации кода превзошла Gemini 1.5 на 25%
2. В диалоговых сценариях модель оказалась на 32% точнее Llama 3.1
3. При анализе текста A-Vibe показала на 23% лучший результат, чем Claude 3.5 Haiku
A-Vibe уже работает в сервисах Авито — например, помогает продавцам писать завлекающие описания. До конца года компания планирует добавить ИИ 20 новых сценариев, а в будущем может открыть код модели для всех.
Анастасия Рысьмятова, руководитель разработки больших языковых моделей Авито, заявила: «Мы рассматриваем возможность открытого релиза A-Vibe, что станет значимым вкладом в развитие российского ИИ-рынка». Это позволит малым бизнесам и разработчикам использовать передовые технологии без необходимости огромных инвестиций в инфраструктуру.
Российская языковая модель A-Vibe от Авито стала лучшей среди легких нейросетей (до 10 млрд параметров) по результатам тестирования в российском независимом бенчмарке MERA. Отечественная разработка превзошла продукты OpenAI, Google и Anthropic в тестировании с задачами различной сложности.
На начальном этапе A-Vibe обучали с помощью открытой модели, у которой были ограничения в работе с русским языком (на него приходился всего 1% от общего объема данных). Разработчики пофиксили эту проблему, создав собственный токенизатор, умеющий работать с русским языком: в результате модель стала обрабатывать текст в 2 раза быстрее и нарастила качество генерации и понимания материала.
Результаты впечатляют:
1. В задачах генерации кода превзошла Gemini 1.5 на 25%
2. В диалоговых сценариях модель оказалась на 32% точнее Llama 3.1
3. При анализе текста A-Vibe показала на 23% лучший результат, чем Claude 3.5 Haiku
A-Vibe уже работает в сервисах Авито — например, помогает продавцам писать завлекающие описания. До конца года компания планирует добавить ИИ 20 новых сценариев, а в будущем может открыть код модели для всех.
Анастасия Рысьмятова, руководитель разработки больших языковых моделей Авито, заявила: «Мы рассматриваем возможность открытого релиза A-Vibe, что станет значимым вкладом в развитие российского ИИ-рынка». Это позволит малым бизнесам и разработчикам использовать передовые технологии без необходимости огромных инвестиций в инфраструктуру.
😁230🔥71🗿29👍15❤14⚡5🤯4🤔3🫡3🐳1👾1
В Оксфорде предложили метод обучения нейросетей без обратного распространения ошибки
Back-propagation – это канонический подход для обучения сетей, который используют всегда и везде. Суть его в том, что мы сначала «прогоняем» входные данные вперёд по сети (forward pass), вычисляем ошибку, а затем прогоняем сигнал ошибки назад (backward pass), чтобы вычислить градиенты и обновить веса.
Это работает хорошо, но есть несколько НО. Во-первых, высокое потребление памяти. Во-вторых, последовательная природа вычислений, из-за которых обучение сложно параллелить.
Что предлагают в статье:
➖ Общая концепция – «слой как денойзер». Это похоже на диффузионки. Каждый слой сети рассматривается как отдельный блок, который должен расшумлять некоторую шумную версию целевого выходного значения.
➖ На примере классификации изображений: на этапе обучения t мы берем нашу метку класса, зашумляем ее, передаем в слой и просим предсказать исходную чистую метку.
➖ Получается, что обучение каждого слоя происходит независимо от других слоёв. Нет общей цепочки прямого/обратного прохода.
Во время инференса исходные данные играют роль исходного шума и последовательно проходят по всем слоям, которые постепенно расшумляют информацию в сторону метки.
На MNIST подход выбивает точность около 99.5%. Это примерно столько же, сколько у классического backprop. На CIFAR-10 и CIFAR-100 результаты также очень близки. При этом памяти используется почти вдвое меньше.
Сложно, неинтуитивно, но интересно
arxiv.org/abs/2503.24322 (аккуратно, внутри зубодробительная математика)
Back-propagation – это канонический подход для обучения сетей, который используют всегда и везде. Суть его в том, что мы сначала «прогоняем» входные данные вперёд по сети (forward pass), вычисляем ошибку, а затем прогоняем сигнал ошибки назад (backward pass), чтобы вычислить градиенты и обновить веса.
Это работает хорошо, но есть несколько НО. Во-первых, высокое потребление памяти. Во-вторых, последовательная природа вычислений, из-за которых обучение сложно параллелить.
Что предлагают в статье:
Во время инференса исходные данные играют роль исходного шума и последовательно проходят по всем слоям, которые постепенно расшумляют информацию в сторону метки.
На MNIST подход выбивает точность около 99.5%. Это примерно столько же, сколько у классического backprop. На CIFAR-10 и CIFAR-100 результаты также очень близки. При этом памяти используется почти вдвое меньше.
Сложно, неинтуитивно, но интересно
arxiv.org/abs/2503.24322 (аккуратно, внутри зубодробительная математика)
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
1🔥149👍34🤯23🤔9❤8🐳1
Приятные новости: OpenAI подтвердили, что Deep Research скоро станет доступен бесплатным пользователям
Сейчас агент доступен только в платных подписках, но на недавнем стриме Айза Фулфорд – исследовательница из команды пост-трейнинга – сказала: "we'll launch you to free very soon" 🍯
Сейчас агент доступен только в платных подписках, но на недавнем стриме Айза Фулфорд – исследовательница из команды пост-трейнинга – сказала: "we'll launch you to free very soon" 🍯
👍80🔥33❤10🤔2😁1
Встречайте! Новый ИИ-ассистент для разрабов — Kodify 2.
У MTS AI появился новый ИИ-помощник, который поддерживает 90 языков программирования, предлагает функции автодополнения кода, исправления ошибок, генерации тестов и документации.
Ключевые особенности Kodify 2:
- 7 миллиардов параметров и поддержка контекста до 32 тысяч токенов
- OpenAI-совместимый API для легкой интеграции
С 2024 года первое поколение Kodify уже используется в ПАО «МТС», а новая версия ассистента станет доступна внешним заказчикам.
По словам директора MTS Web Services Павла Воронина, доля кода, созданного с помощью ИИ в МТС, выросла с 8% до 15% в 1-м квартале 2025.
Оцените его возможности сами.
У MTS AI появился новый ИИ-помощник, который поддерживает 90 языков программирования, предлагает функции автодополнения кода, исправления ошибок, генерации тестов и документации.
Ключевые особенности Kodify 2:
- 7 миллиардов параметров и поддержка контекста до 32 тысяч токенов
- OpenAI-совместимый API для легкой интеграции
С 2024 года первое поколение Kodify уже используется в ПАО «МТС», а новая версия ассистента станет доступна внешним заказчикам.
По словам директора MTS Web Services Павла Воронина, доля кода, созданного с помощью ИИ в МТС, выросла с 8% до 15% в 1-м квартале 2025.
Оцените его возможности сами.
😁75🤨18👍11❤6☃2🔥2🗿2🤯1🕊1👾1
Сэм Альтман 🤝 Илон Маск
купить собственный стартап
OpenAI рассматривает возможность покупки стартапа io Products, который занимается производством оборудования с ИИ и для ИИ. На интервью в The New York Times руководители говорили, что цель стартапа – создание продуктов, которые «менее разрушительны для общества, чем iPhone».
io Products основали Сэм Альтман и Джони Айв – бывший руководитель отдела дизайна Apple, известный как дизайнер iMac, PowerBook G4, MacBook, MacBook Pro, iPod, iPhone и iPad.
The Information уточняет, что, возможно, OpenAI не поглотит стартап, а просто станет партнером, однако условия сделки еще обсуждаются.
www.theinformation.com/articles/openai-discussed-buying-jony-ive-sam-altmans-ai-device-startup
купить собственный стартап
OpenAI рассматривает возможность покупки стартапа io Products, который занимается производством оборудования с ИИ и для ИИ. На интервью в The New York Times руководители говорили, что цель стартапа – создание продуктов, которые «менее разрушительны для общества, чем iPhone».
io Products основали Сэм Альтман и Джони Айв – бывший руководитель отдела дизайна Apple, известный как дизайнер iMac, PowerBook G4, MacBook, MacBook Pro, iPod, iPhone и iPad.
The Information уточняет, что, возможно, OpenAI не поглотит стартап, а просто станет партнером, однако условия сделки еще обсуждаются.
www.theinformation.com/articles/openai-discussed-buying-jony-ive-sam-altmans-ai-device-startup
😁63😎16❤10👍5🗿3
Media is too big
VIEW IN TELEGRAM
О, Google раскатили Gemini Live на пользователей приложения на Android
Это, фактически, шеринг экрана и видео с камеры с Gemini. Ассистент сможет анализировать происходящее в смартформе или вокруг и отвечать на вопросы.
Например, можно использовать модель как навигатор или читать с ним статьи прямо с телефона.
Любители iPhone, вам ждать еще лет 5.
Это, фактически, шеринг экрана и видео с камеры с Gemini. Ассистент сможет анализировать происходящее в смартформе или вокруг и отвечать на вопросы.
Например, можно использовать модель как навигатор или читать с ним статьи прямо с телефона.
Любители iPhone, вам ждать еще лет 5.
😁111👍36🔥15❤2🐳1
This media is not supported in your browser
VIEW IN TELEGRAM
Там VSCode только что раскатили свой Agent Mode на всех пользователей
Теперь любому юзеру IDE доступен бесплатный Cursor (но не курсор). Внутри автономное редактирование кода, исправление багов в цикле, полноценный контекст всей кодовой базы и прикрученные MCP и расширения VSCode.
Как подключить:
1. Обновить VSCode
2. Открыть VSCode и перейти в режим Chat (кнопка справа)
3. Залогиниться через GitHub
4. Устновить chat.agent.enabled в настройках
5. Выбрать "Agent" в выпадающем списке в чате
Подробности тут
Теперь любому юзеру IDE доступен бесплатный Cursor (но не курсор). Внутри автономное редактирование кода, исправление багов в цикле, полноценный контекст всей кодовой базы и прикрученные MCP и расширения VSCode.
Как подключить:
1. Обновить VSCode
2. Открыть VSCode и перейти в режим Chat (кнопка справа)
3. Залогиниться через GitHub
4. Устновить chat.agent.enabled в настройках
5. Выбрать "Agent" в выпадающем списке в чате
Подробности тут
❤105🔥48👍20🤯10😁3
Пользователи настолько недовольны Llama-4 Maverick, что начали сомневаться, что рейтинг на lmsys арене честный
Подозрений было так много, что в ответ организаторам арены пришлось опубликовать 2к+ реальных баттлов, в которых участвовала Maverick. Они содержат промпт юзера, два ответа разных моделек (включая Maverick) и итоговое предпочтение пользователя. Посмотреть можно тут.
Все вроде честно, но есть некоторые вопросы к разметчикам. Посмотрите на пример выше: Llama отвечает менее правильно, зато развернуто и со смайликами, и пользователь голосует за нее.
А, ну и да, все это не считая того, что на арене версия Maverick вообще другая. Она кастомизирована под оптимизацию с учетом человеческих предпочтений. На HF и в любых других чатах такой чекпоинт недоступен, там лежит просто Instruct.
Организаторы lmsys говорят, что не знали об этом и обещают в ближайшее время добавить на арену реальную версию.
Подозрений было так много, что в ответ организаторам арены пришлось опубликовать 2к+ реальных баттлов, в которых участвовала Maverick. Они содержат промпт юзера, два ответа разных моделек (включая Maverick) и итоговое предпочтение пользователя. Посмотреть можно тут.
Все вроде честно, но есть некоторые вопросы к разметчикам. Посмотрите на пример выше: Llama отвечает менее правильно, зато развернуто и со смайликами, и пользователь голосует за нее.
А, ну и да, все это не считая того, что на арене версия Maverick вообще другая. Она кастомизирована под оптимизацию с учетом человеческих предпочтений. На HF и в любых других чатах такой чекпоинт недоступен, там лежит просто Instruct.
Организаторы lmsys говорят, что не знали об этом и обещают в ближайшее время добавить на арену реальную версию.
😁144👍24🔥13🤨7❤3👏1
This media is not supported in your browser
VIEW IN TELEGRAM
Генерация длинных видео с помощью Test-Time Training от Nvidia и Стэнфорда
Посмотрите на мультик наверху. Он длится целую минуту и при этом c начала до конца сгенерирован моделью. Это довольно большая продолжительность, потому что в основном все "сгенерированные ролики" длиннее 30 секунд – это на самом деле много отдельных коротких генераций, склеенных человеком в одну ленту. А тут – до минуты из коробки.
Что самое интересное – под капотом Test-Time Training слои. Каждый такой слой это маленькая двухслойная нейросеть, хранящая историю. Это похоже на скрытое состояние памяти в RNN, но вместо вектора тут параметры сети.
На каждом шаге к этим параметрам применяется шаг градиентного спуска по некоторому вспомогательному лоссу. Проще говоря, при обработке каждого блока входных токенов модель дообучается во время инференса, чтобы лучше зафиксировать долгосрочные зависимости.
Это эффективнее, чем голый self-attention. За счет этого и последовательность может масштабироваться до тысяч кадров. В остальном это обычный Diffusion Transformer и локальное внимание на окнах в 3 секунды.
Конечно, физика и целостность кое-где все еще страдает, но по сравнению с конкурентами на длинных видео прогресс есть.
Демки | Код | Статья
Посмотрите на мультик наверху. Он длится целую минуту и при этом c начала до конца сгенерирован моделью. Это довольно большая продолжительность, потому что в основном все "сгенерированные ролики" длиннее 30 секунд – это на самом деле много отдельных коротких генераций, склеенных человеком в одну ленту. А тут – до минуты из коробки.
Что самое интересное – под капотом Test-Time Training слои. Каждый такой слой это маленькая двухслойная нейросеть, хранящая историю. Это похоже на скрытое состояние памяти в RNN, но вместо вектора тут параметры сети.
На каждом шаге к этим параметрам применяется шаг градиентного спуска по некоторому вспомогательному лоссу. Проще говоря, при обработке каждого блока входных токенов модель дообучается во время инференса, чтобы лучше зафиксировать долгосрочные зависимости.
Это эффективнее, чем голый self-attention. За счет этого и последовательность может масштабироваться до тысяч кадров. В остальном это обычный Diffusion Transformer и локальное внимание на окнах в 3 секунды.
Конечно, физика и целостность кое-где все еще страдает, но по сравнению с конкурентами на длинных видео прогресс есть.
Демки | Код | Статья
🔥102👍29❤11🤯7😁4
Media is too big
VIEW IN TELEGRAM
Очень показательный пример того, что могут MCP протоколы: разработчики audio моделек ElevenLabs сделали свой MCP и теперь любой ваш агент (например, Claude) может использовать все возможности их сеток.
Например, чтобы куда-то позвонить, создать аудиокнигу тем голосом, который вы захотите или сделать конспект лекции. Юзкейсов море, при этом усилий на разработку потрачено минимум.
Например, чтобы куда-то позвонить, создать аудиокнигу тем голосом, который вы захотите или сделать конспект лекции. Юзкейсов море, при этом усилий на разработку потрачено минимум.
🔥115🤯34👍11❤10😁1