У Авито вышло очень информативное интервью про ИИ в бизнесе, архитектуры и социальные эффекты от генеративок
Управляющий партнер Авито Иван Гуз без приукрас и очень емко ответил сразу на много основополагающих вопросов. Наш топ-3 вопрос-ответ, кратко:
1️⃣ Произошло ли массовое принятие технологии?
2️⃣ Какая окупаемость продуктов на базе генеративного ИИ?
3️⃣ На каком этапе развития искусственного интеллекта мы сейчас находимся?
Интервью полностью читаем здесь
Управляющий партнер Авито Иван Гуз без приукрас и очень емко ответил сразу на много основополагающих вопросов. Наш топ-3 вопрос-ответ, кратко:
Уровень использования ИИ в качестве помощников растет экспоненциально. То есть сомнений в том, что все будут использовать искусственный интеллект, не возникает.
Есть технологии, которые живут под капотом, улучшают всю нашу рекламную модель и реально окупаются. Это трансформеры, за счет которых релевантность всех наших поисковых выдач, рекомендаций существенно возрастает.
В других сценариях мы, например, автоматически рекомендуем описание товара по картинкам, которые были загружены. Здесь GenAI помогает сокращать трудозатраты, потому что большой объем информации изначально создает за пользователя.
Но есть агенты, их мы только начинаем тестировать. Мы верим, что мир в итоге придет к использованию агентского ИИ, поэтому и мы продолжаем идти в этом направлении.
Текущие архитектуры достигли определенного предела, и надо думать про создание не больших языковых моделей, а про создание так называемых world models, то есть моделей, которые понимают не только слова.
Интервью полностью читаем здесь
Please open Telegram to view this post
VIEW IN TELEGRAM
1🤨68❤28👍20🗿15😁13🔥6👨💻1😎1
Вышел DeepSeek-V3.1
Веса base модели уже лежат на HF, вот тут, но официального анонса еще нет. Пока ждем, вот что уже известно:
– Увеличили контекст до 128к токенов
– Знания теперь до июля 2024
– Архитектура не изменилась, но вроде как теперь модель гибридная
Несмотря на последний пункт, пока релиз выглядит как небольшой апдейт. Ждем бенчмарки и официальный блогпост🤔
Веса base модели уже лежат на HF, вот тут, но официального анонса еще нет. Пока ждем, вот что уже известно:
– Увеличили контекст до 128к токенов
– Знания теперь до июля 2024
– Архитектура не изменилась, но вроде как теперь модель гибридная
Несмотря на последний пункт, пока релиз выглядит как небольшой апдейт. Ждем бенчмарки и официальный блогпост
Please open Telegram to view this post
VIEW IN TELEGRAM
1👍107🔥28🐳24 9❤7👌2☃1😁1🤗1 1
Альтман внезапно заявил, что ИИ может оказаться пузырем
(Да-да, главное говорить это уже после выпуска GPT-5)
Сэм сравнил рыночные условия с бумом доткомов в девяностых. Тогда тоже была массовая гонка инвестиций, но затем всего за 2 года главная американская фондовая биржа Nasdaq потеряла почти 80% своей стоимости: многие компании так и не смогли выйти на прибыль.
К слову, если текущее состояние рынка – все-таки пузырь, то он уже сейчас больше, чем интернет-пузырь. От этом недавно писал в своем отчете известный экономист с Уолл-стрит Торстен Слок. По его словам, текущие показатели переоценки акций (фактически цена к ожидаемой прибыли) для топ‑10 компаний сегодня сильно выше, чем это было тогда. График наверху.
Ну что, у кого какие идеи для стартапов?🙂
(Да-да, главное говорить это уже после выпуска GPT-5)
Сэм сравнил рыночные условия с бумом доткомов в девяностых. Тогда тоже была массовая гонка инвестиций, но затем всего за 2 года главная американская фондовая биржа Nasdaq потеряла почти 80% своей стоимости: многие компании так и не смогли выйти на прибыль.
«Пузыри формируются, когда умные люди начинают слишком увлекаться какой-то хорошей идеей. Находимся ли мы в фазе, когда инвесторы в целом слишком увлечены ИИ? По-моему, да. Но при этом остается ли ИИ самым важным событием в мире за долгое время? По-моему, тоже да»
К слову, если текущее состояние рынка – все-таки пузырь, то он уже сейчас больше, чем интернет-пузырь. От этом недавно писал в своем отчете известный экономист с Уолл-стрит Торстен Слок. По его словам, текущие показатели переоценки акций (фактически цена к ожидаемой прибыли) для топ‑10 компаний сегодня сильно выше, чем это было тогда. График наверху.
Ну что, у кого какие идеи для стартапов?
Please open Telegram to view this post
VIEW IN TELEGRAM
1😁178 62❤33👍16 4🤔3🔥1
В догонку к утреннему посту про ИИ-пузырь: MIT выяснили, что в индустрии фейлятся 95% пилотных внедрений ИИ
Дисклеймер: видели, что много где эта новость подается под видом «95% ИИ-стартапов терпят провалы», но все не совсем так. Сразу уточняем⬇️
Пилотный запуск – это не только стартапы. Это также внедрение ИИ (именно генеративного) в компаниях любого типа. Причем, опять же, это не обязательно про продукт: под внедрением может подразумеваться даже запуск небольшой фичи.
Ну так вот. Отчет MIT основан на 150 интервью с руководителями, опросе 350 сотрудников и анализе 300 публичных проектов внедрения генеративного ИИ.
Основная цифра: только 5% пилотных внедрений генеративного ИИ приводят к быстрому росту выручки, а остальные остаются малозаметными, не влияя на прибыль компаний.
Звучит так себе, конечно. Но вот на что стоит обратить внимание:
1. Компании допускают очевидные ошибки в стратегиях. Более 50% бюджетов на генеративный ИИ направляются в продажи и маркетинг, хотя MIT отмечает, что максимальный ROI – это про автоматизацию бэк-офисных задач типа оптимизации операций.
2. Если компании покупают решения, а не пытаются придумывать что-то сами, то успех уже наблюдается в 67% случаев.
3. Не берется в расчет теневой ИИ. То есть неофициальное использование сотрудниками чат-ботов, агентов и других инструментов для работы.
И вот уже получается, что если копнуть глубже, то все не так уж и плохо. Судите сами, в общем. Отчет вот (доступ через форму)
Дисклеймер: видели, что много где эта новость подается под видом «95% ИИ-стартапов терпят провалы», но все не совсем так. Сразу уточняем
Пилотный запуск – это не только стартапы. Это также внедрение ИИ (именно генеративного) в компаниях любого типа. Причем, опять же, это не обязательно про продукт: под внедрением может подразумеваться даже запуск небольшой фичи.
Ну так вот. Отчет MIT основан на 150 интервью с руководителями, опросе 350 сотрудников и анализе 300 публичных проектов внедрения генеративного ИИ.
Основная цифра: только 5% пилотных внедрений генеративного ИИ приводят к быстрому росту выручки, а остальные остаются малозаметными, не влияя на прибыль компаний.
Звучит так себе, конечно. Но вот на что стоит обратить внимание:
1. Компании допускают очевидные ошибки в стратегиях. Более 50% бюджетов на генеративный ИИ направляются в продажи и маркетинг, хотя MIT отмечает, что максимальный ROI – это про автоматизацию бэк-офисных задач типа оптимизации операций.
2. Если компании покупают решения, а не пытаются придумывать что-то сами, то успех уже наблюдается в 67% случаев.
3. Не берется в расчет теневой ИИ. То есть неофициальное использование сотрудниками чат-ботов, агентов и других инструментов для работы.
И вот уже получается, что если копнуть глубже, то все не так уж и плохо. Судите сами, в общем. Отчет вот (доступ через форму)
Please open Telegram to view this post
VIEW IN TELEGRAM
2👍97❤31😁23🔥3🦄2
Data Secrets
Илон Маск заявил, что в xAI и SpaceX нет рисерчеров – а есть только инженеры Термин «рисерчер» он назвал чопорным и малоответственным, и сказал, что это пережиток академической среды. Он утверждает, что рисерчеры в xAI не нужны, потому что у него работают…
Настроение, когда ушел из xAI, в котором запрещено слово «рисерчер», и теперь наконец-то можешь выговориться
2😁417👍31❤24 8🔥6🗿4
Исследование: в России прогнозируется двукратный рост рынка ПО и ИТ-услуг к 2032 году
Объём рынка тиражного программного обеспечения (ПО) в России увеличился с 287 млрд рублей в 2022 году до 448 млрд рублей в 2024-м, демонстрируя среднегодовой рост на 25%, - так перспективы рынка ИТ в своем свежем исследовании оценивает консалтинговая компания Б1.
В числе ключевых драйверов роста эксперты называют импортозамещение, активное внедрение цифровых технологий и модернизация систем, приложений с интеграцией в них функционала AI. Особенно заметный вклад в развитие сектора вносят госпредприятия и бизнес, переходящие на отечественные программные решения.
По оценкам аналитиков, к 2032 году объем рынка ИТ-услуг может превысить 1,1 трлн рублей, при этом заказная разработка к 2032 году вырастет почти вдвое – до 282 млрд руб. Последнему сегменту в исследовании уделяется особое внимание: за год он вырос уже на 12% и достиг 150 млрд рублей в 2024 году. Среди лидеров этого направления Б1 выделяет «FabricaONE.AI» (11%), «БФТ-холдинг» (7%) и «Ланит» (6%).
Дальше рынок явно будет консолидироваться – игроков много, а спрос на продукты с интеграцией продвинутых технологий (аналитики, AI, BI) только усиливается. Наглядная иллюстрация выражения «Успех – это успеть».
Объём рынка тиражного программного обеспечения (ПО) в России увеличился с 287 млрд рублей в 2022 году до 448 млрд рублей в 2024-м, демонстрируя среднегодовой рост на 25%, - так перспективы рынка ИТ в своем свежем исследовании оценивает консалтинговая компания Б1.
В числе ключевых драйверов роста эксперты называют импортозамещение, активное внедрение цифровых технологий и модернизация систем, приложений с интеграцией в них функционала AI. Особенно заметный вклад в развитие сектора вносят госпредприятия и бизнес, переходящие на отечественные программные решения.
По оценкам аналитиков, к 2032 году объем рынка ИТ-услуг может превысить 1,1 трлн рублей, при этом заказная разработка к 2032 году вырастет почти вдвое – до 282 млрд руб. Последнему сегменту в исследовании уделяется особое внимание: за год он вырос уже на 12% и достиг 150 млрд рублей в 2024 году. Среди лидеров этого направления Б1 выделяет «FabricaONE.AI» (11%), «БФТ-холдинг» (7%) и «Ланит» (6%).
Дальше рынок явно будет консолидироваться – игроков много, а спрос на продукты с интеграцией продвинутых технологий (аналитики, AI, BI) только усиливается. Наглядная иллюстрация выражения «Успех – это успеть».
1😁78🗿22👍11❤7🤯5✍4🫡2🦄2❤🔥1
Мем дня: в Америке 16% сотрудников делают вид, что используют ИИ
Все затем, чтобы удовлетворить руководство. 75% работников либо официально, либо неофициально обязаны внедрять ИИ в свою деятельность.
В таких условиях само собой появляется ощущение, что отказ сделает тебя менее компетентным, даже если ИИ тебе по факту и не нужен. И это тоже подтверждают цифры: 22% работников чувствуют давление использовать ИИ даже в тех случаях, когда не уверены в своих навыках работы с ним.
Что тут скажешь. Дожили😐
www.howdy.com/blog/AI-fatigue-statistics
Все затем, чтобы удовлетворить руководство. 75% работников либо официально, либо неофициально обязаны внедрять ИИ в свою деятельность.
В таких условиях само собой появляется ощущение, что отказ сделает тебя менее компетентным, даже если ИИ тебе по факту и не нужен. И это тоже подтверждают цифры: 22% работников чувствуют давление использовать ИИ даже в тех случаях, когда не уверены в своих навыках работы с ним.
Что тут скажешь. Дожили
www.howdy.com/blog/AI-fatigue-statistics
Please open Telegram to view this post
VIEW IN TELEGRAM
1😁186👍23❤16 12 9❤🔥1
Разбираем статью подписчика: дискретный подход к машинному обучению
Авторы (один из них – @x7CFE) предлагают перейти от привычных нейросетей и методов их обучения к работе с дискретными элементами – разреженными битовыми векторами.
Идея основана на том, как кодирует и обрабатывает информацию мозг живого существа. В частности, прототипом послужило строение неокортекса, гиппокампа и других его определяющих частей. По части теории исследователи опирались на гипотезу многообразия и лемму Йонеды, а на практике работает все примерно так:
1. Исходные данные кодируются в так называемые стимулы – как раз те самые битовые векторы. Кодирование происходит по набору правил, то есть это не привычные эмбеддинги. Но полезные свойства сохраняются: стимулы похожих понятий похожи друг на друга.
2. Полученные векторы наносятся на плоскость и происходит кластеризация, выявление паттернов и структур. Для каждого кластера формируется детектор, из которого мы получаем дискретные структурные эмбеддинги.
3. Эти эмбеддинги показывают, какие кластеры активируются, когда модель видит новое поступающее на вход слово. Далее процесс повторяется на следующем уровне иерархии.
То есть обучение превращается в изучение четких ассоциаций, а инференс – в поиск соответствий в памяти. И получается, что:
– Модель более устойчива к галлюцинациям
– Память можно редактировать в любое время, добавлять в нее что-то или удалять (привет элаймент и machine unlearning!)
– Это не черный ящик: все шаги модели интерпретируемы и понятны
Модель тестировали на нескольких задачах, в том числе на медицинских изображениях (да, это работает для разных модальностей). Показано, что она способна понимать и интерпретировать незнакомые данные, улавливать их структуру и четко воспринимать семантику.
В статье приведено еще несколько экспериментов и аргументов, почему это удачный сетап, и чем он лучше современного подхода. Так что советуем почитать полностью, реально интересно ⬇️
- Статья на архив
- Лендинг с версией на русском языке, данными и кодом
- Сообщение автора из нашего чата с кратким разбором результатов
В комментариях приглашаем задавать вопросы лично автору (ну и, конечно, поздравлять его с крутой публикацией!)
Авторы (один из них – @x7CFE) предлагают перейти от привычных нейросетей и методов их обучения к работе с дискретными элементами – разреженными битовыми векторами.
Идея основана на том, как кодирует и обрабатывает информацию мозг живого существа. В частности, прототипом послужило строение неокортекса, гиппокампа и других его определяющих частей. По части теории исследователи опирались на гипотезу многообразия и лемму Йонеды, а на практике работает все примерно так:
1. Исходные данные кодируются в так называемые стимулы – как раз те самые битовые векторы. Кодирование происходит по набору правил, то есть это не привычные эмбеддинги. Но полезные свойства сохраняются: стимулы похожих понятий похожи друг на друга.
2. Полученные векторы наносятся на плоскость и происходит кластеризация, выявление паттернов и структур. Для каждого кластера формируется детектор, из которого мы получаем дискретные структурные эмбеддинги.
3. Эти эмбеддинги показывают, какие кластеры активируются, когда модель видит новое поступающее на вход слово. Далее процесс повторяется на следующем уровне иерархии.
То есть обучение превращается в изучение четких ассоциаций, а инференс – в поиск соответствий в памяти. И получается, что:
– Модель более устойчива к галлюцинациям
– Память можно редактировать в любое время, добавлять в нее что-то или удалять (привет элаймент и machine unlearning!)
– Это не черный ящик: все шаги модели интерпретируемы и понятны
Модель тестировали на нескольких задачах, в том числе на медицинских изображениях (да, это работает для разных модальностей). Показано, что она способна понимать и интерпретировать незнакомые данные, улавливать их структуру и четко воспринимать семантику.
В статье приведено еще несколько экспериментов и аргументов, почему это удачный сетап, и чем он лучше современного подхода. Так что советуем почитать полностью, реально интересно ⬇️
- Статья на архив
- Лендинг с версией на русском языке, данными и кодом
- Сообщение автора из нашего чата с кратким разбором результатов
В комментариях приглашаем задавать вопросы лично автору (ну и, конечно, поздравлять его с крутой публикацией!)
3❤196🔥79 31👍22 14🗿4🤩3🍾3😁1👌1
Внезапно: OpenAI в будущем планирует стать платформой для аренды мощностей типа AWS
Об этом рассказала финансовый директор стартапа. Что это теоретически может означать:
1. Что OpenAI в перспективе планируют переключиться с огромных затрат на обучение на оптимизацию и поддержку в первую очередь инференса. Это чуть не единственный их шанс начать получать прибыль, кстати.
2. И, возможно, для инференса они будут использовать не Nvidia, а какое-то железо подешевле, – а Nvidia как раз сдавать. У Хуанга монополия на чипы для обучения, но под инференс можно попытаться оптимизировать и что-нибудь другое.
3. Ну и RIP огромные бюджеты ресурсов на рисерч, видимо…
Все странноватее и странноватее
Об этом рассказала финансовый директор стартапа. Что это теоретически может означать:
1. Что OpenAI в перспективе планируют переключиться с огромных затрат на обучение на оптимизацию и поддержку в первую очередь инференса. Это чуть не единственный их шанс начать получать прибыль, кстати.
2. И, возможно, для инференса они будут использовать не Nvidia, а какое-то железо подешевле, – а Nvidia как раз сдавать. У Хуанга монополия на чипы для обучения, но под инференс можно попытаться оптимизировать и что-нибудь другое.
3. Ну и RIP огромные бюджеты ресурсов на рисерч, видимо…
Все странноватее и странноватее
1 106 32🤔25❤8😁6⚡2👍1
Наткнулись тут на забавное
Однажды в 1912 году Эйнштейн писал своему другу:
А теперь угадайте, какую именно математику он имеет в виду.
Ответ:тензоры и тензорный анализ . В те годы он работал над проблемой гравитации и тензорный аппарат был ему нужен для того, чтобы описать, как гравитация связана с геометрией пространства-времени.
Короче, теперь вы знаете, чем себя утешить, когда в следующий раз запутаетесь в размерностях тензоров в PyTorch✨
Однажды в 1912 году Эйнштейн писал своему другу:
«Я никогда в жизни так тяжело не работал и теперь испытываю благоговейный ужас перед математикой, которую до сих пор в своей наивности считал просто роскошью в её более утончённых формах! По сравнению с этой задачей исходная теория относительности – детская забава»
А теперь угадайте, какую именно математику он имеет в виду.
Ответ:
Короче, теперь вы знаете, чем себя утешить, когда в следующий раз запутаетесь в размерностях тензоров в PyTorch
Please open Telegram to view this post
VIEW IN TELEGRAM
1😁282🔥32❤21 8🤯7 7👍6🍾5🤔3
Мы наконец-то дождались официального анонса новой DeepSeek-V3.1. Главное:
➖ Инференс действительно гибридный: одна модель, два мода. Причем DeepSeek-V3.1-Think «соображает» быстрее DeepSeek-R1-0528 (см. график 3): для получения тех же результатов тратится намного меньше токенов.
➖ Улучшенный tool use и мультиагентные способности. На Terminal bench перформит в 6 раз лучше R1-0528. На SWE-bench выбивает 66%. Для сравнения, результат gpt-oss – 62%.
➖ Цены: 0.56$/1.68$ за млн токенов. Немного дороже gpt-oss, но дешевле, например, Sonnet. Эти цены вступят в силу 6 сентября + с этой даты перестанут действовать ночные скидки.
И еще раз ссылка на веса: huggingface.co/deepseek-ai/DeepSeek-V3.1
И еще раз ссылка на веса: huggingface.co/deepseek-ai/DeepSeek-V3.1
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
2🔥72❤27👍18🤗3🤨2⚡1😁1
GPT-5 решила (почти) открытую математическую задачу
Инженер из OpenAI рассказал о том, как скормил модели статью с нерешенной мат.проблемой и модель, порассуждав 17 минут, смогла улучшить решение ученых.
Речь идет об этой статье. Она относительно свежая и в ней изучается такой вопрос: при каких условиях на размер шага eta в градиентном спуске в гладкой выпуклой оптимизации кривая, определяемая значением функции итераций, будет выпуклой?
Люди смогли доказать, что при eta меньше 1/L кривая выпукла, а при eta больше 1,75/L – нет. Что происходит в диапазоне [1/L, 1,75/L] – осталось открытым вопросов.
Так вот GPT-5 всего за 17 минут удалось улучшить границу и показать, что кривая выпукла при eta меньше 1.5/L. То есть да, разрыв устранен не полностью, но модель сократила его в три раза, при этом приведя полностью прозрачное и правильное доказательство своего утверждения.
x.com/sebastienbubeck/status/1958198661139009862
Инженер из OpenAI рассказал о том, как скормил модели статью с нерешенной мат.проблемой и модель, порассуждав 17 минут, смогла улучшить решение ученых.
Речь идет об этой статье. Она относительно свежая и в ней изучается такой вопрос: при каких условиях на размер шага eta в градиентном спуске в гладкой выпуклой оптимизации кривая, определяемая значением функции итераций, будет выпуклой?
Люди смогли доказать, что при eta меньше 1/L кривая выпукла, а при eta больше 1,75/L – нет. Что происходит в диапазоне [1/L, 1,75/L] – осталось открытым вопросов.
Так вот GPT-5 всего за 17 минут удалось улучшить границу и показать, что кривая выпукла при eta меньше 1.5/L. То есть да, разрыв устранен не полностью, но модель сократила его в три раза, при этом приведя полностью прозрачное и правильное доказательство своего утверждения.
x.com/sebastienbubeck/status/1958198661139009862
3🔥355👍57🤯43❤21 15🤔6👏5😁5
МТС Web Services запустила партнерскую программу: в ее рамках компании смогут перепродавать MWS GPT с более чем 40 LLM и платформу для хранения, обработки и анализа данных - MWS Data.
Итак обычно облачные и AI-сервисы продаются в лоб – напрямую клиентам. Но масштабироваться таким образом тяжело, и партнёрские программы почти всегда сводятся к скучным % за лиды.
В MWS решили сделать иначе. В августе 2025-го они запускают трёхуровневую партнёрку:
– агентская модель (просто привёл клиента – заработал до 20%)
– реселлерская (покупаешь по спецценам, перепродаёшь – до 35% маржи)
– white-label (можно взять MWS GPT, Data или продукты MWS Cloud, встроить в свой сервисы и продавать под своим брендом)
В таком виде это фактически не канал продаж, а целый рынок внутри рынка: компаниям разрешают строить свои экосистемы на базе мощностей МТС.
Компании смогут перепродавать не только AI и Data сервисы, но и облачные продукты MWS Cloud, сервисы для разработчиков и бизнес-приложения.
Первыми подключились Neoflex, «Концепт разработка» и GlowByte. В планах 300+ компаний и рост выручки от партнёрок в 7 раз.
Получается, МТС не только двигает своё облако, но и фактически превращает его в строительные блоки для всего российского ИТ.
Ссылка на партнерку тут.
Итак обычно облачные и AI-сервисы продаются в лоб – напрямую клиентам. Но масштабироваться таким образом тяжело, и партнёрские программы почти всегда сводятся к скучным % за лиды.
В MWS решили сделать иначе. В августе 2025-го они запускают трёхуровневую партнёрку:
– агентская модель (просто привёл клиента – заработал до 20%)
– реселлерская (покупаешь по спецценам, перепродаёшь – до 35% маржи)
– white-label (можно взять MWS GPT, Data или продукты MWS Cloud, встроить в свой сервисы и продавать под своим брендом)
В таком виде это фактически не канал продаж, а целый рынок внутри рынка: компаниям разрешают строить свои экосистемы на базе мощностей МТС.
Компании смогут перепродавать не только AI и Data сервисы, но и облачные продукты MWS Cloud, сервисы для разработчиков и бизнес-приложения.
Первыми подключились Neoflex, «Концепт разработка» и GlowByte. В планах 300+ компаний и рост выручки от партнёрок в 7 раз.
Получается, МТС не только двигает своё облако, но и фактически превращает его в строительные блоки для всего российского ИТ.
Ссылка на партнерку тут.
2🗿42🤯16👍13❤10🤨9 4🫡2😁1🤓1👾1
О, Google впервые раскрыли подробную статистику того, сколько энергии потребляют их модели
Итак, один текстовый запрос к Gemini в среднем ест:
– 0.24 ватта энергии (это примерно 9 секунд просмотра ТВ)
– 0.26 мл воды (около 5 капель)
– плюс выбрасывает 0,03г эквивалента CO2
Это, к слову, несколько меньше, чем часто пишут в открытых источниках. Даже при том, что посчитано все ну очень въедливо: учитывается не только GPU, но и работа CPU и RAM, и энергия, расходуемая на холостом ходу, и вся-вся-вся инфраструктура дата-центра (охлаждение, системы поддержки и тд).
Но самое впечатляющее, что год назад эти числа были в десятки раз пессимистичнее. Например, с мая 2024 по май 2025 энергетический след Gemini Apps сократился в 33 раза, а углеродный след – в 44 раза. Говорят, что в основном сократили за счет оптимизации собственных чипов, возобновляемой энергии и специального дизайна датацентров. Респект.
Статья полностью тут (в соавторах Джефф Дин, кстати). Супер подробно расписано, как они и что считали, очень занятно поизучать.
Итак, один текстовый запрос к Gemini в среднем ест:
– 0.24 ватта энергии (это примерно 9 секунд просмотра ТВ)
– 0.26 мл воды (около 5 капель)
– плюс выбрасывает 0,03г эквивалента CO2
Это, к слову, несколько меньше, чем часто пишут в открытых источниках. Даже при том, что посчитано все ну очень въедливо: учитывается не только GPU, но и работа CPU и RAM, и энергия, расходуемая на холостом ходу, и вся-вся-вся инфраструктура дата-центра (охлаждение, системы поддержки и тд).
Но самое впечатляющее, что год назад эти числа были в десятки раз пессимистичнее. Например, с мая 2024 по май 2025 энергетический след Gemini Apps сократился в 33 раза, а углеродный след – в 44 раза. Говорят, что в основном сократили за счет оптимизации собственных чипов, возобновляемой энергии и специального дизайна датацентров. Респект.
Статья полностью тут (в соавторах Джефф Дин, кстати). Супер подробно расписано, как они и что считали, очень занятно поизучать.
1🔥196❤46👍39🤯5🤓5👾2😁1
Самая громкая статья месяца – Hierarchical Reasoning Model
Без предисловий, сразу главный результат: у авторов получилось сделать модельку всего на 27 миллионов (!) параметров, которая обошла o3-mini на ARC-AGI-1. Неудивительно, что об этой работе сейчас говорит все комьюнити, а авторы ARC-AGI даже сами написали большой разбор результатов модели на их бенчмарке.
Погнали разбираться.
Итак, вся архитектура состоит из двух рекуррентных модулей: быстрого низкоуровневого и медленного высокоуровневого. Первый отвечает за быстрые локальные вычисления и решения частных задач, а цель второго – абстрактно управлять процессом и ставить таски первому.
Суть в том, что они обновляются с разной частотой. Исходная задача разбивается на несколько циклов рассуждения. В каждом из них верхний модуль обновляется только один раз и дает новый контекст нижнему модулю, который в свою очередь делает много мелких шагов и ищет локальное решение.
Сколько будет таких итераций, модель решает сама. Останавливаться (или не останавливаться) в правильный момент ее специально учили с помощью RL. Так что «думать» она может и пару секунд, и пару часов.
Обучается HRM не совсем привычно для рекуррентной модели: здесь, вместо того чтобы сохранять все внутренние состояния, авторы решили обновлять градиенты только по финальному стейту. Удивительно, но факт – это работает.
Кстати, вся конструкция и принцип обучения очень похожи на то, как работает наш мозг. Некоторые области отвечают за абстракцию, другие – за конкретные моментальные действия, а общаются они посредством обратных связей. Здесь те же принципы иерархии (отсюда и название). Плюс, мозг тоже не хранит промежуточные траектории и к сходимости приходит через схожие волновые циклы.
Итог: модель для своего размера просто беспрецедентно хороша на решениях всяких головоломок типа судоку, лабиринтов и индуктивных задач. В общем, именно в тех областях, где привычные LLM обычно фейлятся. Конечно, особенно поражают результаты на ARC-AGI, которые мы описали в начале.
Революция или нет, но выглядит действительно очень изящно и эффектно.
Обязательно почитайте работу полностью тут (+ вот еще один отличный разбор на русском языке)
Без предисловий, сразу главный результат: у авторов получилось сделать модельку всего на 27 миллионов (!) параметров, которая обошла o3-mini на ARC-AGI-1. Неудивительно, что об этой работе сейчас говорит все комьюнити, а авторы ARC-AGI даже сами написали большой разбор результатов модели на их бенчмарке.
Погнали разбираться.
Итак, вся архитектура состоит из двух рекуррентных модулей: быстрого низкоуровневого и медленного высокоуровневого. Первый отвечает за быстрые локальные вычисления и решения частных задач, а цель второго – абстрактно управлять процессом и ставить таски первому.
Суть в том, что они обновляются с разной частотой. Исходная задача разбивается на несколько циклов рассуждения. В каждом из них верхний модуль обновляется только один раз и дает новый контекст нижнему модулю, который в свою очередь делает много мелких шагов и ищет локальное решение.
Сколько будет таких итераций, модель решает сама. Останавливаться (или не останавливаться) в правильный момент ее специально учили с помощью RL. Так что «думать» она может и пару секунд, и пару часов.
Обучается HRM не совсем привычно для рекуррентной модели: здесь, вместо того чтобы сохранять все внутренние состояния, авторы решили обновлять градиенты только по финальному стейту. Удивительно, но факт – это работает.
Кстати, вся конструкция и принцип обучения очень похожи на то, как работает наш мозг. Некоторые области отвечают за абстракцию, другие – за конкретные моментальные действия, а общаются они посредством обратных связей. Здесь те же принципы иерархии (отсюда и название). Плюс, мозг тоже не хранит промежуточные траектории и к сходимости приходит через схожие волновые циклы.
Итог: модель для своего размера просто беспрецедентно хороша на решениях всяких головоломок типа судоку, лабиринтов и индуктивных задач. В общем, именно в тех областях, где привычные LLM обычно фейлятся. Конечно, особенно поражают результаты на ARC-AGI, которые мы описали в начале.
Революция или нет, но выглядит действительно очень изящно и эффектно.
Обязательно почитайте работу полностью тут (+ вот еще один отличный разбор на русском языке)
3 243🔥140❤53👍16🤯8 4😁3🤔3🐳2👀1
Стало известно, что Ян Лекун и Нат Фридман в Meta теперь напрямую подчиняются Александру Вангу
Об этом пишет Business Insider со ссылкой на внутреннюю переписку. В Meta* снова произошли какие-то перестройки и теперь Нат Фридман (которого изначально нанимали как второго управляющего лабораторией MSL) и Ян Лекун (который должен был более менее независимо управлять FAIR) будут напрямую подчиняться Алексу Вангу, как и все остальные тимлиды.
Единственный человек, который не упоминается в служебной записке, как подчиненный Ванга – это Shengjia Zhao, ведущий ученый лаборатории и бывший со-креатор ChatGPT.
> учиться и работать всю жизнь
> стать одними из самых заметных людей в области
> подчиняться 28-летнему бизнесмену
Об этом пишет Business Insider со ссылкой на внутреннюю переписку. В Meta* снова произошли какие-то перестройки и теперь Нат Фридман (которого изначально нанимали как второго управляющего лабораторией MSL) и Ян Лекун (который должен был более менее независимо управлять FAIR) будут напрямую подчиняться Алексу Вангу, как и все остальные тимлиды.
Единственный человек, который не упоминается в служебной записке, как подчиненный Ванга – это Shengjia Zhao, ведущий ученый лаборатории и бывший со-креатор ChatGPT.
> учиться и работать всю жизнь
> стать одними из самых заметных людей в области
> подчиняться 28-летнему бизнесмену
1😁179 42 17❤11🫡7🤯6🤓6👍2