Сегодня я запускаю новый эксперимент. Это курс AI+Coding для одной компании.
Какую проблему мы пытаемся решить? Во множестве компаний есть свои IT отделы с разработчиками. Это компании с обычной классической разработкой, без всяких агентов, LLM-ок или RAGов. Эти компании слышат про то, что разработчик может работать на 13.2% быстрее и эффективнее, если использует Cursor или Copilot [1]. Естественно, что им хочется такое к себе - это же снижает издержки и повышает прибыльность. Они даже готовы обучать сотрудников новым фишкам и давать новые инструменты.
В чем проблема? А в том, что дальше начинается самое интересное, которое покажется чистой чертовщиной для большинства читателей этого канала. Разработчики не хотят напрягаться и осваивать новые AI инструменты. Им и так хорошо. Рабочие места защищены, уволить особо не могут, компания прибыльная. Зачем напрягаться?
А без практики работы с AI инструментами в разработке - толка не будет. Нужно попробовать, прощупать слабые и сильные стороны, сделать привычкой. Самое важное - нужно адаптировать свой личный подход к разработке, который складывался последние 5-20 лет. Адаптировать и снова практиковать. Все это - систематически.
И вот этот тренд "не хочу напрягаться" я хочу попробовать преломить в одной отдельно взятой компании - поменять изнутри перспективу на AI Coding c “ну, интересно, но времени нет и напрягаться не хочется” на “ооо, на перерывах все только и говорят, как легко и удобно стало кодить, попробую-ка и я освоить новый инструмент, чтобы от коллег не отставать”.
А начнем мы с маленькой экспериментальной группы. 6 человек из компании в 150 человек. Эксперимент займет 2-3 месяца. Пройдемся по материалам из моих вебинаров по AI Coding, отработаем каты и практические упражнения, освоим новые инструменты, сделаем разработчиков супер-звездами в компании и попробуем силы на пилотном проекте.
Посмотрим, что из всего этого выйдет.
Ваш, @llm_under_hood 🤗
—-
[1] Статистику я взял с потолка. На самом деле буст в 10 раз легко, если правильно ставить задачи.
Какую проблему мы пытаемся решить? Во множестве компаний есть свои IT отделы с разработчиками. Это компании с обычной классической разработкой, без всяких агентов, LLM-ок или RAGов. Эти компании слышат про то, что разработчик может работать на 13.2% быстрее и эффективнее, если использует Cursor или Copilot [1]. Естественно, что им хочется такое к себе - это же снижает издержки и повышает прибыльность. Они даже готовы обучать сотрудников новым фишкам и давать новые инструменты.
В чем проблема? А в том, что дальше начинается самое интересное, которое покажется чистой чертовщиной для большинства читателей этого канала. Разработчики не хотят напрягаться и осваивать новые AI инструменты. Им и так хорошо. Рабочие места защищены, уволить особо не могут, компания прибыльная. Зачем напрягаться?
А без практики работы с AI инструментами в разработке - толка не будет. Нужно попробовать, прощупать слабые и сильные стороны, сделать привычкой. Самое важное - нужно адаптировать свой личный подход к разработке, который складывался последние 5-20 лет. Адаптировать и снова практиковать. Все это - систематически.
И вот этот тренд "не хочу напрягаться" я хочу попробовать преломить в одной отдельно взятой компании - поменять изнутри перспективу на AI Coding c “ну, интересно, но времени нет и напрягаться не хочется” на “ооо, на перерывах все только и говорят, как легко и удобно стало кодить, попробую-ка и я освоить новый инструмент, чтобы от коллег не отставать”.
А начнем мы с маленькой экспериментальной группы. 6 человек из компании в 150 человек. Эксперимент займет 2-3 месяца. Пройдемся по материалам из моих вебинаров по AI Coding, отработаем каты и практические упражнения, освоим новые инструменты, сделаем разработчиков супер-звездами в компании и попробуем силы на пилотном проекте.
Посмотрим, что из всего этого выйдет.
Ваш, @llm_under_hood 🤗
—-
[1] Статистику я взял с потолка. На самом деле буст в 10 раз легко, если правильно ставить задачи.
👍121🔥50❤13🤯9😁8😱4🤣3🤔2💯2
Формат третьего раунда ERC - приземляем наш R&D
Итак, смотрите. Во втором раунде Enterprise RAG challenge мы искали ответы на вопросы в сотне годовых отчетов. Обнаружили, что если оценивать не только сам ответ, но и наличие доказательств, то вырисовывается интересная картина по поводу R/G scores. А еще получили понимание того, какие архитектуры и подходы справляются в таких RAG задачах лучше всех (см таблицу с обзорами https://abdullin.com/erc#r2)
Чего по отзывам не хватало в нашем R&D:
- оценки качества извлечения данных из графиков и таблиц
- наличия заранее готового evaluation pipeline
- формулировки задания, которая более приближена к реальным проблемам бизнеса
- заранее подготовленного стенда для оценки результатов (каждый писал систему оценки самостоятельно)
В третьем раунде можно сделать поинтереснее.
Во первых мы заранее наберем бизнес-документов из разных отраслей, публичных либо вручную анонимизированных - контракты, договоры, требования. Это уже будут не абстрактные годовые отчеты, а что-то более применимое и востребованное.
Общий формат соревнования будет тем же самым - нужно будет автоматически дать ответы на набор сгенерированных вопросов по этим документам, сопроводив их ссылками на подтверждающие факты. Вместо ссылки на номер страницы, как это было во втором раунде, надо будет приводить доказательство с указанием на конкретный элемент документа в рамках семантической схемы (она похожа на то, как Docling извлекает структуру).
Например, если ответ в таблице (а таких документов станет больше) - нужно будет привести название строки, столбца и конкретное значение. Если ответ на графике - примерный bbox. Если ответ - это пункт в контракте, то номер пункта и его текст. Так мы будем проверять, насколько правильно RAG находит исходные данные.
Дальше начинается самое интересное. Мы вместе разработаем модульный стенд для прогона всего пайплайна и оценки результатов, опубликуем его заранее с набором данных для оценки. Каждый сможет взять код, форкнуть, попробовать что-то улучшить и сразу посмотреть на результаты. Это было то самое конкурентное преимущество, которое помогло Илье занять первое место во втором раунде.
В итоге прокачивать базовый пайплайн можно будет в трех категориях:
(1) Extraction - улучшать то, как система структурированно извлекает данные из страниц
(2) Retrieval - делать извлеченные данные более релевантными
(3) Generation - прокачивать reasoning системы, чтобы она приходила к правильным ответам
Ну а в рамках соревнования нужно будет прогнать свои версии пайплайнов на новом наборе данных и рассказать про особенности архитектуры.
Естественно, что все результаты, ссылки на отчеты участников и их форки будем публиковать открыто.
Что скажете насчет такого варианта?
Ваш, @llm_under_hood 🤗
Итак, смотрите. Во втором раунде Enterprise RAG challenge мы искали ответы на вопросы в сотне годовых отчетов. Обнаружили, что если оценивать не только сам ответ, но и наличие доказательств, то вырисовывается интересная картина по поводу R/G scores. А еще получили понимание того, какие архитектуры и подходы справляются в таких RAG задачах лучше всех (см таблицу с обзорами https://abdullin.com/erc#r2)
Чего по отзывам не хватало в нашем R&D:
- оценки качества извлечения данных из графиков и таблиц
- наличия заранее готового evaluation pipeline
- формулировки задания, которая более приближена к реальным проблемам бизнеса
- заранее подготовленного стенда для оценки результатов (каждый писал систему оценки самостоятельно)
В третьем раунде можно сделать поинтереснее.
Во первых мы заранее наберем бизнес-документов из разных отраслей, публичных либо вручную анонимизированных - контракты, договоры, требования. Это уже будут не абстрактные годовые отчеты, а что-то более применимое и востребованное.
Общий формат соревнования будет тем же самым - нужно будет автоматически дать ответы на набор сгенерированных вопросов по этим документам, сопроводив их ссылками на подтверждающие факты. Вместо ссылки на номер страницы, как это было во втором раунде, надо будет приводить доказательство с указанием на конкретный элемент документа в рамках семантической схемы (она похожа на то, как Docling извлекает структуру).
Например, если ответ в таблице (а таких документов станет больше) - нужно будет привести название строки, столбца и конкретное значение. Если ответ на графике - примерный bbox. Если ответ - это пункт в контракте, то номер пункта и его текст. Так мы будем проверять, насколько правильно RAG находит исходные данные.
Дальше начинается самое интересное. Мы вместе разработаем модульный стенд для прогона всего пайплайна и оценки результатов, опубликуем его заранее с набором данных для оценки. Каждый сможет взять код, форкнуть, попробовать что-то улучшить и сразу посмотреть на результаты. Это было то самое конкурентное преимущество, которое помогло Илье занять первое место во втором раунде.
В итоге прокачивать базовый пайплайн можно будет в трех категориях:
(1) Extraction - улучшать то, как система структурированно извлекает данные из страниц
(2) Retrieval - делать извлеченные данные более релевантными
(3) Generation - прокачивать reasoning системы, чтобы она приходила к правильным ответам
Ну а в рамках соревнования нужно будет прогнать свои версии пайплайнов на новом наборе данных и рассказать про особенности архитектуры.
Естественно, что все результаты, ссылки на отчеты участников и их форки будем публиковать открыто.
Что скажете насчет такого варианта?
Ваш, @llm_under_hood 🤗
🔥81❤15👍6🥰1😢1
Исходники лучшего решения ERCr2 и лонгрид на хабре
Если вам хочется заняться чем-то интересным на этих выходных, можно глянуть эти ссылки и понять, что именно скрывается за RAG архитектурой "Dense retrieval combined with LLM reranking and SO CoT":
- Хабр: Как я победил в RAG Challenge: от нуля до SoTA за один конкурс
- Github: IlyaRice/RAG-challenge-2
Если точнее, Илья - один из двух победителей в призовом раунде ERCr2 и победитель по очкам всего соревнования. И еще он занял первое место используя локальную LLM от IBM.
Круто, что он открыто рассказывает про весь процесс и делится исходниками. Если что, можно задавать ему вопросы в комментариях на Хабре или прямо тут!
Пожелаем ему побольше таких побед - с детальнейшими лонгридами и открытыми исходниками. Это реально помогает двигать вперед State of the Art решения практических задач.
Ваш, @llm_under_hood 🤗
Если вам хочется заняться чем-то интересным на этих выходных, можно глянуть эти ссылки и понять, что именно скрывается за RAG архитектурой "Dense retrieval combined with LLM reranking and SO CoT":
- Хабр: Как я победил в RAG Challenge: от нуля до SoTA за один конкурс
- Github: IlyaRice/RAG-challenge-2
Если точнее, Илья - один из двух победителей в призовом раунде ERCr2 и победитель по очкам всего соревнования. И еще он занял первое место используя локальную LLM от IBM.
Круто, что он открыто рассказывает про весь процесс и делится исходниками. Если что, можно задавать ему вопросы в комментариях на Хабре или прямо тут!
Пожелаем ему побольше таких побед - с детальнейшими лонгридами и открытыми исходниками. Это реально помогает двигать вперед State of the Art решения практических задач.
Ваш, @llm_under_hood 🤗
🔥149❤25🤗10👍9
Deepseek Chat V3 0324 - есть прогресс
Новая версия DeepSeek Chat v3 (не путать с r1 моделями) стала заметно лучше своей предыдущей версии.
Причем, ее пока в Fireworks через OpenRouter не выкатили, поэтому тестировал я ее без поддержки в виде Structured Outputs. Не было ни одной ошибки валидации даже в очень сложных онтологиях.
Понятно, что модель сама по себе относительно бесполезная - такую локально запускать мучительно, а качество получше можно получить из r1. Но тем не менее прогресс в семействе chat v3 наблюдать приятно.
Новый Google Gemini, говорят, чрезвычайно хорош. Но пока OpenRouter возвращает сплошной
Ваш, @llm_under_hood 🤗
PS: Бенчмарк пока еще черновой. Туда загружено только 20% кейсов. Прочитать про мой подход к бенчмаркам можно тут. Там есть и FAQ со всеми вопросами, которые мне задают последние полтора года.
Новая версия DeepSeek Chat v3 (не путать с r1 моделями) стала заметно лучше своей предыдущей версии.
Причем, ее пока в Fireworks через OpenRouter не выкатили, поэтому тестировал я ее без поддержки в виде Structured Outputs. Не было ни одной ошибки валидации даже в очень сложных онтологиях.
Понятно, что модель сама по себе относительно бесполезная - такую локально запускать мучительно, а качество получше можно получить из r1. Но тем не менее прогресс в семействе chat v3 наблюдать приятно.
Новый Google Gemini, говорят, чрезвычайно хорош. Но пока OpenRouter возвращает сплошной
RESOURCE_EXHAUSTED, поэтому тесты подождут.Ваш, @llm_under_hood 🤗
PS: Бенчмарк пока еще черновой. Туда загружено только 20% кейсов. Прочитать про мой подход к бенчмаркам можно тут. Там есть и FAQ со всеми вопросами, которые мне задают последние полтора года.
👍39❤7🔥6🤔3🤣1
Зачем вообще нужен OpenRouter?
OpenRouter - это аггрегатор моделей, которым я пользуюсь со второй версии своих бенчмарков. Он предоставляет единый API, через который можно вызывать разные LLM модели. Он пытается быть универсальным интерфейсом к разным провайдерам моделей, от OpenAI и DeepSeek до малоизвестных FireworksAI или Parasail.
Это не идеальный провайдер, у них есть глюки. Иногда что-то падает. В февральском отчете про LLM Benchmarks я рассказывал про глюки с reasoning режимами. Пока я писал январский отчет, нашел другую ошибку с их инфраструктурой.
Тем не менее, я продолжаю пользоваться OpenRouter. Если почитать обсуждения вокруг Claude Code, то там люди и компании умоляют добавить поддержку использования Sonnet именно через OpenRouter, потому, что без этого им никак.
А вот теперь важный вопрос, который очень близок к теме чата и канала - про продукты с LLM под капотом.
Что заставляет людей и компании пользоваться таким довольно глючным LLM сервисом? Казалось бы - бери и подключайся к провайдерам напрямую. Если хочется сэкономить время, то есть LiteLLM, который позволяет подключаться к разным провайдерам напрямую. У них более 100 интеграций.
Иными словами, какую такую проблему решает OpenRouter, что компании в Европе и США закрывают глаза на технические косяки с юридическими граблями и радостно им пользуются?
Это очень важный вопрос. Он близок к другому вопросу - “Какие продукты с LLM под капотом надо пилить, чтобы компании с удовольствием платили за них деньги? И чтобы не было риска, что OpenAI в один день добавит фичу, которая убъет мой стартап?”
Есть идеи?)
Ваш, @llm_under_hood 🤗
OpenRouter - это аггрегатор моделей, которым я пользуюсь со второй версии своих бенчмарков. Он предоставляет единый API, через который можно вызывать разные LLM модели. Он пытается быть универсальным интерфейсом к разным провайдерам моделей, от OpenAI и DeepSeek до малоизвестных FireworksAI или Parasail.
Это не идеальный провайдер, у них есть глюки. Иногда что-то падает. В февральском отчете про LLM Benchmarks я рассказывал про глюки с reasoning режимами. Пока я писал январский отчет, нашел другую ошибку с их инфраструктурой.
Тем не менее, я продолжаю пользоваться OpenRouter. Если почитать обсуждения вокруг Claude Code, то там люди и компании умоляют добавить поддержку использования Sonnet именно через OpenRouter, потому, что без этого им никак.
А вот теперь важный вопрос, который очень близок к теме чата и канала - про продукты с LLM под капотом.
Что заставляет людей и компании пользоваться таким довольно глючным LLM сервисом? Казалось бы - бери и подключайся к провайдерам напрямую. Если хочется сэкономить время, то есть LiteLLM, который позволяет подключаться к разным провайдерам напрямую. У них более 100 интеграций.
Иными словами, какую такую проблему решает OpenRouter, что компании в Европе и США закрывают глаза на технические косяки с юридическими граблями и радостно им пользуются?
Это очень важный вопрос. Он близок к другому вопросу - “Какие продукты с LLM под капотом надо пилить, чтобы компании с удовольствием платили за них деньги? И чтобы не было риска, что OpenAI в один день добавит фичу, которая убъет мой стартап?”
Есть идеи?)
Ваш, @llm_under_hood 🤗
🔥29😱9👍7👏4❤3⚡3🤯2🤝2🤔1
Повышение цен на курс “AI Assistants” c апреля
Мой курс про AI-ассистенты - о том, как обоснованно выбирать эффективные технические решения продуктовых задач на базе LLM - вышел 4 месяца назад.
С тех пор, как к нам присоединились первые участники, я добавил множество апдейтов - от практических заданий до видео о применении DDD в разработке LLM-driven продуктов.
А самое главное - у курса сформировалось классное комьюнити, где общаются команды крупных финтех организаций, продуктовые и технические лиды, основатели стартапов и независимые разработчики. Персональный инвайт в сообщество идет в комплекте с покупкой курса.
Со следующего понедельника (31 Марта) мы повышаем цены на курс про AI Assistants.
Обещал предупредить заранее - выполняю)
Ваш, @llm_under_hood 🤗
Мой курс про AI-ассистенты - о том, как обоснованно выбирать эффективные технические решения продуктовых задач на базе LLM - вышел 4 месяца назад.
С тех пор, как к нам присоединились первые участники, я добавил множество апдейтов - от практических заданий до видео о применении DDD в разработке LLM-driven продуктов.
А самое главное - у курса сформировалось классное комьюнити, где общаются команды крупных финтех организаций, продуктовые и технические лиды, основатели стартапов и независимые разработчики. Персональный инвайт в сообщество идет в комплекте с покупкой курса.
Со следующего понедельника (31 Марта) мы повышаем цены на курс про AI Assistants.
Обещал предупредить заранее - выполняю)
Ваш, @llm_under_hood 🤗
🤝25👍12🔥1
Зачем вообще нужен OpenRouter? Продуктовый ответ
Вчера в канале мы обсуждали вопрос про аггрегатор моделей OpenRouter. Он предоставляет доступ к разным провайдерам LLM по одному API. У него есть немало глюков и проблем.
Например, я только вчера им в discord пожаловался, что у них далеко не все модели с заявленным Structured Output его реально поддерживают. Они обещали посмотреть, но вряд ли кардинально исправят.
Ну как таким пользоваться? Зачем, вообще, люди деньги платят за такой продукт?
Чтобы за LLM продукт платили деньги - он не должен быть технически идеальным.
В обсуждении к посту люди писали свои причины использования OR, например:
(1) OR повышает надежность. Например, если Anthropic ляжет (что бывает чаще, чем ожидают), то OpenRouter автоматически переключится на Bedrock или Google Vertex
(2) Они берут на себя головную боль по интеграции и нормализации новых провайдеров к единому стандарту. Апдейты придут туда быстрее, чем в LiteLLM. А если у какого-то провайдера глюки - переключат временно на другого.
(3) Всякое мелкое - доступ к новым моделям без ожидания появления их в tier, нормальные rate limits, распределение нагрузки между провайдерами, автоматический выбор провайдера подешевле итп.
И самая главная killer feature: адская экономия времени крупных компаний. И это, одновременно, часть без LLM совсем.
Например, если в компании 10 разработчиков, которым нужно 10 разных API для отладки, тестирования и failover, то не нужно заводить 10 аккаунтов, добавлять туда карточки, отслеживать расходы с правами доступа и каждый месяц подшивать по 10 или более инвойсов в бухгалтерию. Заплатили один раз, раздали доступы, проставили лимиты и все. Только одним этим компания сэкономила 10 часов возни разных людей в месяц.
Скажем, умножаем 10 на часовую ставку в 40 EUR, получаем экономию в 400 EUR. И это только легко измеримая часть. Чем крупнее компания, тем больше процессов будет затронуто и больше реальная экономия времени.
Понятно, что ниша OpenRouter не такая уж уникальная. Она лежит на поверхности и их много кто будет пытаться заменить, начиная с крупных облачных вендоров (Google Vertex, Amazon Bedrock итп).
Но интересен тут не сам OR, cколько признаки перспективной ниши для продукта с LLM под капотом - нужно искать там, где компании тратят время на решение скучных проблем. Причем проблемы настолько скучные, что там никто не предоставляет решения уже много лет, как бы эксперты не умоляли.
Почему так? А я полтора года назад в канале даже картинку на эту тему рисовал.
Ваш, @llm_under_hood 🤗
Вчера в канале мы обсуждали вопрос про аггрегатор моделей OpenRouter. Он предоставляет доступ к разным провайдерам LLM по одному API. У него есть немало глюков и проблем.
Например, я только вчера им в discord пожаловался, что у них далеко не все модели с заявленным Structured Output его реально поддерживают. Они обещали посмотреть, но вряд ли кардинально исправят.
Ну как таким пользоваться? Зачем, вообще, люди деньги платят за такой продукт?
Чтобы за LLM продукт платили деньги - он не должен быть технически идеальным.
В обсуждении к посту люди писали свои причины использования OR, например:
(1) OR повышает надежность. Например, если Anthropic ляжет (что бывает чаще, чем ожидают), то OpenRouter автоматически переключится на Bedrock или Google Vertex
(2) Они берут на себя головную боль по интеграции и нормализации новых провайдеров к единому стандарту. Апдейты придут туда быстрее, чем в LiteLLM. А если у какого-то провайдера глюки - переключат временно на другого.
(3) Всякое мелкое - доступ к новым моделям без ожидания появления их в tier, нормальные rate limits, распределение нагрузки между провайдерами, автоматический выбор провайдера подешевле итп.
И самая главная killer feature: адская экономия времени крупных компаний. И это, одновременно, часть без LLM совсем.
Например, если в компании 10 разработчиков, которым нужно 10 разных API для отладки, тестирования и failover, то не нужно заводить 10 аккаунтов, добавлять туда карточки, отслеживать расходы с правами доступа и каждый месяц подшивать по 10 или более инвойсов в бухгалтерию. Заплатили один раз, раздали доступы, проставили лимиты и все. Только одним этим компания сэкономила 10 часов возни разных людей в месяц.
Скажем, умножаем 10 на часовую ставку в 40 EUR, получаем экономию в 400 EUR. И это только легко измеримая часть. Чем крупнее компания, тем больше процессов будет затронуто и больше реальная экономия времени.
Понятно, что ниша OpenRouter не такая уж уникальная. Она лежит на поверхности и их много кто будет пытаться заменить, начиная с крупных облачных вендоров (Google Vertex, Amazon Bedrock итп).
Но интересен тут не сам OR, cколько признаки перспективной ниши для продукта с LLM под капотом - нужно искать там, где компании тратят время на решение скучных проблем. Причем проблемы настолько скучные, что там никто не предоставляет решения уже много лет, как бы эксперты не умоляли.
Почему так? А я полтора года назад в канале даже картинку на эту тему рисовал.
Ваш, @llm_under_hood 🤗
👍42🔥14❤12🤔2
Новый кейс на подходе - автоматизация бизнес-процессов
У меня давно не было разборов новых кейсов продуктов с LLM под капотом. Все потому, что пока идут в основном вариации известных кейсов (оглавление тут), а принципиально новые занимают какое-то время.
Cейчас начинает вырисовываться интересный паттерн - автоматизация бизнес-процессов в компаниях черезвыхлопную трубу UI. Эту тему уже подробно обсудили в чате моего курса по AI Assistants, поэтому интересно вынести ее на открытое обсуждение.
Проблема своей кажущейся нелогичностью очень похожа на историю с OpenRouter.
Итак, во всех крупных компаниях есть довольно скучный корпоративный софт. Чем крупнее компания, тем более вероятно, что этот софт сделан на базе SAP (т.к. альтернатив ему практически нет, разве что Oracle ERP Cloud или MS Dynamics 365).
SAP - это ужас и кошмар всех пользователей. В нем отражаются и ведутся все процессы, без которых компании просто не смогут существовать и развалятся. От учета времени и налоговой отчетности, до закупок и управления запасами. Вся корпоративная жизнь зависит от SAP, превращая рабочий день сотрудников в бесконечный цикл сложных форм, транзакций и согласований.
И сейчас компании начинают изучать возможность автоматизации ручных процессов в SAP и подобных системах при помощи решений на базе Operator (как у OpenAI) или MCP серверов. Первое в качестве интерфейса использует агентов в связке с computer vision моделями, второе - специализированные инструменты и агентов. Наверное, работающее решение будет где-то посередке.
В чате спрашивали - "Где и как найти доступ к экспертным знаниям о конкретных проблемах за решение которых компании готовы платить практически любые деньги?" Краткий ответ - идти в консалтинг, прицельно заводить знакомства или ходить ногами на всякие профильные конференции.
А еще можно просто подождать следующие раунды ERC. Там я постараюсь отразить боль кейса автоматизации корпоративных процессов в простом challenge.
Кому-то уже приходилось сталкиваться с SAP/MS Dynamics/1С или чем-то похожим?
Ваш, @llm_under_hood 🤗
У меня давно не было разборов новых кейсов продуктов с LLM под капотом. Все потому, что пока идут в основном вариации известных кейсов (оглавление тут), а принципиально новые занимают какое-то время.
Cейчас начинает вырисовываться интересный паттерн - автоматизация бизнес-процессов в компаниях через
Проблема своей кажущейся нелогичностью очень похожа на историю с OpenRouter.
Итак, во всех крупных компаниях есть довольно скучный корпоративный софт. Чем крупнее компания, тем более вероятно, что этот софт сделан на базе SAP (т.к. альтернатив ему практически нет, разве что Oracle ERP Cloud или MS Dynamics 365).
SAP - это ужас и кошмар всех пользователей. В нем отражаются и ведутся все процессы, без которых компании просто не смогут существовать и развалятся. От учета времени и налоговой отчетности, до закупок и управления запасами. Вся корпоративная жизнь зависит от SAP, превращая рабочий день сотрудников в бесконечный цикл сложных форм, транзакций и согласований.
И сейчас компании начинают изучать возможность автоматизации ручных процессов в SAP и подобных системах при помощи решений на базе Operator (как у OpenAI) или MCP серверов. Первое в качестве интерфейса использует агентов в связке с computer vision моделями, второе - специализированные инструменты и агентов. Наверное, работающее решение будет где-то посередке.
В чате спрашивали - "Где и как найти доступ к экспертным знаниям о конкретных проблемах за решение которых компании готовы платить практически любые деньги?" Краткий ответ - идти в консалтинг, прицельно заводить знакомства или ходить ногами на всякие профильные конференции.
А еще можно просто подождать следующие раунды ERC. Там я постараюсь отразить боль кейса автоматизации корпоративных процессов в простом challenge.
Кому-то уже приходилось сталкиваться с SAP/MS Dynamics/1С или чем-то похожим?
Ваш, @llm_under_hood 🤗
❤43👍18🤝4🔥1
Клуб по интересам - SAP + AI R&D
Идея AI R&D в области автоматизации бизнес-процессов в SAP выстрелила лучше, чем я ожидал.
SAP - это как 1C, только гораздо масштабнее и сложнее. Им пользуются почти все крупнейшие компании в мире.
Причем не только со стороны разработчиков и команд (т.к. это интересный и сложный кейс для внедрения AI агентов/операторов в крупных компаниях), но и со стороны компаний, которые с этим SAP работают.
Поэтому сейчас начинаем процесс сбора кейсов использования SAP, где есть самый обычный бизнес процесс, который ну очень очень хочется хоть как-то автоматизировать. Например: добавление нового фрилансера в систему, добавление инвойса, согласование табелей рабочего времени или обработка закупочных заказов.
Собирать кейсы будем в таком формате, который сделает удобным создание отраслевого бенчмарка для операторов и агентов. А потом - подчистку специфики и запуск открытого Enterprise RPA Challenge на эту тему (как мы это с вами сделали с RAG-ами)
Про формат сбора кейсов я потом напишу. Если кратко, то понадобится несколько скриншотов интерфейса (секреты можно и нужно замазывать), заполненный вопросник про бизнес-процесс и контакт эксперта, который может ответить на вопросы.
Как ни странно, это как раз та конкретика и движуха, которой не хватает ни AI R&D командам ни даже самому SAP и его партнерам. Ну а те компании, которые пришлют подходящие кейсы - попадут в этот небольшой клуб по интересам.
Пока все предварительно. Если потенциально интересно поучаствовать или есть вопросы - пишите в комментарии. Лучше сразу упоминать отрасль и тип бизнес-процесса. Имена и названия - не обязательно)
Ваш, @llm_under_hood 🤗
Идея AI R&D в области автоматизации бизнес-процессов в SAP выстрелила лучше, чем я ожидал.
SAP - это как 1C, только гораздо масштабнее и сложнее. Им пользуются почти все крупнейшие компании в мире.
Причем не только со стороны разработчиков и команд (т.к. это интересный и сложный кейс для внедрения AI агентов/операторов в крупных компаниях), но и со стороны компаний, которые с этим SAP работают.
Поэтому сейчас начинаем процесс сбора кейсов использования SAP, где есть самый обычный бизнес процесс, который ну очень очень хочется хоть как-то автоматизировать. Например: добавление нового фрилансера в систему, добавление инвойса, согласование табелей рабочего времени или обработка закупочных заказов.
Собирать кейсы будем в таком формате, который сделает удобным создание отраслевого бенчмарка для операторов и агентов. А потом - подчистку специфики и запуск открытого Enterprise RPA Challenge на эту тему (как мы это с вами сделали с RAG-ами)
Про формат сбора кейсов я потом напишу. Если кратко, то понадобится несколько скриншотов интерфейса (секреты можно и нужно замазывать), заполненный вопросник про бизнес-процесс и контакт эксперта, который может ответить на вопросы.
Как ни странно, это как раз та конкретика и движуха, которой не хватает ни AI R&D командам ни даже самому SAP и его партнерам. Ну а те компании, которые пришлют подходящие кейсы - попадут в этот небольшой клуб по интересам.
Пока все предварительно. Если потенциально интересно поучаствовать или есть вопросы - пишите в комментарии. Лучше сразу упоминать отрасль и тип бизнес-процесса. Имена и названия - не обязательно)
Ваш, @llm_under_hood 🤗
🔥46❤10🤝6😱3👍1
Кейсы: Структурированное извлечение данных из документов, типичные проблемы и советы
Вчера консультировал компанию, которая занимается логистикой в Европе. Они пилят внутренний продукт с LLM под капотом.
Кейс - нужно извлекать информацию из таможенных деклараций, чтобы автоматически загружать в дальнейший бизнес-процесс. Ситуация осложняется тем, что в каждой стране EU свой формат деклараций, а единого электронного формата пока нет.
Текущий статус - используют Google Gemini, которому скармливают страницы и просят извлечь ответ по структуре. Есть даже evaluation datasets. По ним видно, что точность пока недостаточна.
Но вот как этот прототип масштабировать до стабильного продукта в компании и осознанно двигаться к повышению качества - они пока не знают. А галлюцинаций там хватает.
У меня было минут 30, поэтому быстро прошлись по их решению и сразу перешли к обсуждению того, как с этим работать. Мои советы были очень типичны - просто подсветить приоритет того, что нужно сделать в первую очередь:
(1) Закрыть Feedback Loop и сделать так, чтобы можно было очень быстро тестировать качество работы всего пайплайна после любого изменения. В идеале, если на выходе будет визуализация ошибок в виде heatmap.
(вот пример визуализации: https://labs.abdullin.com/res/ai-assistants-ru-S02M13-heatmaps.png)
Тогда можно будет повысить качество просто подбором параметров pipeline. Причем это будет делать не от балды, а осознанно - по паттернам ошибок.
(2) Выкинуть ненужный мусор из промпта и начать использовать SO/CoT на всю катушку. У них был текстовый промпт, который не использовал ни Literals (вместо этого добавили вручную правило в текст) ни встраивал цепочки рассуждений перед проблемными полями. Из-за этого точность была сильно хуже того, что можно было получить.
(3) Следить за Signal vs Noise и декомпозировать, если сложные задачи. Но извлечение данных - это обычно задача простая.
И, в принципе, все. Этих вещей достаточно для того, чтобы начать двигаться в правильном направлении с технической стороны.
А одной команде это и вовсе помогло решить полностью конкретную проблему в инструменте для командной работы. Было:
После подсветки приоритетов команда сфокусировалась на главном и быстро получила результат:
Так что если у вас в продукте с LLM под капотом есть схожая ситуация, то для начала можно свериться с тремя пунктами выше. А для осознанности и понимания контекста можно еще прочитать разборы других кейсов продуктов с LLM под капотом.
Кто-нибудь еще валидирует ошибки не одной accuracy, а интересной таблицей или графиком? Поделитесь скриншотами своих визуализаций!
Ваш, @llm_under_hood 🤗
Вчера консультировал компанию, которая занимается логистикой в Европе. Они пилят внутренний продукт с LLM под капотом.
Кейс - нужно извлекать информацию из таможенных деклараций, чтобы автоматически загружать в дальнейший бизнес-процесс. Ситуация осложняется тем, что в каждой стране EU свой формат деклараций, а единого электронного формата пока нет.
Текущий статус - используют Google Gemini, которому скармливают страницы и просят извлечь ответ по структуре. Есть даже evaluation datasets. По ним видно, что точность пока недостаточна.
Но вот как этот прототип масштабировать до стабильного продукта в компании и осознанно двигаться к повышению качества - они пока не знают. А галлюцинаций там хватает.
У меня было минут 30, поэтому быстро прошлись по их решению и сразу перешли к обсуждению того, как с этим работать. Мои советы были очень типичны - просто подсветить приоритет того, что нужно сделать в первую очередь:
(1) Закрыть Feedback Loop и сделать так, чтобы можно было очень быстро тестировать качество работы всего пайплайна после любого изменения. В идеале, если на выходе будет визуализация ошибок в виде heatmap.
(вот пример визуализации: https://labs.abdullin.com/res/ai-assistants-ru-S02M13-heatmaps.png)
Тогда можно будет повысить качество просто подбором параметров pipeline. Причем это будет делать не от балды, а осознанно - по паттернам ошибок.
(2) Выкинуть ненужный мусор из промпта и начать использовать SO/CoT на всю катушку. У них был текстовый промпт, который не использовал ни Literals (вместо этого добавили вручную правило в текст) ни встраивал цепочки рассуждений перед проблемными полями. Из-за этого точность была сильно хуже того, что можно было получить.
(3) Следить за Signal vs Noise и декомпозировать, если сложные задачи. Но извлечение данных - это обычно задача простая.
И, в принципе, все. Этих вещей достаточно для того, чтобы начать двигаться в правильном направлении с технической стороны.
А одной команде это и вовсе помогло решить полностью конкретную проблему в инструменте для командной работы. Было:
Оно по сути работает, но надежности добиться не получается никак… Причем иногда оно стабильно работает неделями, а потом чето рандомно ломается) Довольно плохо слушает инструкции, даже жесткие. Модели разные пробовали, лучше всего на гпт 4о.
Подскажи пожалуйста, в нашем кейсе реально добиться надежности или пока технологически ограничены?
После подсветки приоритетов команда сфокусировалась на главном и быстро получила результат:
Да действительно так все и оказалось как ты говорил.
Нормальный промпт, SO+checklist показали приемлемую надежность в ответах даже на датасете со сложными переменными даты и времени.
Спасибо 🤝
Так что если у вас в продукте с LLM под капотом есть схожая ситуация, то для начала можно свериться с тремя пунктами выше. А для осознанности и понимания контекста можно еще прочитать разборы других кейсов продуктов с LLM под капотом.
Кто-нибудь еще валидирует ошибки не одной accuracy, а интересной таблицей или графиком? Поделитесь скриншотами своих визуализаций!
Ваш, @llm_under_hood 🤗
👍67🔥34❤16🥰2😁1
Какой паттерн из курса вам пригодился больше всего?
Если вы прошли мой курс по AI Ассистентам или проходите его, напишите, пожалуйста, какой паттерн из курса вам пригодился больше всего? REPL, Search итп. И чем он помог?
Я потом распишу подробно самый полезный паттерн отдельным постом в канале, а ответы на самые частые вопросы - интегрирую обратно в курс.
Ваш, @llm_under_hood 🤗
Если вы прошли мой курс по AI Ассистентам или проходите его, напишите, пожалуйста, какой паттерн из курса вам пригодился больше всего? REPL, Search итп. И чем он помог?
Я потом распишу подробно самый полезный паттерн отдельным постом в канале, а ответы на самые частые вопросы - интегрирую обратно в курс.
Ваш, @llm_under_hood 🤗
❤21🔥11🤝5🤗3😁1
SO CoT - самый полезный паттерн при создании продуктов с LLM под капотом
Так выходит, если судить по комментариям в моем прошлом опросе.
Я обещал расписать самый полезный паттерн постом в канале. Поскольку сам ответ не влазит в масштаб и формат поста, вот вам две статьи с более подробным описанием и примерами:
- Structured Output (SO): https://abdullin.com/structured-output/
- Custom Chain of Thought (SO CoT): https://abdullin.com/custom-chain-of-thought/
Ваш, @llm_under_hood 🤗
Так выходит, если судить по комментариям в моем прошлом опросе.
Я обещал расписать самый полезный паттерн постом в канале. Поскольку сам ответ не влазит в масштаб и формат поста, вот вам две статьи с более подробным описанием и примерами:
- Structured Output (SO): https://abdullin.com/structured-output/
- Custom Chain of Thought (SO CoT): https://abdullin.com/custom-chain-of-thought/
Ваш, @llm_under_hood 🤗
❤73👍36🔥23⚡2🤩2😁1💯1🤝1
Llama 4 вышла - MoE по 17B на эксперта
Пока в мире гадают, что это за модель Quasar на OpenRouter, Meta выпустила четвертую версию Llama
Читать тут. Любоваться тут.
Модели Llama 4 — это мультимодальные MoE модели, оптимизированные для многоязычных задач, программирования, вызова инструментов и создания автономных систем (агентов). Знания - по август 2024.
Llama 4 Scout:
- Поддерживается ввод текста и до 5 изображений.
- Поддерживает арабский, английский, французский, немецкий, хинди, индонезийский, итальянский, португальский, испанский, тагальский, тайский и вьетнамский языки (понимание изображений — только на английском).
- 16 экспертов по 17B
- Может работать на одном GPU (при использовании INT4-квантованной версии на одном GPU H100).
- Максимальная длина контекста: 10 млн токенов.
Llama 4 Maverick:
- Мультимодальность
- Поддерживает те же языки, что и Scout (понимание изображений — только на английском).
- 128 экспертов по 17B параметров
- Максимальная длина контекста: 1 млн токенов.
Хотя общее число параметров составляет 109B и 400B, во время вычислений активны только 17B, что уменьшает задержки при выводе и обучении. Это очень неплохо должно лечь на Apple Silicon!
Ваш, @llm_under_hood 🤗
Пока в мире гадают, что это за модель Quasar на OpenRouter, Meta выпустила четвертую версию Llama
Читать тут. Любоваться тут.
Модели Llama 4 — это мультимодальные MoE модели, оптимизированные для многоязычных задач, программирования, вызова инструментов и создания автономных систем (агентов). Знания - по август 2024.
Llama 4 Scout:
- Поддерживается ввод текста и до 5 изображений.
- Поддерживает арабский, английский, французский, немецкий, хинди, индонезийский, итальянский, португальский, испанский, тагальский, тайский и вьетнамский языки (понимание изображений — только на английском).
- 16 экспертов по 17B
- Может работать на одном GPU (при использовании INT4-квантованной версии на одном GPU H100).
- Максимальная длина контекста: 10 млн токенов.
Llama 4 Maverick:
- Мультимодальность
- Поддерживает те же языки, что и Scout (понимание изображений — только на английском).
- 128 экспертов по 17B параметров
- Максимальная длина контекста: 1 млн токенов.
Хотя общее число параметров составляет 109B и 400B, во время вычислений активны только 17B, что уменьшает задержки при выводе и обучении. Это очень неплохо должно лечь на Apple Silicon!
Ваш, @llm_under_hood 🤗
🔥61❤10🤩8👍5😁1
Как заставить AI писать качественный код?
Нужно просто мыслить масштабно. Сейчас объясню)
Я знаю, что модели уже давно способны писать качественный код. Просто они как джинн с тремя желаниями. Нужно правильно уметь формулировать свои требования и хотелки, даже просто разбивать задачу. AI - это инструмент, с которым надо набить руку.
В рамках эксперимента по обучению AI+Coding разработчиков одной компании, я увидел, что для этого умения требуется две вещи:
(1) насмотренность - чтобы знать паттерны того, что и как нужно просить у моделей
(2) практика - чтобы можно было оперировать этими паттернами не задумываясь.
Проиллюстрировать это может помочь такое практическое задание.
Нужно написать качественный код парсера бизнес-документации на основе вот этого требования. Чем быстрее, тем лучше. Язык не имеет значения. Но вы должны быть уверены в качестве этого кода [1] Максимальное время - 4 часа.
А потом в комментариях к посту - рассказать насколько далеко и быстро получилось дойти, и какие шаги были сделаны. И сравнить свои действия с действиями других. Они будут кардинально различаться!
После такого простого упражнения один из участников (с кучей опыта разработки сложных систем) написал:
В общем, нет никакой магии в том, чтобы использовать AI для написания качественного кода. Нужна просто практика и насмотренность на разные паттерны использования. Кто-то это назовет "мыслить масштабно". Можно начать с упражнения выше.
Ваш, @llm_under_hood 🤗
[1] Если вдруг во время выполнения задания встретите очередную пасхалку - так и надо. Use your best judgement.
Нужно просто мыслить масштабно. Сейчас объясню)
Я знаю, что модели уже давно способны писать качественный код. Просто они как джинн с тремя желаниями. Нужно правильно уметь формулировать свои требования и хотелки, даже просто разбивать задачу. AI - это инструмент, с которым надо набить руку.
В рамках эксперимента по обучению AI+Coding разработчиков одной компании, я увидел, что для этого умения требуется две вещи:
(1) насмотренность - чтобы знать паттерны того, что и как нужно просить у моделей
(2) практика - чтобы можно было оперировать этими паттернами не задумываясь.
Проиллюстрировать это может помочь такое практическое задание.
Нужно написать качественный код парсера бизнес-документации на основе вот этого требования. Чем быстрее, тем лучше. Язык не имеет значения. Но вы должны быть уверены в качестве этого кода [1] Максимальное время - 4 часа.
А потом в комментариях к посту - рассказать насколько далеко и быстро получилось дойти, и какие шаги были сделаны. И сравнить свои действия с действиями других. Они будут кардинально различаться!
После такого простого упражнения один из участников (с кучей опыта разработки сложных систем) написал:
Это действительно впечатляет. Я думал, что предоставил инструменту слишком много контроля, разбив задачу на пошаговые действия, но, похоже, даже этого оказалось недостаточно. Я мыслил недостаточно масштабно.
В общем, нет никакой магии в том, чтобы использовать AI для написания качественного кода. Нужна просто практика и насмотренность на разные паттерны использования. Кто-то это назовет "мыслить масштабно". Можно начать с упражнения выше.
Ваш, @llm_under_hood 🤗
[1] Если вдруг во время выполнения задания встретите очередную пасхалку - так и надо. Use your best judgement.
❤47👍24🔥22🤝3😁2🤣2🎄2
А как решалось AI+Coding упражнение про парсер?
(см описание тут)
Да все просто и быстро. Самое главное - думать как опытный и ленивый специалист. То есть, свалить максимум работ на AI. Humans decide, AI does mundane work.
Первый шаг - просим просмотреть требования и проанализировать задачу. Например, что-то вроде:
Оно выдаст что-то годное:
1. Clarify Requirements and Edge Cases
2. Choose the Right Parsing Strategy
3. Clearly Define Parser Responsibilities
4. Implement Parsing in Phases (Iterative and Incremental)
5. Develop a Robust Testing Strategy. Tests are critical—write them first!
6. Error Handling and Reporting
7. Implementation Quality and Maintainability
8. Iterate with Feedback
Подсветка моя. Дальше действуем по плану. Начнем с тестов. Если спросить у AI идеи про тесты (чтобы попроще и попрагматичнее), то оно укажет на такой абзац в тексте:
Нам даже не надо писать тесты (что сделал каждый участник экспериментальной группы), достаточно просто распарсить этот текст и достать пары input-expected.
Поэтому, сначала подчистим текст в markdown, который любит любой AI:
Если LLM не осиливает весь объем сразу, то можно временно переключиться на модель с reasoning или просто спеку кусками вставлять.
Кстати, а что еще нам AI советовал? Clarify Requirements and Edge Cases
Вот тут AI и найдет грабли, про которые я предупреждал. Можно поправить, а можно оставить так.
Ладно, читаемый текст в формате md есть, “пишем” тесты:
Оно напишет извлекатор, который можно красиво обернуть вручную (Copilot) в тестер. Он будет доставать текст из файла, разбирать input и сравнивать его с ожидаемым результатом. Все.
А потом финальный цикл разработки:
Вставляем результат в код и смотрим. Если вдруг какие-то тесты не проходят - кидаем код парсера, спек и текст ошибки в ChatGPT/Claude и просим поправить.
У меня при проходе по этому workflow с ChatGPT все тесты стали зелеными за пару итераций.
А у вас как быстро сходятся все тесты?
Ваш, @llm_under_hood 🤗
(см описание тут)
Да все просто и быстро. Самое главное - думать как опытный и ленивый специалист. То есть, свалить максимум работ на AI. Humans decide, AI does mundane work.
Первый шаг - просим просмотреть требования и проанализировать задачу. Например, что-то вроде:
Help me to identify the most efficient and error-prone way to implement this parser. Don't code, just think and plan from the perspective of a very experienced pragmatic software engineer with 20 years of experience in shipping systems to production
Оно выдаст что-то годное:
1. Clarify Requirements and Edge Cases
2. Choose the Right Parsing Strategy
3. Clearly Define Parser Responsibilities
4. Implement Parsing in Phases (Iterative and Incremental)
5. Develop a Robust Testing Strategy. Tests are critical—write them first!
6. Error Handling and Reporting
7. Implementation Quality and Maintainability
8. Iterate with Feedback
Подсветка моя. Дальше действуем по плану. Начнем с тестов. Если спросить у AI идеи про тесты (чтобы попроще и попрагматичнее), то оно укажет на такой абзац в тексте:
The document below describes a simple text format that can be deterministically parsed into JSON objects. This document is also a test suite! Code admonitions always come in pairs: first input and then json.
Нам даже не надо писать тесты (что сделал каждый участник экспериментальной группы), достаточно просто распарсить этот текст и достать пары input-expected.
Поэтому, сначала подчистим текст в markdown, который любит любой AI:
Carefully read this spec. It lost its markdown formatting, please fix and return it.
Если LLM не осиливает весь объем сразу, то можно временно переключиться на модель с reasoning или просто спеку кусками вставлять.
Кстати, а что еще нам AI советовал? Clarify Requirements and Edge Cases
Check this spec for any contradictions or mistakes. For each - suggest a fix. Use your best judgement
Вот тут AI и найдет грабли, про которые я предупреждал. Можно поправить, а можно оставить так.
Ладно, читаемый текст в формате md есть, “пишем” тесты:
This is the spec that I have saved in file spec.md. Please write me python parser to read this spec and extract all code blocks.
Оно напишет извлекатор, который можно красиво обернуть вручную (Copilot) в тестер. Он будет доставать текст из файла, разбирать input и сравнивать его с ожидаемым результатом. Все.
А потом финальный цикл разработки:
You are an experienced and pragmatic software engineer with two decades of experience. Write me a recursive descent parser that will implement function `def parse(input: str) → Block` and will follow this spec:
Вставляем результат в код и смотрим. Если вдруг какие-то тесты не проходят - кидаем код парсера, спек и текст ошибки в ChatGPT/Claude и просим поправить.
У меня при проходе по этому workflow с ChatGPT все тесты стали зелеными за пару итераций.
А у вас как быстро сходятся все тесты?
Ваш, @llm_under_hood 🤗
🥰26🔥23👍18❤12🤔4🤯2⚡1😱1🤩1
LLM Benchmarks - прогресс у Google
За месяц накопились новые бенчмарки. Поэтому вот сразу пачка обновлений.
Gemini-2.5-pro-preview - это платная и самая большая модель Google. Она так хороша, как про нее говорят. В моем LLM бенчмарке на продуктовых задачах она побила OpenAI o1 и Anthropic Claude 3.7 Sonnet, заняв второе место. При этом она работала без Structured Outputs (ибо у Google он пока реализован шиворот навыворот)
DeepSeek-V3-0324 - это новая версия DeepSeek Chat (не путать с r1). Они смогли последовательно улучшить качество предыдущей chat версии. Прогресс не стоит на месте. Посмотрим, как у них будет дальше с новыми моделями.
Llama 4 модели - появились на радаре, но пока не обладают выдающимися способностями. Но это типичная картина, которая повторялась со всеми версиями Llama. Meta выпускает мощные foundational модели, которые потом тюнятся под конкретные задачи. Ждем r1 distill.
Gemma-3-27B-it - а вот тут уже очень интересно становится. Эта локальная мультимодальная модель от Google Deepmind. Это первая модель такого небольшого размера, которая забралась так высоко. Заявляется контекст 128k, поддержка 140 языков и function calling.
Возможно благодаря последнему модель смогла вытянуть достойный результат без поддержки Structured Output. Лучше всего она показала себя в инженерных задачах на работу со сложным кодом.
Ее младшая сестренка - gemma-3-12b-it тоже отличилась и заняла место на уровне лучших моделей в пару раз больше.
Что-то такое интересное Google DeepMind нащупали, что дает им возможность клепать хорошие модели по всем уровням (еще и на TPU). Будем ждать от них новых релизов.
Ваш, @llm_under_hood 🤗
PS: Прочитать про мой подход к бенчмаркам можно тут. Там есть и FAQ со всеми вопросами, которые задают последние полтора года. Пожалуйста, прочитайте его, прежде чем оставлять свой первый комментарий.
За месяц накопились новые бенчмарки. Поэтому вот сразу пачка обновлений.
Gemini-2.5-pro-preview - это платная и самая большая модель Google. Она так хороша, как про нее говорят. В моем LLM бенчмарке на продуктовых задачах она побила OpenAI o1 и Anthropic Claude 3.7 Sonnet, заняв второе место. При этом она работала без Structured Outputs (ибо у Google он пока реализован шиворот навыворот)
DeepSeek-V3-0324 - это новая версия DeepSeek Chat (не путать с r1). Они смогли последовательно улучшить качество предыдущей chat версии. Прогресс не стоит на месте. Посмотрим, как у них будет дальше с новыми моделями.
Llama 4 модели - появились на радаре, но пока не обладают выдающимися способностями. Но это типичная картина, которая повторялась со всеми версиями Llama. Meta выпускает мощные foundational модели, которые потом тюнятся под конкретные задачи. Ждем r1 distill.
Gemma-3-27B-it - а вот тут уже очень интересно становится. Эта локальная мультимодальная модель от Google Deepmind. Это первая модель такого небольшого размера, которая забралась так высоко. Заявляется контекст 128k, поддержка 140 языков и function calling.
Возможно благодаря последнему модель смогла вытянуть достойный результат без поддержки Structured Output. Лучше всего она показала себя в инженерных задачах на работу со сложным кодом.
Ее младшая сестренка - gemma-3-12b-it тоже отличилась и заняла место на уровне лучших моделей в пару раз больше.
Что-то такое интересное Google DeepMind нащупали, что дает им возможность клепать хорошие модели по всем уровням (еще и на TPU). Будем ждать от них новых релизов.
Ваш, @llm_under_hood 🤗
PS: Прочитать про мой подход к бенчмаркам можно тут. Там есть и FAQ со всеми вопросами, которые задают последние полтора года. Пожалуйста, прочитайте его, прежде чем оставлять свой первый комментарий.
🔥52👍16❤12🤔2🤯2😱1🤩1
Исключительный повод написать про квантизацию (сжатие) моделей
Про квантизации я обычно не пишу, т.к. в бизнес задачах их практически не используют [1].
Но Google Gemma-3-27B стала исключением. Это сама по себе хорошая модель, которая еще и внезапно неплохо умеет в reasoning c SO CoT. Она весит 55GB и при загрузке в GPU в bf16 формате потребует ~ 60GB VRAM для текстовых задач. Это значит, что она влазит в одну H100 80GB.
Народ, естественно, начал перепаковывать эту модель в всякие хитрые квантизации, чтобы запускать на карточках поменьше.
А потом Google сделали ход конем и выпустили официальный google/gemma-3-27b-it-qat-q4_0-gguf. Эта квантизация условно использует не два байта на один параметр, а в четыре раза меньше (~4 бита на параметр), что транслируется в ~3x экономии памяти.
Фишка и отличие здесь в том, что Google использовали Quantisation Aware Training (QAT), которая позволяет пожать модель без особой потери качества.
Если раньше у меня были большие надежды на версии qwen-2.5 для умных локальных систем, то сейчас еще больше нравится Gemma-3 (27B и 12B). У них выхлоп на размер сильно больше, думать умеют, поддержка языков заявлена хорошая, а теперь еще и появилось больше способов запускать на разном железе.
Возможности для стартапов с локальными моделями прямо подскочили!
Ваш, @llm_under_hood 🤗
[1] Квантизации могут экономить память GPU-шек за счет сжатия параметров , но при этом негативно влиять на точность и скорость ответов. Чем сильнее и хитрее пожали, тем больше эффект. И при этом еще и требуется, чтобы такую хитрую квантизацию нормально поддерживал софт и были люди с опытом.
bf16 за квантизацию можно не считать, да и fp8 тоже (если он делается при помощи QAT и запускается нативно на GPU последних поколений)
Про квантизации я обычно не пишу, т.к. в бизнес задачах их практически не используют [1].
Но Google Gemma-3-27B стала исключением. Это сама по себе хорошая модель, которая еще и внезапно неплохо умеет в reasoning c SO CoT. Она весит 55GB и при загрузке в GPU в bf16 формате потребует ~ 60GB VRAM для текстовых задач. Это значит, что она влазит в одну H100 80GB.
Народ, естественно, начал перепаковывать эту модель в всякие хитрые квантизации, чтобы запускать на карточках поменьше.
А потом Google сделали ход конем и выпустили официальный google/gemma-3-27b-it-qat-q4_0-gguf. Эта квантизация условно использует не два байта на один параметр, а в четыре раза меньше (~4 бита на параметр), что транслируется в ~3x экономии памяти.
Фишка и отличие здесь в том, что Google использовали Quantisation Aware Training (QAT), которая позволяет пожать модель без особой потери качества.
Если раньше у меня были большие надежды на версии qwen-2.5 для умных локальных систем, то сейчас еще больше нравится Gemma-3 (27B и 12B). У них выхлоп на размер сильно больше, думать умеют, поддержка языков заявлена хорошая, а теперь еще и появилось больше способов запускать на разном железе.
Возможности для стартапов с локальными моделями прямо подскочили!
Ваш, @llm_under_hood 🤗
[1] Квантизации могут экономить память GPU-шек за счет сжатия параметров , но при этом негативно влиять на точность и скорость ответов. Чем сильнее и хитрее пожали, тем больше эффект. И при этом еще и требуется, чтобы такую хитрую квантизацию нормально поддерживал софт и были люди с опытом.
bf16 за квантизацию можно не считать, да и fp8 тоже (если он делается при помощи QAT и запускается нативно на GPU последних поколений)
🔥63👍21❤9🤯4🥰1💯1
Google: Agent2Agent Protocol (A2A)
Google захотела сделать свой MCP протокол, только с крупными компаниями. Готово.
Назвали его A2A (Agent2Agent). Это открытый стандарт для обмена информацией между ИИ-агентами, работающими в разных системах. Он использует технологии HTTP, SSE и JSON-RPC для упрощения интеграции в существующую инфраструктуру.
Основные моменты:
(1) Dynamic Capability Discovery - агенты обмениваются данными через JSON-Agent Card, что позволяет выбирать подходящего исполнителя задачи.
(2) Task-Centric Communication - протокол работает с задачами, у которых есть свой жизненный цикл. A2A поддерживает как быстрые операции, так и долгосрочные процессы с обратной связью и уведомлениями.
(3) Security (за что критиковали MCP) - продуманы средства аутентификации и авторизации для защиты данных.
(4) Мультимодальность - обмен информацией в виде текста, аудио или видео.
В теории, общее назначение A2A - упростить автоматизацию и интеграцию процессов в корпоративных системах. Однако на HN люди уже высказывались насчет сложности протокола и его влияния на контроль над данными. Мол, нагородили всякого, лишь бы рынок отжевать.
Мне кажется, с такой компанией оно может и взлететь. Но из-за сложности и непредсказуемости систем лететь будет так себе.
Почитать доки можно тут.
Ваш, @llm_under_hood 🤗
Google захотела сделать свой MCP протокол, только с крупными компаниями. Готово.
Назвали его A2A (Agent2Agent). Это открытый стандарт для обмена информацией между ИИ-агентами, работающими в разных системах. Он использует технологии HTTP, SSE и JSON-RPC для упрощения интеграции в существующую инфраструктуру.
Основные моменты:
(1) Dynamic Capability Discovery - агенты обмениваются данными через JSON-Agent Card, что позволяет выбирать подходящего исполнителя задачи.
(2) Task-Centric Communication - протокол работает с задачами, у которых есть свой жизненный цикл. A2A поддерживает как быстрые операции, так и долгосрочные процессы с обратной связью и уведомлениями.
(3) Security (за что критиковали MCP) - продуманы средства аутентификации и авторизации для защиты данных.
(4) Мультимодальность - обмен информацией в виде текста, аудио или видео.
В теории, общее назначение A2A - упростить автоматизацию и интеграцию процессов в корпоративных системах. Однако на HN люди уже высказывались насчет сложности протокола и его влияния на контроль над данными. Мол, нагородили всякого, лишь бы рынок отжевать.
Мне кажется, с такой компанией оно может и взлететь. Но из-за сложности и непредсказуемости систем лететь будет так себе.
Почитать доки можно тут.
Ваш, @llm_under_hood 🤗
👍34❤11🤔6🤯3😁2🔥1😢1🤝1
Cекретная Quasar Alpha модель довольно неплоха. Погадаем, кто это?
У модели 8 место в моем бенчмарке на текущий момент.
Пока не совсем известно, кто это может быть, но мы можем применить дедукцию)
Смотрите, у модели есть нормальный Structured Output, которым она умеет пользоваться. Это сразу сужает круг подозреваемых:
(1) OpenAI
(2) Fireworks SO
(3) Mistral
Кстати, Google не стоит и близко, т.к. их Structured Output - это не JSON Schema, а огрызок от OpenAPI в версии VertexAI API. Он бы мой бенчмарк не вытащил.
FireworksAI можно вычеркивать смело, новые модели - это не их формат.
Остаются только OpenAI и Mistral. OpenAI слишком крупный для рекламной компании с OpenRouter - это не их профиль, а вот для небольшой французской компании Mistral - формат подойдет. Плюс, у них давно не было толковых релизов.
Да и, если смотреть на
Так что я думаю, что секретный Quasar - это новая французская моделька. Если это так, то их стоит поздравить с хорошим результатом!
Кстати, судя по профилю latency - модель относительно небольшая. То, что она так высоко забралась делает ее интересной и потенциально недорогой.
Ваш, @llm_under_hood 🤗
У модели 8 место в моем бенчмарке на текущий момент.
Пока не совсем известно, кто это может быть, но мы можем применить дедукцию)
Смотрите, у модели есть нормальный Structured Output, которым она умеет пользоваться. Это сразу сужает круг подозреваемых:
(1) OpenAI
(2) Fireworks SO
(3) Mistral
Кстати, Google не стоит и близко, т.к. их Structured Output - это не JSON Schema, а огрызок от OpenAPI в версии VertexAI API. Он бы мой бенчмарк не вытащил.
FireworksAI можно вычеркивать смело, новые модели - это не их формат.
Остаются только OpenAI и Mistral. OpenAI слишком крупный для рекламной компании с OpenRouter - это не их профиль, а вот для небольшой французской компании Mistral - формат подойдет. Плюс, у них давно не было толковых релизов.
Да и, если смотреть на
supported parameters Quasar, то совпадений больше с предыдущими моделями Mistral, нежели с OpenAI. Профиль latency + throughput тоже похож.Так что я думаю, что секретный Quasar - это новая французская моделька. Если это так, то их стоит поздравить с хорошим результатом!
Кстати, судя по профилю latency - модель относительно небольшая. То, что она так высоко забралась делает ее интересной и потенциально недорогой.
Ваш, @llm_under_hood 🤗
🔥66👍17❤11🤣2
Нас не волнует то, чего мы не знаем. LLM тоже
На фотографии - McArthur Wheeler, который в 1995 году ограбил два банка. Он это делал даже без маски, т.к. вымазал лицо в лимонном соке и был уверен, что это сделает его невидимым для камер.
Логика? С помощью лимонного сока можно писать невидимый текст на бумаге, значит и человека это тоже сделает невидимым.
Два исследователя так впечатлились этим примером, что провели исследование. Их звали Джастин Крюгер и Дэвид Даннинг, а синдром назвали Эффектом Даннинга — Крюгера: Нас не волнует то, чего мы не знаем.
Если бы это было не так, то люди бы до сих пор сидели на деревьях и боялись спуститься на землю. А вдруг съедят? Но для эволюции имеют значение не те миллионы, которых ожидаемо слопали, а те единицы, которым повезло выжить и оставить потомство.
Какое отношение это имеет к LLM?
LLM - это модели, которые заточены на то, чтобы выдавать наиболее приятные для человека ответы. По смыслу там средняя температура по больнице, главное не вглядываться в детали.
LLM при генерации ответа не волнует, можем ли мы проверить их ответы на ошибки. Языковые модели просто делают свою работу и генерируют правдоподобное полотно текста.
Скажем, новая Llama 4 делала это так приятно, что на LLM Арене заняла второе место после выхода. Правда потом выяснилось, что это просто был тюн под человеческие предпочтения (что говорит многое и про этот релиз Llama 4, и про бенчмарк в целом, и про поведение людей).
В общем, какие выводы?
(1) LLM способны усиливать как человеческий ум, так и человеческую глупость. Второе проще - достаточно выдать ответ в той области, где читающие не являются экспертами. А они и не заметят!
(2) Современные MCP/A2A, как LangChain на стероидах, упрощают интеграцию всевозможных систем c LLM. Поэтому ереси будет встречаться много. А потом срабатывает принцип Альберто Брандолини:
The amount of energy needed to refute bullshit is an order of magnitude bigger than that needed to produce it.
(3) Если в продукте с LLM под капотом не упоминается слово Accuracy в контексте цифр и доказательств, то это умножитель Даннинга — Крюгера. Бегите.
(4) Хотите, чтобы ответ LLM нравился людям? Попросите отвечать как позитивный подросток с кучей emoji.
Ваш, @llm_under_hood 🤗
На фотографии - McArthur Wheeler, который в 1995 году ограбил два банка. Он это делал даже без маски, т.к. вымазал лицо в лимонном соке и был уверен, что это сделает его невидимым для камер.
Логика? С помощью лимонного сока можно писать невидимый текст на бумаге, значит и человека это тоже сделает невидимым.
Два исследователя так впечатлились этим примером, что провели исследование. Их звали Джастин Крюгер и Дэвид Даннинг, а синдром назвали Эффектом Даннинга — Крюгера: Нас не волнует то, чего мы не знаем.
Если бы это было не так, то люди бы до сих пор сидели на деревьях и боялись спуститься на землю. А вдруг съедят? Но для эволюции имеют значение не те миллионы, которых ожидаемо слопали, а те единицы, которым повезло выжить и оставить потомство.
Какое отношение это имеет к LLM?
LLM - это модели, которые заточены на то, чтобы выдавать наиболее приятные для человека ответы. По смыслу там средняя температура по больнице, главное не вглядываться в детали.
LLM при генерации ответа не волнует, можем ли мы проверить их ответы на ошибки. Языковые модели просто делают свою работу и генерируют правдоподобное полотно текста.
Скажем, новая Llama 4 делала это так приятно, что на LLM Арене заняла второе место после выхода. Правда потом выяснилось, что это просто был тюн под человеческие предпочтения (что говорит многое и про этот релиз Llama 4, и про бенчмарк в целом, и про поведение людей).
В общем, какие выводы?
(1) LLM способны усиливать как человеческий ум, так и человеческую глупость. Второе проще - достаточно выдать ответ в той области, где читающие не являются экспертами. А они и не заметят!
(2) Современные MCP/A2A, как LangChain на стероидах, упрощают интеграцию всевозможных систем c LLM. Поэтому ереси будет встречаться много. А потом срабатывает принцип Альберто Брандолини:
The amount of energy needed to refute bullshit is an order of magnitude bigger than that needed to produce it.
(3) Если в продукте с LLM под капотом не упоминается слово Accuracy в контексте цифр и доказательств, то это умножитель Даннинга — Крюгера. Бегите.
(4) Хотите, чтобы ответ LLM нравился людям? Попросите отвечать как позитивный подросток с кучей emoji.
Ваш, @llm_under_hood 🤗
🔥98😁40👍32👏14❤8😢2🤔1🤯1
7 выводов о внедрении AI в бизнес на примерах крупных компаний
TLDR; начинаем со сбора evals
Если кто знает больше всего про то, как внедрять OpenAI в бизнес, так это сама OpenAI. У них есть отчет "AI in the Enterprise" (PDF) про выводы по внедрению AI в 7 очень крупных компаниях.
Самое интересное, на мой взгляд - это их описание парадигмы, которая отличает AI разработку от традиционного софта:
А второе интересное - упор на "Start with evals" в первом выводе по кейсу Morgan Stanley. Начинаем проекты со сбора тестов/бенчмарков для оценки работы моделей.
Отсюда еще следует - если в проекте нельзя просто и быстро протестировать качество системы с LLM под капотом, то следует сильно подумать, стоит ли за такой проект браться.
@sergeykadomsky в комментариях упомянул видео на тему, что разработка систем с LLM под капотом - это reliability engineering, а не capability engineering. Лучше и не скажешь! Video: Building and evaluating AI Agents
Сами выводы (каждый идет с небольшим рассказом о кейсе)
01. Начинайте проект с evals - Morgan Stanley (financial services)
Используйте систематический подход для оценки того, насколько модели соответствуют вашим задачам.
02. Встраивайте AI в свои продукты - Indeed (крупнейший сайт вакансий)
Создавайте новые клиентские сценарии и более персонализированные взаимодействия.
03. Начинайте сейчас и инвестируйте заранее - Klarna (платежная система)
Чем раньше вы начнёте, тем быстрее будет расти отдача от инвестиций.
04. Настраивайте и адаптируйте модели - Lowe’s (home improvement)
Точная настройка моделей под ваши конкретные задачи значительно увеличит их эффективность.
05. Передайте AI в руки экспертов - BBVA (banking)
Люди, непосредственно работающие с процессом, лучше всего смогут улучшить его с помощью AI.
06. Уберите препятствия для разработчиков - Mercado Libre (ecommerce and fintech)
Автоматизация процесса разработки программного обеспечения значительно повысит отдачу от AI.
07. Ставьте амбициозные цели по автоматизации - OpenAI (LLM обучают)
Большинство процессов содержат рутинные задачи, идеально подходящие для автоматизации. Ставьте высокие цели.
Исходный отчет про AI in the Enterprise: PDF
Ваш, @llm_under_hood 🤗
TLDR; начинаем со сбора evals
Если кто знает больше всего про то, как внедрять OpenAI в бизнес, так это сама OpenAI. У них есть отчет "AI in the Enterprise" (PDF) про выводы по внедрению AI в 7 очень крупных компаниях.
Самое интересное, на мой взгляд - это их описание парадигмы, которая отличает AI разработку от традиционного софта:
Использование AI — это не то же самое, что разработка программного обеспечения или развертывание облачных приложений. Наибольшего успеха достигают компании, которые воспринимают AI как новую парадигму. Это ведёт к формированию экспериментального мышления и итеративного подхода, позволяющего быстрее получать результаты и добиваться большей поддержки со стороны пользователей и заинтересованных сторон.
А второе интересное - упор на "Start with evals" в первом выводе по кейсу Morgan Stanley. Начинаем проекты со сбора тестов/бенчмарков для оценки работы моделей.
Отсюда еще следует - если в проекте нельзя просто и быстро протестировать качество системы с LLM под капотом, то следует сильно подумать, стоит ли за такой проект браться.
@sergeykadomsky в комментариях упомянул видео на тему, что разработка систем с LLM под капотом - это reliability engineering, а не capability engineering. Лучше и не скажешь! Video: Building and evaluating AI Agents
Сами выводы (каждый идет с небольшим рассказом о кейсе)
01. Начинайте проект с evals - Morgan Stanley (financial services)
Используйте систематический подход для оценки того, насколько модели соответствуют вашим задачам.
02. Встраивайте AI в свои продукты - Indeed (крупнейший сайт вакансий)
Создавайте новые клиентские сценарии и более персонализированные взаимодействия.
03. Начинайте сейчас и инвестируйте заранее - Klarna (платежная система)
Чем раньше вы начнёте, тем быстрее будет расти отдача от инвестиций.
04. Настраивайте и адаптируйте модели - Lowe’s (home improvement)
Точная настройка моделей под ваши конкретные задачи значительно увеличит их эффективность.
05. Передайте AI в руки экспертов - BBVA (banking)
Люди, непосредственно работающие с процессом, лучше всего смогут улучшить его с помощью AI.
06. Уберите препятствия для разработчиков - Mercado Libre (ecommerce and fintech)
Автоматизация процесса разработки программного обеспечения значительно повысит отдачу от AI.
07. Ставьте амбициозные цели по автоматизации - OpenAI (LLM обучают)
Большинство процессов содержат рутинные задачи, идеально подходящие для автоматизации. Ставьте высокие цели.
Исходный отчет про AI in the Enterprise: PDF
Ваш, @llm_under_hood 🤗
👍59🔥22❤9🤔4🥰3🤗2