🤖 AGI BI eval, Anthropic Dashboards
Продолжаем проверять AGI на самом точном и верном бенчмарке в мире — моей проверке, как LLM делают дашборды 🙃
В этот раз пробуем недавние Dashboards и Motion от Anthropic В этот раз без сбора вопросов и согласования макета. Сразу дал готовое задание и данные: сделать интерактивный дашборд для регионального менеджера маркетплейса. Смотреть продажи, разбираться в отклонениях, выбирать товары для промо и находить заказы с проблемами в логистике.
Попробовал сделать дашборд трёх режимах
— Opus 5.5 просто в чате
— Opus 5.5 в режиме Cowork
— Fable 5.1 в режиме Cowork.
Посмотрим, что получается с одного захода.
Структура и дизайн
Все три варианта разложили задачу на четыре вкладки: обзор, продажи и промо, качество сервиса, заказы. Любовь LLM к вкладкам пока непобедима 😅
Визуально все дашборды близки между собой и это хорошо. Видно работают какие-то встроенные стили. При этом всё равно есть небольшая разница — размер шрифтов, подписи и т.п.
Но много и очень плохих решений по визуализации данных — спраклайны вообще без подписей что за скейл и какие даты, цветовые легенды без цвета, а просто текстом, двойные оси без подписей, бары разной ширины и т.п. То есть это до сих пор из коробоки это работа джуна-аналитика, хотя Антропик подаёт это как готовый продукт, ну короче AGI! =)
Самое дурацкое решение — положительные бары, отложенные в таблицах «влево» от нуля, ну камаон AGI! =)
Данные
А вот с цифрами интереснее. При одинаковом выборе — East, декабрь 2024 — первый дашборд показывает продажи $21K, а два других — около $18.6K.
Причина — в режими Cowork модель задавала мне вопросы и спросила вкелючить или нет отменённые заказы в продажи. А вот чат меня этого не спросил. То есть одинаковое задание ещё не означает одинаковые определения метрик. И по красивому скриншоту этого можно вообще не заметить. Ну камаон AGI! =)
Работа с задачами пользователя
Тут в целом всё хорошо, ничего не было забыто хотя решено не всегда оптимальным образом. Но см. предыдущий пункт, важно, чтобы цифры были верные =)
Motion
Попросил собрать интерактивную презентацию. Честно никакого задания прям хорошего не давал, поэтому может и результат такой. Получилось просто тупое перелистование слайдов с рандомными графиками, которые красиво последоватльено появляются.
Попросил переделать во что-то поинтереснее, получился какой-то AI слоп от мира инофогрфики. Просто сделал камеру переходящую от одного графика к другому по дашборду.
Отчаялся и сказал сделай так круто как у NYT! Получился последний ролик. Ну камаон AGI! =)
Что думаю по результату
Ну в общем какого-то прорыва опять не случилось. Мы опять получили более чем средний результат, который из далека кажется классными, но на самом деле так себе.
Я расстроился, у меня было ощущение, что если топовая лаба делает продукт и прям его позиционирует как убийцу BI, то ну он должен же быть прям крутым.
То есть опять же, в грамотных руках (например как сделал Тимур) это будет круто ускорять работу, но без него получим кучу AI дашбослопа. Ну камаон AGI! =)
А вы что думаете? Все скрины в комментариях
@revealthedata #ai #bi #dashboards
Продолжаем проверять AGI на самом точном и верном бенчмарке в мире — моей проверке, как LLM делают дашборды 🙃
В этот раз пробуем недавние Dashboards и Motion от Anthropic В этот раз без сбора вопросов и согласования макета. Сразу дал готовое задание и данные: сделать интерактивный дашборд для регионального менеджера маркетплейса. Смотреть продажи, разбираться в отклонениях, выбирать товары для промо и находить заказы с проблемами в логистике.
Попробовал сделать дашборд трёх режимах
— Opus 5.5 просто в чате
— Opus 5.5 в режиме Cowork
— Fable 5.1 в режиме Cowork.
Посмотрим, что получается с одного захода.
Структура и дизайн
Все три варианта разложили задачу на четыре вкладки: обзор, продажи и промо, качество сервиса, заказы. Любовь LLM к вкладкам пока непобедима 😅
Визуально все дашборды близки между собой и это хорошо. Видно работают какие-то встроенные стили. При этом всё равно есть небольшая разница — размер шрифтов, подписи и т.п.
Но много и очень плохих решений по визуализации данных — спраклайны вообще без подписей что за скейл и какие даты, цветовые легенды без цвета, а просто текстом, двойные оси без подписей, бары разной ширины и т.п. То есть это до сих пор из коробоки это работа джуна-аналитика, хотя Антропик подаёт это как готовый продукт, ну короче AGI! =)
Самое дурацкое решение — положительные бары, отложенные в таблицах «влево» от нуля, ну камаон AGI! =)
Данные
А вот с цифрами интереснее. При одинаковом выборе — East, декабрь 2024 — первый дашборд показывает продажи $21K, а два других — около $18.6K.
Причина — в режими Cowork модель задавала мне вопросы и спросила вкелючить или нет отменённые заказы в продажи. А вот чат меня этого не спросил. То есть одинаковое задание ещё не означает одинаковые определения метрик. И по красивому скриншоту этого можно вообще не заметить. Ну камаон AGI! =)
Работа с задачами пользователя
Тут в целом всё хорошо, ничего не было забыто хотя решено не всегда оптимальным образом. Но см. предыдущий пункт, важно, чтобы цифры были верные =)
Motion
Попросил собрать интерактивную презентацию. Честно никакого задания прям хорошего не давал, поэтому может и результат такой. Получилось просто тупое перелистование слайдов с рандомными графиками, которые красиво последоватльено появляются.
Попросил переделать во что-то поинтереснее, получился какой-то AI слоп от мира инофогрфики. Просто сделал камеру переходящую от одного графика к другому по дашборду.
Отчаялся и сказал сделай так круто как у NYT! Получился последний ролик. Ну камаон AGI! =)
Что думаю по результату
Ну в общем какого-то прорыва опять не случилось. Мы опять получили более чем средний результат, который из далека кажется классными, но на самом деле так себе.
Я расстроился, у меня было ощущение, что если топовая лаба делает продукт и прям его позиционирует как убийцу BI, то ну он должен же быть прям крутым.
То есть опять же, в грамотных руках (например как сделал Тимур) это будет круто ускорять работу, но без него получим кучу AI дашбослопа. Ну камаон AGI! =)
А вы что думаете? Все скрины в комментариях
@revealthedata #ai #bi #dashboards
😁15👍11❤8
⚙️ Runtime агента
Заканчиваю серию про архитектуру агентов. Последняя часть — среда выполнения.
Самый просто и быстрый вариант — просто работать локально, запускаете агента и задаёте ему Scheduled Tasks и вперед. Но конечно же такое перестает работать когда вы закрываете ноутубук. Поэтому есть разные решения как это хостить в облаке. Самый «простой» вариант поднять виртулаку и там поставить харнес с агентом, но существуют и более удобные решения из коробки.
Среда под одну задачу
У облаков давно есть serverless-функции, для агентов уже появились специализированные решения: Bedrock AgentCore Runtime, Google Agent Runtime, Claude Managed Agents. Они берут на себя запуск и обслуживание среды для агентной работы. Здесь удобно, что постоянно держать собственную VM для этого не обязательно.
Reusable окружение
Агенту могут понадобиться установленные программы и файлы между задачами и сохранять файловую систему, для этого нужна постоянная среда.
Codex Cloud и Claude Code Routines даёт агенту подготовленную среду с репозиторием и зависимостями. Новая задача получает отдельное рабочее пространство; к существующей можно вернуться с её сохранёнными файлами.
Есть и простой WYSIWYG вариант для self-service со стороны бизнес-пользователей — Workspace Agents от OpenAI. Например, каждое утро собирать данные и готовить сводку или проходиться по тикетам и писать комментарии. Работает как по расписанию, так и по тригерам. Я ленивый и у меня нет чего-то мега сложно, поэтому для своих задач использую именно этот вариант.
Постоянный помощник
Dots, Grok Bot и Claude Duet создаюта агента, который уже живет постоянно и проспается не только по времени или событям, но и просто по heartbeat раз в какой промежуток времени. Он сохраняет контекст и память, возвращается к поручениям и может проактивно обратить внимание на проблему. Я пока тестирую Dots, не понял насколько это полезно и прикольно, но у него забавный свой компьютер, которым можно управлять )))
Свой вариант можно собрать и на опенсорсных Hermes или OpenClaw, которые были так популярны в начале года.
В целом, всё больше работы с агентами будет уходить в облако. Тибо Соттьо из OpenAI в интервью тоже говорит про это и предполагает, что они будут «зеркалом» локального окружения для простого и быстрого перехода между средами.
Как вам такой цикл постов? Полезно или все всё уже и так знают и такое не интересно? Я просто ничего толкового сам не нашёл и поэтому решил, что надо написать. В комментариях справедливо пишут про LangChain/RAG/LLM-роутеры — про эту часть не писал, так как она больше про прям продовые решения для внешних клиентов.
Все посты
1. Из чего состоит AI-агент
2. Как управлять агентом
3. Модели
4. Harness и скиллы
5. Инструменты
6. Контекстное окно
7. Долгосрочная память
8. Runtime агента
@revealthedata #ai #agents
Заканчиваю серию про архитектуру агентов. Последняя часть — среда выполнения.
Самый просто и быстрый вариант — просто работать локально, запускаете агента и задаёте ему Scheduled Tasks и вперед. Но конечно же такое перестает работать когда вы закрываете ноутубук. Поэтому есть разные решения как это хостить в облаке. Самый «простой» вариант поднять виртулаку и там поставить харнес с агентом, но существуют и более удобные решения из коробки.
Среда под одну задачу
У облаков давно есть serverless-функции, для агентов уже появились специализированные решения: Bedrock AgentCore Runtime, Google Agent Runtime, Claude Managed Agents. Они берут на себя запуск и обслуживание среды для агентной работы. Здесь удобно, что постоянно держать собственную VM для этого не обязательно.
Reusable окружение
Агенту могут понадобиться установленные программы и файлы между задачами и сохранять файловую систему, для этого нужна постоянная среда.
Codex Cloud и Claude Code Routines даёт агенту подготовленную среду с репозиторием и зависимостями. Новая задача получает отдельное рабочее пространство; к существующей можно вернуться с её сохранёнными файлами.
Есть и простой WYSIWYG вариант для self-service со стороны бизнес-пользователей — Workspace Agents от OpenAI. Например, каждое утро собирать данные и готовить сводку или проходиться по тикетам и писать комментарии. Работает как по расписанию, так и по тригерам. Я ленивый и у меня нет чего-то мега сложно, поэтому для своих задач использую именно этот вариант.
Постоянный помощник
Dots, Grok Bot и Claude Duet создаюта агента, который уже живет постоянно и проспается не только по времени или событям, но и просто по heartbeat раз в какой промежуток времени. Он сохраняет контекст и память, возвращается к поручениям и может проактивно обратить внимание на проблему. Я пока тестирую Dots, не понял насколько это полезно и прикольно, но у него забавный свой компьютер, которым можно управлять )))
Свой вариант можно собрать и на опенсорсных Hermes или OpenClaw, которые были так популярны в начале года.
В целом, всё больше работы с агентами будет уходить в облако. Тибо Соттьо из OpenAI в интервью тоже говорит про это и предполагает, что они будут «зеркалом» локального окружения для простого и быстрого перехода между средами.
Как вам такой цикл постов? Полезно или все всё уже и так знают и такое не интересно? Я просто ничего толкового сам не нашёл и поэтому решил, что надо написать. В комментариях справедливо пишут про LangChain/RAG/LLM-роутеры — про эту часть не писал, так как она больше про прям продовые решения для внешних клиентов.
Все посты
1. Из чего состоит AI-агент
2. Как управлять агентом
3. Модели
4. Harness и скиллы
5. Инструменты
6. Контекстное окно
7. Долгосрочная память
8. Runtime агента
@revealthedata #ai #agents
👍59❤27🔥3
🤖 MM26 и розыгрыш билетов
Год назад я проводил в канале опрос о том, как аналитики используют AI в работе. Весной повторили, а теперь хочется посмотреть, что изменилось ещё за полгода, так как сокрости изменения просто безумные.
Какие инструменты вы используете, какие задачи доверяете AI и насколько они помогают в работе?
👉 Пройти опрос 👈
Результатами, конечно же, поделюсь в канале. А среди тех, кто заполнит форм, случайным образом разыграем 2 офлайн и 2 онлайн-билета на Матемаркетинг. Спасибо организаторам за билеты! =)
Итоги розыгрыша подведу в районе 10 ноября.
Конференция пройдёт 26–27 ноября в Москве, а 17 ноября будет отдельный онлайн-день. Я в этом году расскажу как внедрять AI в большой компании и анализирвать успех этого внедрения.
Если не хотите ждать розыгрыша, по промокоду RTD20 можно купить билет со скидкой 20%: программа и билеты
@revealthedata #ai #опрос #конкурс
Год назад я проводил в канале опрос о том, как аналитики используют AI в работе. Весной повторили, а теперь хочется посмотреть, что изменилось ещё за полгода, так как сокрости изменения просто безумные.
Какие инструменты вы используете, какие задачи доверяете AI и насколько они помогают в работе?
👉 Пройти опрос 👈
Результатами, конечно же, поделюсь в канале. А среди тех, кто заполнит форм, случайным образом разыграем 2 офлайн и 2 онлайн-билета на Матемаркетинг. Спасибо организаторам за билеты! =)
Итоги розыгрыша подведу в районе 10 ноября.
Конференция пройдёт 26–27 ноября в Москве, а 17 ноября будет отдельный онлайн-день. Я в этом году расскажу как внедрять AI в большой компании и анализирвать успех этого внедрения.
Если не хотите ждать розыгрыша, по промокоду RTD20 можно купить билет со скидкой 20%: программа и билеты
@revealthedata #ai #опрос #конкурс
❤15👍8
🎃 AI-костюмы
Я честно не знаю, почему мне всегда так смешно от этих костюмов. Наверное, это настолько плохо, что даже хорошо. Я раньше делал подборку для дата-профессий, а теперь пришла пора современных AI-ролей.
Если хотите попробовать сделать себе такой же, то можно заюзать вот такой промпт. В комментариях покажу, что получилось про меня.
Ну или, если хотите что-то более жёсткое, можно попросить AI себя прожарить. Правда, осторожно — может быть немного больно от того, насколько это всё правда🙈️️️️️️ Приложил кусочек своей прожарки тоже в коммент, делитесь своими если не стесняетесь.
Узнали кого-нибудь из коллег или себя? В общем, немного тупого фана вам в ленту =)
@revealthedata #ai #юмор
Я честно не знаю, почему мне всегда так смешно от этих костюмов. Наверное, это настолько плохо, что даже хорошо. Я раньше делал подборку для дата-профессий, а теперь пришла пора современных AI-ролей.
Если хотите попробовать сделать себе такой же, то можно заюзать вот такой промпт. В комментариях покажу, что получилось про меня.
Make a Halloween costume based on me. Pretend that the costume is copyrighted. Show me an image of the cheap knockoff costume on a store shelf, and give it a bad name that just barely skirts the pretend copyright infringement.
Ну или, если хотите что-то более жёсткое, можно попросить AI себя прожарить. Правда, осторожно — может быть немного больно от того, насколько это всё правда🙈️️️️️️ Приложил кусочек своей прожарки тоже в коммент, делитесь своими если не стесняетесь.
Based on everything you know about me, roast me and don’t hold back. Say it in Russian slang and add Russian swear words.
Узнали кого-нибудь из коллег или себя? В общем, немного тупого фана вам в ленту =)
@revealthedata #ai #юмор
😁52🔥12❤3👍1🕊1
Кажется, что пора нормально рассказать, чем я сейчас занимаюсь. В канале уже полно про агентов, а в закрепе я всё ещё рассказываю, как делаю дашборды 🙃
Больше полугода моя работа целиком связана с AI adoption — внедрением AI в компании. Сейчас я AI Adoption Lead в Nebius: помогаю командам встраивать AI в повседневную работу и развивать эти практики в масштабе всей компании. Я перешёл в эту роль после того как был Head of Data в наших финансах и корп функции, где мы сделали пилот по AI трансформации.
Теперь в моей работе больше обучения, анализа процессов и организации изменений в командах. И отдельно, конечно же, много аналитики самого внедрения и результатов.
Поэтому теперь я буду больше писать в канале об этом – орг дизайне, фреймворках внедрения AI, обучении, выборе процессов, инфраструктуре и аналитике внедрения. В основном применительно больших компаний. Если и буду что-то про дашборды, то сильно-сильно реже.
Не буду писать про то как собирать агентов, лучшие подборки скиллов, репостить новости и писать про бизнес на AI =)
Понимаю, что тема внедрения AI в компании может быть не так актуальна, если вы ждете посты про аналитику и дашборды или как использовать AI для повседневной работы аналитика. Тут смотрите стоит ли держать канал в подписке.
П.С. Забавно, что чувствую, что как будто вернулся на 10 лет назад и снова занимаюсь бизнес трансформацией, когда работал в Kaizen Institute, японском консалтинге про оптимизацию бизнеса. Инструменты новые, а подходы все те же.
П.П.С. Заодно обновил закреп канала и сайт
@revealthedata
Please open Telegram to view this post
VIEW IN TELEGRAM
❤113👍54🔥25😢4👎3🤔3😁1😈1
🏕 AI-ретрит в Португалии
В пятницу выступил на AI-native ретрите в Португалии. Степан и Алексей собрали около 50 фаундеров, руководителей и инвесторов, которые строят или перестраивают свои компании вокруг AI.
На ретрите я провёл лекцию про то, как я подхожу к AI-трансформации. Рассказал про направления, которые нужны, чтобы сделать трансформацию в большой компании: обучение, изменение процессов и агенты, AI-чемпионы внутри команд, инфраструктура и governance. Про каждое из них отдельно расскажу подробнее в предстоящих постах.
Потом была практика: участники в небольших группах заполняли ассессмент готовности к AI-трансформации. Обсуждали, что уже получается, где есть пробелы и что мешает двигаться дальше.
По первым анкетам видно понятный разрыв: доступ к инструментам опережает организацию внедрения. Именно процессы помогают превращать личные эксперименты сотрудников в устойчивую практику. В общем, как всегда, внедрение само по себе не произойдёт — надо строить систему.
Было очень полезно оказаться среди людей, которые строят большие бизнесы, в том числе юникорны. Хорошо видно, как по-другому работает мышление и насколько масштабнее меня люди могут мыслить. Помогает посмотреть на собственные задачи и жизнь в целом чуть шире.
Для себя вынес такие инсайты с конфы:
— Примерно все делают похожие вещи, но очень многое зависит от масштаба компании. Небольшим компаниям проще перейти на новые рельсы и бежать быстрее. Завидую, если честно: у нас всё сильно медленнее.
— Сокращение костов полезно, но ещё важно понимать, как AI помогает развивать продукт и захватывать рынок. Быстрее проверять гипотезы, запускать новые фичи, обслуживать клиентов, до которых раньше не дотягивались. Часто там выгоды больше, чем в сокращении костов.
— В будущем важнее будут бренд, связи и каналы продаж, чем технологии или продукт.
— Следующий хайп-ворд — «самообучающаяся организация».
@revealthedata #ai #выступление
В пятницу выступил на AI-native ретрите в Португалии. Степан и Алексей собрали около 50 фаундеров, руководителей и инвесторов, которые строят или перестраивают свои компании вокруг AI.
На ретрите я провёл лекцию про то, как я подхожу к AI-трансформации. Рассказал про направления, которые нужны, чтобы сделать трансформацию в большой компании: обучение, изменение процессов и агенты, AI-чемпионы внутри команд, инфраструктура и governance. Про каждое из них отдельно расскажу подробнее в предстоящих постах.
Потом была практика: участники в небольших группах заполняли ассессмент готовности к AI-трансформации. Обсуждали, что уже получается, где есть пробелы и что мешает двигаться дальше.
По первым анкетам видно понятный разрыв: доступ к инструментам опережает организацию внедрения. Именно процессы помогают превращать личные эксперименты сотрудников в устойчивую практику. В общем, как всегда, внедрение само по себе не произойдёт — надо строить систему.
Было очень полезно оказаться среди людей, которые строят большие бизнесы, в том числе юникорны. Хорошо видно, как по-другому работает мышление и насколько масштабнее меня люди могут мыслить. Помогает посмотреть на собственные задачи и жизнь в целом чуть шире.
Для себя вынес такие инсайты с конфы:
— Примерно все делают похожие вещи, но очень многое зависит от масштаба компании. Небольшим компаниям проще перейти на новые рельсы и бежать быстрее. Завидую, если честно: у нас всё сильно медленнее.
— Сокращение костов полезно, но ещё важно понимать, как AI помогает развивать продукт и захватывать рынок. Быстрее проверять гипотезы, запускать новые фичи, обслуживать клиентов, до которых раньше не дотягивались. Часто там выгоды больше, чем в сокращении костов.
— В будущем важнее будут бренд, связи и каналы продаж, чем технологии или продукт.
— Следующий хайп-ворд — «самообучающаяся организация».
@revealthedata #ai #выступление
❤21🔥13👍4😁1😈1