Generative Business Intelligence - тихая революция в BI

В классическом BI мы вручную пишем SQL, строим отчёты и визуализации. Но сегодня нейросети делают всё больше работы: сами пишут запросы, формируют дашборды и даже выдают инсайты. В прошлом посте рассказывал как мы сделали это на локальном компе. У этого направления уже есть название - Generative BI (GenBI).

В комментариях к моему посту в Linkedin Elena Goryainova (Sr Solution Architect, Snowflake) поделилась, что Snowflake предлагает Enterprise AI - безопасный доступ к топовым LLM внутри корпоративного контура.

Кроме них, в гонке уже:
- Salesforce
- Microsoft
- Tibco Spotfire
- Pyramid Analytics
и другие.

Компания WrenAI делает GenBI сервис и рассказывает в блоге о будущем BI.

Архитектура GenBI делится на 4 уровня (из статьи выше):
1. Уровень данных
2. Семантический уровень
3. Агентский уровень
4. Уровень представления

Главное отличие от классического BI - агентский уровень. Он отвечает за "человеческий" разговор с данными. На этом уровне нейросети преобразуют запросы пользователя в машинные запросы и алгоритмы. На семантическом уровне строятся связи с данными: что и откуда брать для запроса. Про семантический уровень буквально вчера был пост в канале "Работая в айтишечке". На уровне представления: дашборды, инсайты, эдхоки и интерфейс диалога с машиной (тоже новая штука).

Интересно, что в корпоративных решениях решаются 2 ключевые проблемы нейронок для BI:
1. Галлюцинации. Если LLM натравить только на подготовленные и структурированные данные с их описанием, то LLM практически не даёт неверных ответов. Это подтвердилось и в наших локальных экспериментах с нейронками.
2. Безопасность данных. Большие вендоры предоставляют доступ до передовых LLM только внутри компании, наружу данные не уходят.

Итого: GenBI - устойчивое понятие, подразумевающее генерацию инсайтов и инструментов для принятия решений на основе данных. Лидеры рынка идут в этом направлении. BI-системы эволюционируют, и если их не перестраивать сегодня - завтра можно остаться в хвосте рынка.

Абсолютно согласен с концепцией топ дашборды + LLM для self-service.
В примере люди вообще от BI инструмента отказались, и это в компании 1000+ человек. Хороший кейс к прошлому посту о GenBI

В посте, товарищ рассказал, как они круто выкинули Табло Север и стали использовать Slack бота + GenAI, чтобы отвечать на вопросы пользователей. Само собой разумеется, что они пофиксили семантический слой, определили метрики, позаботились о качестве данных.

Как результат пользователи пишут вопрос в Slack, и LLM возвращает им ответ. Такая функциональность доступна уже из коробки в Snowflake (Semantic Layer). Вам просто нужно описать вашу модель данных в YML, и все.

Навести порядок в данных это обычно самое сложное. Часто не выполнимая задача, потому что разработчики ленивые, и часто у них нет достаточно мотивации держать стерильную чистоту в хранилище/озере данных. А GenAI не понимают бизнес контекста и аббревиатуры и naming conventions.

В целом тренд очевидный, сам BI можно уже отдавать на outsource GenAI приложению.

Ребята из команды VILKY (кстати дашборд на Tableau Public) недавно показали отличный пример, как они задали вопрос и LLM написала SQL и провела небольшой анализ. То есть концепт работает, если данные хорошо организованы под такую задачу.

Но тут возникает интересный вопрос. Сейчас я приведу пример, который немного добавит контекста.

В моей любимой книге Angel: How to Invest in Technology Startups, автор упоминает инвестицию в проект Cafe X — "кафе, где кофе варят роботы, конкурирующее со Starbucks, и создающее возможность продавать кофе дешевле за счёт автоматизации”.

Главная идея, ваше кофе должно стоить не 5-6$ (сейчас оно так стоит), а на 50% дешевле.

Вот буквально на днях в Сиэтле мне попалась кафе с кофе, где его делают роботы. Больше похоже на самоделкиных.

Делают сносно, но цена при этом такая же как и в обычном кафе, где работает бариста.

То есть, уже экономика этого заведения странновато, вместе конвейера отличного капучино, у нас музей роботов.

Но самое важное проблема в этом, пока еще сам человек, которому комфортней сходить к человеку баристе, потому что он всегда так делал.

То есть во многих случаях, человек хочет общаться с человеком, а не с бездушной машиной. Компания Klarna уже обожглась.

Так же и с BI, с одной стороны, мы можешь сделать insights on demand, через LLM, а с другой стороны, я еще не знаю ни одной компании, которая не использует хоть какой-то BI инструмент, потому что пользователям так комфортно, и пока большинство не хочет менять привычки. Уверен, скоро кто-нибудь большой выпендрится, какие они молодцы - BI-AI first, раньше всех.

Но все движется к тому, что большие BI вендоры находятся в конкуренции с LLM и даже, если они добавят новые фичи, это им не поможет.

А как вы думает про кейс BI+LLM или LLM вместо BI в средней перспективе?

Мне видится, что для executive dashboards будет классический BI, а вот для self-services и deep dives скоро будут больше полагаться на GenAI. Опят же не заменяя человека, а дополняя, где человеку нужно будет валидировать гипотезы и инсайты.

Представляете, приходите на работу и после ночного ETL 20 новых гипотез и инсайтов, нужно выбрать только 1-2 из них.

Кто-то скажет, что и человек не нужен будет…вот и узнаем скоро:)

MCP и нейробезопасность

Cloudflare два дня назад выпустил бету 'MCP Server Portal' - новый модуль в составе платформы Cloudflare One. Модуль позволяет компаниям централизованно пропускать через себя весь MCP-трафик, контролировать его, анализировать и защищать от потенциальных угроз. Подробнее - в их блоге "Securing the AI Revolution: Introducing Cloudflare MCP Server Portals".

Cloudflare давно является одним из мировых лидеров в сфере интернет-безопасности: их решения защищают сайты, базы данных и критическую инфраструктуру по всему миру. Теперь компания выходит и на новый рынок - безопасность нейросетей. Логично, ведь потенциал здесь колоссален.

Протокол MCP (Model Context Protocol) позволяет нейросетям управлять внешними объектами и сервисами. Но вместе с этим появляются новые риски - от вредоносных промптов до атак на корпоративную инфраструктуру. В блоге Cloudflare приводятся примеры того, как нейросети можно запутать.

Сценарии атак:
1. Подмена MCP-сервера -злоумышленник поднимает свой сервер и подсовывает его модели или пользователю.
2. Промпт-инъекции - внедрение скрытых инструкций в текст, ведущих к несанкционированным действиям.
3. Утечка секретов через LLM - промпт-инъекция заставляет ИИ запросить у сервера ключи и токены.
4. Неавторизованный доступ - вызов MCP-инструментов, к которым у пользователя нет прав.

К чему это может привести:
Если взглянуть шире, число потенциальных сценариев бесконечно: от удаления данных из баз до перехвата управления беспилотным таксопарком.

Можно представить более мрачные варианты - появление “вредоносных нейросетей”, которые будут запутывать другие ИИ или перехватывать контроль над их инструментами.

В итоге, инвестиции в нейробезопасность будут колоссальны, и там сейчас - поле непаханное задач.

"График истории"

В Новой Третьяковке на Крымском Валу выставлена работа "График истории"(фото моё), созданная в 1976 художниками группы "Гнездо". Удивительно в ней то, что график стал произведением искусства.

Картина написана в жанре соц-арт. Термин "соц-арт" возник в 1972 году благодаря художникам Виталию Комару и Александру Меламиду. Cоц-арт соединил идеи соцреализма, поп-арта и дадаизма, трактуя советскую визуальную культуру как объект сатиры и исследования

На картине видим красную зигзагообразную линию, пронзающую сетку графика. Толстая чёрная разметка и красный цвет намекает на "серьёзность" цифр, отсылая к планам и отчётам, которыми были увешаны стены советских кабинетов. А ещё на картине есть прогноз на 1982.

Если присмотреться, то по оси X отмечены годы проведения съездов ЦК КПСС, а по оси Y - месяцы этих съездов. С точки зрения здравого смысла график абсолютно бессмысленный: он ничего не объясняет и не показывает. История здесь сведена к формату отчёта, где важны только партийные собрания, а всё остальное будто не происходит. Сам график - идеальный пациент для Чартомойки.

Но именно в этом кроется социальная сатира и ирония официальности: история вовсе не строилась на съездах, у людей была своя жизнь. Художники иронизируют над практикой "рисовать всё через цифры" - планы, отчёты, диаграммы, превращая историю в график и тем самым показывая, насколько абсурдна такая визуализация жизни.

Можно иронизировать над прошлым, но так ли далеко мы ушли сейчас? Плохие графики со стен переехали в мобильные телефоны и компьютеры, на бесконечных совещаниях и презентациях мы видим такие же "графики". И вообще, рабочее время можно свести лишь к графику встреч и планёрок.

Jarvis в Grab. Как AI меняет аналитику

Мой друг и коллега из бывшей команды InDrive рассказал про разработку аналитического AI решения в Grab.

Для справки: Grab - сингапурская компания, первый южно-азиатский декакорн (стартап с оценкой $10+ млрд). Это "Uber + Delivery Club + Tinkoff" в одном приложении: такси, каршеринг, доставка еды и свой финтех. Работает во всей Юго-Восточной Азии.

Grab разработал Jarvis (отсылка сами знаете к кому) - решение для поиска инсайтов. С ноября прошлого года Grab пишет в своём блоге о разработке AI сервиса.

Из блога "How AI is driving faster data-driven decisions at Grab":

"Главный вызов - сделать данные доступными для всех сотрудников Grab. Раньше сотрудникам приходилось обращаться к внутренним аналитикам, осваивать сложные дашборды или писать SQL-запросы. Мы захотели упростить доступ к данным для всех, в пределах их роли, без специальных технических навыков. С появлением больших языковых моделей (LLM), умеющих переводить текст в SQL, мы увидели отличную возможность.
Так появился Jarvis - ассистент, позволяющий получать инсайты так же просто, как задавать вопрос."

Две главные функции Jarvis:
1. Text-to-SQL engine: from question to query - от вопроса к запросу
2. Insights generator: from data to understanding - от данных к пониманию

Jarvis стал посредником между бизнес-пользователем и данными. Вся аналитическая цепочка: диалог, SQL, отчёты, инсайты теперь внутри одного ассистента. Время ответа снизилось с 4+ часов до 3-5 минут, 1000 отчётов сгенерировано в мае 2025г и 4000 ответов получено в июне 2025. Дальше Джарвиса хотят подключать к Слаку и внутренним инструментам.

В заглавную я вытащил картинки из их блога. В верхней картинке выкидываются все функции кожаных аналитиков: диалог с заказчиком, SQL, репорты, исследования и инсайты. Сам хотел нарисовать такую схему для нашего проекта VILKY, а тут люди уже всё сделали и объяснили.

Такого же процесса, но пока на уровне коленки, мы с ребятами достигли в пет-проекте анализа зарплат. Но у Grab - на серьёзном корпоративном уровне. В корпоративных блогах не принято говорить о проблемах, но они точно есть на всех этапах внедрения аналитических решений.

Кейс Grab - ещё одно подтверждение того, что компании идут в сторону Generative BI, где вся аналитическая цепочка постепенно заменяется одним LLM-сервисом. Кардинально меняется флоу работы с данными. А вот что в итоге произошло с самими аналитиками, Grab в блоге не написал 🙂

👋 Пост-знакомство

Привет!
Я - Саша Варламов, к.ф.-м.н., больше 15 лет в IT и данных. Успел поработать в разных ролях: от BI-разработчика и тимлида до PM и CTO. Делал BI и аналитические решения в Playrix, InDrive и других компаниях, участвовал в разработке Tableau.
2x Tableau Zen Master, 2x Tableau Ambassador. 3 года NDA с Salesforce/Tableau.

В аналитике и данных с 2004 года, начинал с Matlab, дальше был зоопарк инструментов. Занимался автоматизацией и аналитикой в компаниях: геминг, транспортные системы, ride-hailing, нефтегаз, физика. Преподавал в вузе. Готовил персонал для проектов Shell, Eni, British Gas. Иногда консультирую компании.

В публичном пространстве:
- Делаю визуализации и data-проекты
- Исследую принципы визуализации и ищу нестандартные формы подачи информации
- Визуализирую данные о спорте, кино, искусстве и др.
- Пишу статьи и иногда выступаю
- Сейчас экспериментирую с Generative BI и LLM

В канале Data Bar:
- Мои проекты и коллабы
- Факты и наблюдения из мира данных и визуализации
- Истории на стыке данных и искусства
- То, о чём аналитики не рассказывают на конференциях

Где ещё меня можно найти:
LinkedIn | Reddit | Tableau Public. Раньше входил в мировую десятку
Kaggle | X (Twitter) | Habr | VC

Этот канал - мой бар данных 🍸. Заходите, наливайте себе что-то по вкусу и давайте обсуждать идеи.
Буду рад знакомству.

Перевернули уже? 🙂

Из слов можно составить ту самую песню