🚀 Премьерный вебинар DataForge — 16 декабря, 12:00
Приглашаем на вебинар, где мы впервые покажем DataForge – российскую self-service платформу для централизованного управления аналитическими данными.
Это новый инструмент, обеспечивающий прозрачную бизнес-логику и быструю разработку и сопровождение слоя Data Mart – возможно, единственное решение такого уровня в России!
В стеке с ClickHouse DataForge формирует витрины и сразу обеспечивает согласованность расчётов – без ручной работы.
⚡️ На вебинаре разберем:
• какие задачи решает DataForge и как ускоряет BI,
• как устроены семантический слой и реестр показателей,
• как автоматически создаются и публикуются витрины,
• как изменения логики мгновенно попадают во все системы.
🎙 Спикеры – технический директор и владелец продукта DataForge.
Участие бесплатное! Забронировать место на вебинаре.
Все новости о продукте – в канале: t.me/dataforge_team
Приглашаем на вебинар, где мы впервые покажем DataForge – российскую self-service платформу для централизованного управления аналитическими данными.
Это новый инструмент, обеспечивающий прозрачную бизнес-логику и быструю разработку и сопровождение слоя Data Mart – возможно, единственное решение такого уровня в России!
В стеке с ClickHouse DataForge формирует витрины и сразу обеспечивает согласованность расчётов – без ручной работы.
⚡️ На вебинаре разберем:
• какие задачи решает DataForge и как ускоряет BI,
• как устроены семантический слой и реестр показателей,
• как автоматически создаются и публикуются витрины,
• как изменения логики мгновенно попадают во все системы.
🎙 Спикеры – технический директор и владелец продукта DataForge.
Участие бесплатное! Забронировать место на вебинаре.
Все новости о продукте – в канале: t.me/dataforge_team
🔥5
🚀 Не пропустите вебинар DataForge – 16 декабря, 12:00
Уже завтра – первый вебинар по DataForge! Где мы представим новое российское self-service решение для визуального моделирования и проектирования хранилищ данных.
⚡️ После вебинара вы сможете:
- Увидеть, как DataForge формирует витрины данных, совместимые с любыми системами, в т.ч. BI, буквально за несколько кликов.
- Понять, как избавиться от расхождений в показателях между разными отчетами, командами и инструментами.
- Узнать, как быстрее и безопаснее обновлять логику расчетов и поддерживать отчетность – без участия разработчиков.
- Оценить, как DataForge встраивается в технологический стек компании, и как использовать продукт в BI и DWH-проектах.
🎙 Решение покажут технический директор и владелец продукта DataForge.
➡️ Участие бесплатное! Регистрация еще открыта.
Все новости о продукте – в канале: t.me/dataforge_team
Уже завтра – первый вебинар по DataForge! Где мы представим новое российское self-service решение для визуального моделирования и проектирования хранилищ данных.
⚡️ После вебинара вы сможете:
- Увидеть, как DataForge формирует витрины данных, совместимые с любыми системами, в т.ч. BI, буквально за несколько кликов.
- Понять, как избавиться от расхождений в показателях между разными отчетами, командами и инструментами.
- Узнать, как быстрее и безопаснее обновлять логику расчетов и поддерживать отчетность – без участия разработчиков.
- Оценить, как DataForge встраивается в технологический стек компании, и как использовать продукт в BI и DWH-проектах.
🎙 Решение покажут технический директор и владелец продукта DataForge.
➡️ Участие бесплатное! Регистрация еще открыта.
Все новости о продукте – в канале: t.me/dataforge_team
🔥2
Вебинар DataForge_Презентация.pdf
2.1 MB
Уважаемые коллеги!
Благодарим вас за участие в вебинаре «DataForge: как навести порядок в показателях, витринах, бизнес-логике и BI-отчётах», который состоялся 16 декабря.
⚡️ Запись вебинара уже доступна на Rutube и YouTube. Презентация – выше.
💬 Задать вопрос и оставить обратную связь о вебинаре можно в комментариях здесь.
➡️ Запросить демодоступ к платформе DataForge – на сайте dataforg.ru
Благодарим вас за участие в вебинаре «DataForge: как навести порядок в показателях, витринах, бизнес-логике и BI-отчётах», который состоялся 16 декабря.
⚡️ Запись вебинара уже доступна на Rutube и YouTube. Презентация – выше.
💬 Задать вопрос и оставить обратную связь о вебинаре можно в комментариях здесь.
➡️ Запросить демодоступ к платформе DataForge – на сайте dataforg.ru
🔥3👍1
На вебинаре было много вопросов по функционалу и техническим особенностям платформы. Ниже – перечень ответов на вопросы, которые эксперты не успели охватить в рамках эфира (1 часть):
DataForge – это не статическое описание витрин, а исполняемый семантический слой, который управляет логикой расчётов. При изменении формул в DataForge витрины автоматически обновляются и становятся доступными во всех подключённых BI-системах.
Дата-каталог, как класс продуктов, предназначен в первую очередь для документирования и описания всех существующих данных, не влияя на их преобразования.
DataForge же фокусируется на создании и управлении семантическим слоем для аналитических данных в связке с формированием витрин в хранилищах, обеспечивая использование единой логики расчётов во всех аналитических системах.
На текущий момент DataForge поддерживает PostgreSQL, Microsoft SQL Server и ClickHouse. При этом продукт ориентирован на взаимодействие с хранилищами данных через SQL-запросы. Это позволяет в дальнейшем расширять поддержку различных реляционных СУБД, аналитических хранилищ и SQL-движков, включая Trino.
Кроме того, мы учитываем растущую популярность архитектур Lakehouse и формата Apache Iceberg и планируем соответствующие интеграции. Они, в том числе, позволят работать с данными, размещёнными в объектных и файловых хранилищах, таких как S3.
DataForge не предназначен для выполнения статистического анализа и не реализует проверки распределений, корреляций или построение статистических графиков. Его основная задача – управление семантическим слоем и формирование витрин данных.
При этом в рамках «сверки расчётов» пользователи могут непосредственно в продукте вычислять значения показателей по заданным формулам на фактических данных источника, моделировать различные сценарии и сравнивать полученные результаты с внешними эталонными отчётами. Это позволяет проверить корректность формул и бизнес-логики до использования витрин в BI-инструментах.
Нет, DataForge не предоставляет инструментов для статистического моделирования. Это платформа для централизованного управления семантическим слоем и построения витрин.
Да, DataForge автоматически строит дерево зависимостей (происхождение) для показателей (метрик), помогая понять, как одни показатели вычисляются на основе других.
Да, на более общем уровне в DataForge используются те же самые внутренние слои у моделей:
- Физический слой фактического хранилища данных, с которым пользователи напрямую не работают
- Логический слой описанных пользователями моделей данных, которые связываются с необходимыми полями и таблицами из физического слоя
- Слой представления, описывающий понятные пользователям бизнес-сущности, созданные на основе элементов из логического слоя.
Однако в деталях реализации, естественно, возможны значительные различия.
Основным источником данных, где создавались витрины для демонстрационных дашбордов как в FineBI, так и в других BI системах, был ClickHouse. При этом в FineBI было настроено Direct подключение к необходимой витрине, а Excel и Power BI загружали эти данные в свои внутренние модели. Подключение к PostgreSQL использовалось только в рамках сценария миграции, где дашборд в Power BI переключался с витрины в PostgreSQL на созданную копию этой витрины в ClickHouse.
1. Чем DataForge отличается от витрин с описанием?
DataForge – это не статическое описание витрин, а исполняемый семантический слой, который управляет логикой расчётов. При изменении формул в DataForge витрины автоматически обновляются и становятся доступными во всех подключённых BI-системах.
2. Чем DataForge отличается от дата-каталога?
Дата-каталог, как класс продуктов, предназначен в первую очередь для документирования и описания всех существующих данных, не влияя на их преобразования.
DataForge же фокусируется на создании и управлении семантическим слоем для аналитических данных в связке с формированием витрин в хранилищах, обеспечивая использование единой логики расчётов во всех аналитических системах.
3. С каким технологическим стеком есть интеграции кроме PostgreSQL и ClickHouse? Поддерживаются ли S3 или Trino?
На текущий момент DataForge поддерживает PostgreSQL, Microsoft SQL Server и ClickHouse. При этом продукт ориентирован на взаимодействие с хранилищами данных через SQL-запросы. Это позволяет в дальнейшем расширять поддержку различных реляционных СУБД, аналитических хранилищ и SQL-движков, включая Trino.
Кроме того, мы учитываем растущую популярность архитектур Lakehouse и формата Apache Iceberg и планируем соответствующие интеграции. Они, в том числе, позволят работать с данными, размещёнными в объектных и файловых хранилищах, таких как S3.
4. Что в понятиях DataForge подразумевается под "Сверкой расчётов"? Есть ли проверка распределений на нормальность, мультимодальность, мультиколлинеарность? Возможно ли построение квантильных графиков?
DataForge не предназначен для выполнения статистического анализа и не реализует проверки распределений, корреляций или построение статистических графиков. Его основная задача – управление семантическим слоем и формирование витрин данных.
При этом в рамках «сверки расчётов» пользователи могут непосредственно в продукте вычислять значения показателей по заданным формулам на фактических данных источника, моделировать различные сценарии и сравнивать полученные результаты с внешними эталонными отчётами. Это позволяет проверить корректность формул и бизнес-логики до использования витрин в BI-инструментах.
5. Возможно ли использование DataForge для проведения A/B-тестов, факторного анализа и статистического моделирования?
Нет, DataForge не предоставляет инструментов для статистического моделирования. Это платформа для централизованного управления семантическим слоем и построения витрин.
6. Есть ли в DataForge возможность построить дерево метрик?
Да, DataForge автоматически строит дерево зависимостей (происхождение) для показателей (метрик), помогая понять, как одни показатели вычисляются на основе других.
7. Можно ли сказать, что DataForge похож на решение Oracle BI в части построения модели?
Да, на более общем уровне в DataForge используются те же самые внутренние слои у моделей:
- Физический слой фактического хранилища данных, с которым пользователи напрямую не работают
- Логический слой описанных пользователями моделей данных, которые связываются с необходимыми полями и таблицами из физического слоя
- Слой представления, описывающий понятные пользователям бизнес-сущности, созданные на основе элементов из логического слоя.
Однако в деталях реализации, естественно, возможны значительные различия.
8. Как был подключен к данным показанный в демо дашборд в FineBI?
Основным источником данных, где создавались витрины для демонстрационных дашбордов как в FineBI, так и в других BI системах, был ClickHouse. При этом в FineBI было настроено Direct подключение к необходимой витрине, а Excel и Power BI загружали эти данные в свои внутренние модели. Подключение к PostgreSQL использовалось только в рамках сценария миграции, где дашборд в Power BI переключался с витрины в PostgreSQL на созданную копию этой витрины в ClickHouse.
👍2❤1
Продолжение ответов на вопросы, которые не успели охватить в рамках эфира (2 часть):
DataForge исключает человеческий фактор и обеспечивает контроль версий бизнес-логики. В отличие от ручного написания SQL, где каждый разработчик может интерпретировать правила по-своему, DataForge гарантирует, что все витрины будут построены по единым, согласованным и прозрачным правилам. Это снижает количество ошибок и избавляет от долгих разбирательств при расхождениях в отчетности.
В реальных сценариях в BI инструментах очень часто закладывают слишком много логики, значительную часть которой можно вынести на уровень витрин через DataForge, оставив в BI инструментах самый минимум. При этом основная бизнес-логика становится независимой от конкретных BI инструментов и может быть легко использована для параллельной работы в разных BI инструментах или при переходе с одного BI инструмента на другой. А для той логики, которую всё равно приходится оставлять в BI инструментах, DataForge выступает в роли хранилища эталонных формул расчёта, на которые должны ориентироваться BI разработчики при создании своих отчётов и дашбордов.
DataForge предполагает, что вся основная логика расчётов вынесена на уровень витрин, и формулы для этих расчётов не требуется повторять в BI системе. При этом для отдельной логики, которую проблематично реализовать в универсальном виде на уровне витрин (например, расчёт неаддитивных показателей типа выполнения плана в %), да, может потребоваться прописать формулы и в DataForge, и в BI, но смысл тут остаётся в том, что во всех отчётах и дашбордах во всех BI системах все BI разработчики прописывают эти формулы “второй раз” по одному и тому же эталону, что помогает обеспечить единообразность расчётов. К тому же в будущем в DataForge планируется добавление возможности для конвертирования формул из описания семантического слоя в формат требуемой BI системы, чтобы такие формулы было проще переносить в BI при создании отчётов и дашбордов.
Да, Power BI, как и любая другая BI система, может подключаться к витринам, созданным через DataForge. Польза в обеспечении независимости используемой логики расчётов от конкретной BI системы и прозрачной синхронизации этой логики между разными отчётами и разными BI системами.
Если Qlik Sense используется как визуализатор, DataForge создаст для него витрины. Если Qlik Sense включает ETL-функции, DataForge может работать в качестве описания семантического слоя, содержащего понятную бизнесу эталонную логику расчётов.
DataForge хранит единую логику показателей и витрин. При миграции вы подключаете новую BI систему к тем же витринам, и вся бизнес-логика остаётся неизменной.
9. Где существуют создаваемые представления витрин? В хранилище данных? Т.е. это, по сути, надстройка над хранилищем? Что мешает сделать вьюшку на реальных источниках, зачем использовать DatataForge? Этот продукт делает только представления, или как-то их ещё оптимизирует, например, делает индексы для быстрого поиска?
DataForge исключает человеческий фактор и обеспечивает контроль версий бизнес-логики. В отличие от ручного написания SQL, где каждый разработчик может интерпретировать правила по-своему, DataForge гарантирует, что все витрины будут построены по единым, согласованным и прозрачным правилам. Это снижает количество ошибок и избавляет от долгих разбирательств при расхождениях в отчетности.
10. Какая польза от продукта не в упрощенных, а в реальных сценариях, когда много логики закладывают в самом BI инструменте? Например, с FineBI много логики закладывается в расчетные поля внутри BI системы, и это одна из проблем взаимодействия с каталогом данных. Как эта проблема решается в DataForge?
В реальных сценариях в BI инструментах очень часто закладывают слишком много логики, значительную часть которой можно вынести на уровень витрин через DataForge, оставив в BI инструментах самый минимум. При этом основная бизнес-логика становится независимой от конкретных BI инструментов и может быть легко использована для параллельной работы в разных BI инструментах или при переходе с одного BI инструмента на другой. А для той логики, которую всё равно приходится оставлять в BI инструментах, DataForge выступает в роли хранилища эталонных формул расчёта, на которые должны ориентироваться BI разработчики при создании своих отчётов и дашбордов.
11. Не заставит ли использование продукта прописывать все формулы по два раза - один раз в DataForge и еще один раз в BI системе после сбора семантической модели?
DataForge предполагает, что вся основная логика расчётов вынесена на уровень витрин, и формулы для этих расчётов не требуется повторять в BI системе. При этом для отдельной логики, которую проблематично реализовать в универсальном виде на уровне витрин (например, расчёт неаддитивных показателей типа выполнения плана в %), да, может потребоваться прописать формулы и в DataForge, и в BI, но смысл тут остаётся в том, что во всех отчётах и дашбордах во всех BI системах все BI разработчики прописывают эти формулы “второй раз” по одному и тому же эталону, что помогает обеспечить единообразность расчётов. К тому же в будущем в DataForge планируется добавление возможности для конвертирования формул из описания семантического слоя в формат требуемой BI системы, чтобы такие формулы было проще переносить в BI при создании отчётов и дашбордов.
12. Можно ли использовать DataForge с Power BI, и какая будет польза?
Да, Power BI, как и любая другая BI система, может подключаться к витринам, созданным через DataForge. Польза в обеспечении независимости используемой логики расчётов от конкретной BI системы и прозрачной синхронизации этой логики между разными отчётами и разными BI системами.
13. Какая практическая польза от внедрения DataForge в связке с Qlik Sense?
Если Qlik Sense используется как визуализатор, DataForge создаст для него витрины. Если Qlik Sense включает ETL-функции, DataForge может работать в качестве описания семантического слоя, содержащего понятную бизнесу эталонную логику расчётов.
14. Как DataForge помогает мигрировать с одних BI систем на другие, например с Tableau / Power BI на тот же Superset?
DataForge хранит единую логику показателей и витрин. При миграции вы подключаете новую BI систему к тем же витринам, и вся бизнес-логика остаётся неизменной.
❤2
Продолжение ответов на вопросы, которые не успели охватить в рамках эфира (3 часть):
DataForge добавляет слой управления, но упрощает поддержку и обновления за счёт централизации логики. Это снижает нагрузку на дата-инженеров и ускоряет доставку актуальных данных бизнес-пользователям, что может быть особенно заметно в entrpise-средах с большим количеством таблиц фактов, витрин, дашбордов и пользователей.
DataForge предоставляет ИИ ассистентам полное структурированное описание семантического слоя в JSON формате, содержащее и бизнес-смысл сущностей, и эталонную логику расчётов, и ссылки на конкретные поля в источниках данных, что позволяет ИИ ассистентам получать полный контекст и генерировать корректные запросы. При этом уже есть работающий с DataForge MCP сервер и ИИ ассистент, который может по текстовым вопросам пользователей генерировать соответствующие корректные запросы к БД с использованием описания семантического слоя из DataForge в качестве контекста.
Да, DataForge предоставляет API для чтения описаний семантического слоя, и этот API можно использовать для интеграции как с self-hosted LLM, так и с другими ИИ инструментами.
Модель лицензирования DataForge основана на подписочной системе. Стоимость зависит от количества пользователей и технических лимитов. Подписка DataForge доступна в трёх форматах:
- Базовый бесплатный тариф: включает базовый бесплатный функционал. 1 пользователь, 1 проект, без версионирования и возможностей создания и управления представлениями витрин в БД. Только описания семантического слоя, моделей таблиц фактов и витрин, а также генерация SQL кода для ручного создания витрин в базе с использованием других инструментов.
- Профессиональный тариф: полная функциональность продукта с возможностью работы до 5 пользователей и ограничением на максимальное количество проектов и версий.
- Корпоративный тариф: индивидуальные условия на необходимое количество пользовательских лицензий, включая различные лицензии на создание и редактирование проектов и на просмотр созданных проектов, полная функциональность продукта без ограничений на максимальное количество проектов и версий.
➡️ Подробное сравнение лицензий DataForge доступно на сайте платформы: dataforg.ru
15. Не будет ли DataForge дополнительным слоем, который только усложнит работу?
DataForge добавляет слой управления, но упрощает поддержку и обновления за счёт централизации логики. Это снижает нагрузку на дата-инженеров и ускоряет доставку актуальных данных бизнес-пользователям, что может быть особенно заметно в entrpise-средах с большим количеством таблиц фактов, витрин, дашбордов и пользователей.
16. Как DataForge помогает решить одну из основных проблем Каталогов данных для ИИ ассистентов - отсутствие единого семантического слоя для поиска метаданных?
DataForge предоставляет ИИ ассистентам полное структурированное описание семантического слоя в JSON формате, содержащее и бизнес-смысл сущностей, и эталонную логику расчётов, и ссылки на конкретные поля в источниках данных, что позволяет ИИ ассистентам получать полный контекст и генерировать корректные запросы. При этом уже есть работающий с DataForge MCP сервер и ИИ ассистент, который может по текстовым вопросам пользователей генерировать соответствующие корректные запросы к БД с использованием описания семантического слоя из DataForge в качестве контекста.
17. Есть ли API для интеграции с self-hosted LLM?
Да, DataForge предоставляет API для чтения описаний семантического слоя, и этот API можно использовать для интеграции как с self-hosted LLM, так и с другими ИИ инструментами.
18. Как происходит лицензирование? В чём различия тарифов?
Модель лицензирования DataForge основана на подписочной системе. Стоимость зависит от количества пользователей и технических лимитов. Подписка DataForge доступна в трёх форматах:
- Базовый бесплатный тариф: включает базовый бесплатный функционал. 1 пользователь, 1 проект, без версионирования и возможностей создания и управления представлениями витрин в БД. Только описания семантического слоя, моделей таблиц фактов и витрин, а также генерация SQL кода для ручного создания витрин в базе с использованием других инструментов.
- Профессиональный тариф: полная функциональность продукта с возможностью работы до 5 пользователей и ограничением на максимальное количество проектов и версий.
- Корпоративный тариф: индивидуальные условия на необходимое количество пользовательских лицензий, включая различные лицензии на создание и редактирование проектов и на просмотр созданных проектов, полная функциональность продукта без ограничений на максимальное количество проектов и версий.
➡️ Подробное сравнение лицензий DataForge доступно на сайте платформы: dataforg.ru
👍4