Предопределено будущее или нет?

Представьте, что у вас есть аналитическая программа, в которой записаны положение и скорость каждого объекта во вселенной. Вы можете спрогнозировать движение каждого атома, соответственно - вы можете узнать будущее всей Вселенной. Означает ли это, что судьба существует?
Подобным вопросом задался французский математик Пьер Лаплас, в честь которого был назван его мысленный эксперимент - демон Лапласа.

Допустим, теоретически мы смогли создать машину ("демона"), которая физически может хранить и анализировать данные по каждому атому во вселенной (это, мягко говоря, практически невыполнимая задача, но представим), значит ли это, что будущее предопределено, и с помощью этой машины мы можем узнать все предстоящие события?

Тут есть ряд проблем. Во-первых, с двух ног врывается квантовая физика и парадокс Шредингера. Вы ведь все слышали о коте, запертом в коробке? Парадокс Шредингера заключается в следующем: у нас есть кот в коробке, в коробке есть капсула с ядом. При открытии коробки шанс того, что капсула сломается и убьет кота - 50\50. Таким образом, мы никогда точно не знаем, жив ли кот или нет. Но сможем ли мы с помощью демона Лапласа всегда с 100 % вероятность ответить на этот вопрос? Дело в том, что по мере технического прогресса выяснилось, что есть так называемая "проблема неопределенности". Мы физически не можем узнать положение и скорость электрона одновременно. Узнавая один параметр, мы тут же теряем второй. До конца неизвестно, почему так происходит, поэтому мы никогда и не узнаем, пока не откроем коробку - жив ли кот Шредингера или нет. Но это не означает, что эти два параметра не могут существовать одновременно. Просто мы не имеем возможности иметь информацию о обоих сразу.

Ответ на вопрос, сможем ли мы хранить всю информацию об атомах сразу, возможно подтвердит существование "судьбы" и то, что все события можно предсказать с 100% точностью. А может и не подтвердит.
Таким образом, если вдруг ваши аналитические прогнозы не сбудутся, ответьте руководству, что это во всем виноват кот Шредингера :)

#мнение

Всем здравствуйте!

Смотрите запись прямого эфира по продвинутой аналитике и прогнозам в BI от 26 октября в 15:00 (мск):

Как работает машинное обучение в связке с BI: решаемые задачи, способы интеграции, реальные примеры

🔥Спикер:
Александр Кварацхелия - ведущий архитектор BI-системы Analytic Workspace, кандидат физико-математических наук.

📌Вы узнаете:
09:30 - Как работает машинное обучение (ML);
15:30 - Как применяется ML в BI и какие специалисты нужны для организации процесса машинного обучения;
29:30 - Как в AW BI реализованы этапы процесса машинного обучения.

📌Разбираем два практических примера машинного обучения в BI:
31:00 - Пример на классификацию;
1:10:00 - Пример на предсказание временного ряда.

Мы планируем продолжить серию прямых эфиров по машинному обучению в BI, на которых мы будем разбирать практические примеры!

Если у вас возник интерес и есть практическая задача для использования машинного обучения на вашем проекте - обратите внимание на наше специальное предложение ниже ⬇️

🔥Специальное предложение AW BI: «ML-Ревизорро»🔥

Александр лично разберет вашу задачу по продвинутой/предсказательной аналитике и вместе с вами найдет пути ее решения в AW BI!

Единственное условие:
Ваше согласие на публичную демонстрацию вашего кейса на одном из прямых эфиров. Разумеется, все персональные, финансовые и чувствительные данные будут изменены либо скрыты, нам важно осветить суть решаемой задачи!

Если вас заинтересовало предложение - свяжитесь с нами любым удобным способом! #прямые_эфиры_с_экспертами

Bi-meetup "в Питере быть"

16 ноября в «Точке кипения» ул. Труда д.8 (Санкт-Петербург)

Не прошло и месяца с прошлого открытого митапа для всего BI-комьюнити, а тут уже запланирован в Питере!

Смотрите видео Александра Кварацхелия с митапа 5.10

Если вы не смогли приехать в Москву 5 октября, то у вас будет еще один повод познакомиться с коллегами и послушать интересных спикеров!

Организатор митапа (Сергей Кравченко) старается собирать классных спецов, которые двигают нашу с вами отрасль, общая тематика - это особенности BI-систем, инструменты работы и загрузки данных, а также кейсы из комьюнити бизнес-аналитиков!

Программа уточняется, но как обычно постараемся собрать для вас лучших из лучших!
На данный момент подтверждены представители: BI-Consult, Luxms BI, Денвик, Газпромнефть.

Список спикеров еще корректируем, чтобы получилась сквозная интересная история.

16 ноября в «Точке кипения» по адресу ул. Труда д.8, 17.30-21.00

📌>>Зарегистрироваться<<

Мы тоже не ожидали! А вы?! #мероприятия

Как писать красивые и читаемые SQL запросы :)

Думаю большинство тех, кто читает данный пост знает, что такое SQL и с чем его едят. Для новоприбывших в ряды аналитиков: в комментарии к посту найдете ссылку на определение из Википедии хороший обучающий тренажер с теорией. Язык SQL можно выучить самостоятельно. Он прост, быстро усваивается, благодаря чему отлично подходит для погружения в науку о данных, однако самостоятельное обучение может таить в себе ряд недостатков. Ключевой из них: формирование неправильного стиля программирования. Давайте разбираться на что обратить внимание, чтобы ваши запросы можно было масштабировать и их понимали другие люди.

1. Отступы и пробелы необходимы для структурирования запросов
Старайтесь выносить операторы на новые строки, добавлять отступы и пробелы между структурными блоками. Согласитесь, легче воспринимается это:

SELECT 

    TA.id, 
    TA.client_name,
    TA.client_surname, 
    SUM(TB.client_spent_amount)   AS total_client_spent_amount, 
    SUM(TB.client_Discounts)      AS total_clients_discounts 
    
FROM table_A                      AS TA 
LEFT JOIN table_B                 AS TB 
    ON TA.id = TB.id 
WHERE TA.country = "France"
GROUP BY TA.id

чем это:

SELECT TA.id, TA.client_name, TA.client_surname, SUM(TB.client_purchases) AS total_client_purchases, sum(TB.client_Discounts) as total_clients_discounts 
FROM table_A AS TA LEFT JOIN table_B AS TB ON TA.id = TB.id WHERE TA.country = "France" GROUP BY TA.id

2. Пишите синтаксис SQL в верхнем регистре
Верхний регистр используется для ключевых слов SQL, а нижний — для таблиц и столбцов. Функции SQL также настоятельно рекомендуется писать в верхнем регистре.

3. Не используйте SELECT * при написании кода итоговых версий запросов
Перетаскивая все столбцы с собой, мы легко можем спровоцировать нарушение их работы. Потеря контроля над ними чревата получением лишних невостребованных данных и дублированных столбцов, усложняющих код. Перечисляем только нужные столбцы!

4. Используйте меньше подзапросов и больше CTE
Вложенные многоуровневые запросы усложняют чтение кода. Для тех кто в теме: проблема похожа на пирамиду вложенных вызовов в языках программирования. К примеру, в JavaScript ее решили введением promise`ов. Вывод: делайте структуру кода плоской, так код проще воспринимать.

5. Присваивайте столбцам логически обоснованные имена
При создании запроса мы можем просто переносить столбцы. Вместо этого рекомендуется называть их в соответствии с предполагаемым назначением.

#новичкам #знания

Друзья!

В следующий четверг, 23 ноября в 15:00 (мск) состоится прямой эфир по организации хранения данных:

«Все о корпоративных хранилищах данных (Data Warehouse, DWH»

📌Что это?
📌Как устроено?
📌Кто, когда и зачем создает?

Эфир будет полезен для Data-инженеров, BI-разработчиков, руководителей и менеджеров BI-проектов.

✅Спикеры:
Арслан Катеев - руководитель отдела разработки конструктора корпоративных аналитических решений AlphaBI;
Михаил Греков - директор по развитию BI-системы Analytic Workspace, эксперт по b2b-продуктам, ведущий эфира;
Рамиль Мамедов - руководитель направления платформы данных в СБЕР.

В прямом эфире с профессионалами-разработчиками DWH обсуждаем:
📌типы хранилищ;
📌подходы к построению;
📌архитектурные паттерны;
📌реальные примеры.

🔔 Прямой эфир состоится:
23 ноября (четверг) в 15:00 (Мск)⠀

Регистрация на мероприятие:
https://analyticworkspace.ru/aw-dwh

Можно будет задавать свои вопросы как предварительно при регистрации, так и в процессе эфира.

Вход свободный!
#мероприятия

Пока мы готовим серьёзный пост про Data Driven давайте посмотрим на этот Data Vis.
Прекрасно же 🤗

Три закона диалектики на примере таблицы Менделеева

Может быть, этот пост получится и немного оффтопик к теме "Data Driven", однако он как публикации об астрономии на хабре - не по теме, но интересно: порой стоит вспоминать о фундаментальных законах того мира, в котором мы живем.

А мир наш глубоко диалектичен. И нагляднее всего принципы диалектики иллюстрируются на примере периодической таблицы элементов Д.И. Менделеева.

Для начала, вспомним, что электрически нейтральный атом состоит из положительно заряженного ядра, и отрицательно заряженных электронов, которые вращаются вокруг ядра. Электроны движутся не как попало, а по определенным орбитам, которые создают энергетические уровни.

В таблице Менделеева:
📌номер ряда (периода) = количество энергетических уровней в атоме
📌номер столбца (группы) = количество электронов на внешнем уровне.

Закон перехода количества в качество
Хотя один химический элемент может отличаться от другого только количеством протонов, нейтронов и электронов, они все обладают разнообразными свойствами. Например, углерод (C) и азот (N) различаются всего на один электрон на внешней орбитали, но представляют собой совершенно разные вещества. Этот закон подтверждает, что добавление одного электрона на внешнюю орбиталь (и, соответственно, одного протона в ядро) приводит к изменению свойств вещества и образованию нового элемента.

Закон единства и борьбы противоположностей
Элементы в периодической таблице формируют диалектические пары с противоположными свойствами. Например, щелочные металлы в первой группе и галогены в седьмой группе представляют собой такую пару (и, взаимодействуя, образуют очень устойчивые соли вроде поваренной (хлорид натрия, NaCl)). Постепенное изменение количества элементов в паре приводит к качественным изменениям в материи, переходя от щелочных металлов через их противоположность (галогены) до полного отрицания - инертных газов.

Закон отрицания отрицания
Восьмая (крайняя правая) группа элементов в периодической таблице состоит из инертных газов, которые известны своей неактивностью в химических реакциях благодаря заполненности их внешнего электронного слоя.

Элементы первой группы (крайняя слева) - щелочные металлы, напротив, требуют больших усилий для подавления их активности (скажем, металлический натрий хранят под слоем керосина). Таким образом, инертные газы являются отрицанием щелочных металлов.

Однако с увеличением атомной массы инертных газов всего на 1 протон происходит резкий переход обратно к щелочным металлам в начало следующего, более высокого периода. Это переход ведет к отрицанию предыдущего отрицания, и вся история переходит на новый уровень с новой диалектической парой.

Это наблюдение говорит о том, что законы диалектики, отраженные в периодической таблице элементов, позволяют нам предсказывать и ожидать существование элементов, которые еще не были обнаружены на момент составления таблицы. Пустые ячейки в таблице, особенно в исходном варианте таблицы Менделеева, указывают на элементы, которые были предсказаны на основе этих законов, но еще не были открыты на тот момент. С течением времени и развитием научных исследований, многие из пустых мест в таблице были заполнены, и ученые смогли подтвердить свои предсказания.
#статья

Привет, друзья! Смотрите запись вебинара от 23 ноября об организации хранения данных:

Все о корпоративных хранилищах данных (КХД? Data Warehouse, DWH)

В прямом эфире с профессионалами-разработчиками DWH обсуждаем:

📌Типы хранилищ: объектные, реляционные, колоночные;
📌Подходы к построению: 3 нормальная форма, Data vault, "Звезда", "Снежинка";
📌Архитектурные паттерны: ЦХД, Data mesh;
📌Реальные примеры построения хранилищ данных для различных бизнес-сценариев.

Эфир будет полезен для Data-инженеров, BI-разработчиков, руководителей и менеджеров BI-проектов.

00:00 - Представление спикеров
03:20 - Что такое хранилище данных, отличия от базы данных
10:10 - Задачи хранилища данных, условия и требования. Вопросы надежности.
12:00 - Многослойные хранилища данных. Буфер. Ядро. Витрина. Принципы построения хранилищ в Alpha BI и Analytic Workspace
18:00 - Специалисты для работы с КХД
19:10 - Как компании понять, что пора создавать КХД?
24:45 - Типы данных и принципы их хранения
31:15 - Шаблоны проектирования
43:10 - Архитектурные шаблоны: Data Lake, Data Mesh. Преимущества и недостатки

Список литературы:
📌Многослойные хранилища
📌Гибкие методологии
📌Лекция по Data Vault
📌Антихрупкость хранилища
📌Конспекты DMBOK

До встречи на следующих эфирах! #прямые_эфиры_с_экспертами

Друзья!

В следующий четверг, 7 декабря в 15:00 (мск) приглашаем вас на вебинар с Романом Буниным о построении карьеры аналитика данных:

«Карьера аналитика: чем занимаются разные аналитики и что им надо знать»

✅Спикеры:
Роман Бунин - эксперт по визуализации данных, автор Телеграм-канала @revealthedata;
Михаил Греков - директор по развитию BI-системы Analytic Workspace, эксперт по b2b-продуктам, ведущий эфира.

Под словом «аналитик» понимают много профессий:
BI-аналитики, продуктовые аналитики, аналитики данных, Data-саентисты, ML-инженеры - список еще не дошел даже до середины.

📌Где грань между «Я визуализирую данные» и «Я нахожу в данных возможности»?
📌Какие навыки нужны специалисту каждого направления?
📌Какие задачи предстоит решать?
📌Как развиваться в карьере аналитика данных, куда смотреть, что изучать?

Эфир будет полезен как начинающим аналитикам, так и специалистам с опытом в поисках вдохновения, а также руководителям бизнеса.

🔔 Прямой эфир состоится:
07 декабря (четверг) в 15:00 (Мск)⠀

Регистрация на мероприятие:
https://analyticworkspace.ru/aw-bunin

Можно будет задавать свои вопросы как предварительно при регистрации, так и в процессе эфира. #мероприятия

Данные накапливаются, мудрость - нет

Пирамида DIKW отражает стандартную модель структурных отношений между мудростью, знаниями, информацией и данными:

🔸данные создаются с помощью абстракции или измерения реального мира;
🔸информация — это данные, которые были обработаны, структурированы и встроены в контекст таким образом, что стали значимы для людей;
🔸знания — это информация, которая была интерпретирована и организована таким образом, чтобы появилась возможность действовать в соответствие с ней;
🔸мудрость — умение найти надлежащее применение знанию.

Последовательные операции в процессе обработки данных (сбор → предварительная обработка → агрегирование → понимание результатов и визуализация → обнаружение закономерностей → создание моделей с использованием машинного обучения) следуют иерархии пирамиды DIKW, увеличивая потенциал для поддержки бизнес-решений.

#знания

Друзья! Смотрите запись мастер-класса Михаила Грекова от 30 ноября о продуктовых метриках B2B-продукта:

Продуктовая аналитика: как выбрать и отслеживать метрики для B2B-продукта

📌За какими метриками B2B-продукта следить и почему;
📌Как собирать статистику;
📌Как настроить сквозную аналитику;
📌Какие сложности возникают, и как их преодолеть.

Мастер-класс может быть полезен продуктовым маркетологам, менеджерам B2B-продуктов, аналитикам и руководителям бизнеса.

00:00 - Знакомство, постановка задачи;
02:10 - Особенности метрик для B2B-продукта, отличие от B2C, B2G;
06:10 - Какие метрики собирают в AW BI и почему;
18:40 - Как выглядит интерактивный дашборд с продуктовыми метриками AW BI и как им пользоваться для проверки аналитических гипотез;
32:10 - Настройка виджетов метрик в прямом эфире!

Полезные ссылки:
📌Все информационные ресурсы Analytic Workspace (AW BI): https://aw-bi.ru
📌Получить демо-доступ к AW BI и попробовать в действии: https://analyticworkspace.ru/startfree
📌Сообщество AW BI для технической помощи: https://tttttt.me/awcommunity
📌Телеграм-каналы Михаила: @proudobstvo и @suda_smotri

До встречи на следующих эфирах! #прямые_эфиры_с_экспертами

У Романа Бунина вышел пост (он ниже) со списком ситуаций, которые часто пытаются решить с помощью BI.
При этом BI — не лучший способ решить описанные ситуации.

Кстати, уже в этот четверг у нас будет эфир с Романом про развитие в карьере BI-аналитика — вы ещё успеваете зарегистрироваться.

📈Лучший дашборд
или чек-лист, как как отказаться от разработки дашборда 😈

Я люблю дашборды, но, к сожалению, часто их делают зря. Собрал 5 вариантов, когда стоит попробовать другое решение. Итак, задаем себе и заказчику вопрос — для чего нам нужен дашборд? Если ответ из списка, то дашборд не делаем.

1. Следить за коротким проектом (2-4 недели)
Если проект короткий, то лучше используйте гугл-таблицы с ручным или автоматическим обновлением данных.

2. Повесить на стену смотреть всё ли в порядке
Или слышите вопрос «а ваш BI умеет real-time?». Вместо этого сделайте алерты и регулярную рассылку в мессенджеры.

3. Смотреть данные и менять настройки в другой системе
Если каждый раз при работе с дашбордом пользователь будет что-то менять в другой системе (например, CRM) или вы слышите вопрос «а ваша BI умеет writeback в базу?», то настройте нормально CRM или другой софт и встройте туда графики через embedings.

4. Показать на презентации совету директоров
Если это не регулярка, а разовое выступление, то просто сделайте презентацию.

5. Следить за целями подразделения
Если это OKR или цели компании/подраздления, где не только численные KPI, a много разных типов результатов (выручка, закрыт или нет проект, процент выполнения проекта, результаты опроса сотрудников и т.п.) из большого количества часто ручных источников, то используйте гугл-таблицы и усвловное форматирование.

Ну и конечно же ещё есть ответ «чтобы скачать данные в эксль», но про это даже не буду говорить =)

Бонусный вопрос
Спросите заказчика, что он будет делать, если завтра основная метрика на дашборде упадёт на 30%. Если он не знает ответ, то лучше вместо дашборда заняться процессами.

И помните: лучший дашборд — дашборд, который не пришлось делать!