Референсные модели - ссылки в студию!

Самый популярные из условно-бесплатных:
для банков - BIAN, bian.org
для ритейла - ARTS, hwww.omg.org/...-73
для телекомов - TMFORUM, www.tmforum.org

Инфо про референсные модели можно также найти на дзен.

Семантический слой - стоит ли овчинка выделки?

Читайте в статье на дзен

Алисизация в деле! Разбирались вместе с YandexGPT2 с понятием "характеристика качества данных"

Искусственный интеллект раздобыл на просторах интернета такие критерии качества, каких нет ни в одном учебнике ))

Что удалось нам придумать вместе с Алисой, какая добыча оказалась годной, а какая не очень - читайте в новом посте дзен. https://dzen.ru/b/ZWW5L04a9A9olZpu?share_to=link

А рисовал опять Kandinsky

Пятничный АНЕКДОТ из ИТ:

Это уже потом я понял, что соседи пришли именно ко мне, решив, что раз я учусь на программиста, то у меня должен быть Интернет, а, значит, я смогу найти то, что их интересует. Но поначалу я впал в лёгкий ступор, когда ко мне постучали и сказали:
— Юрочка, ты же программист? Нам тут надо кастрировать кота...

С первым днем зимы всех! ❄ Хороших выходных! 🤗

How to Move Beyond a Monolithic Data Lake to a Distributed Data Mesh

Многие предприятия активно инвестируют в свои озёра данных в надежде достичь следующего уровня зрелости, который обеспечит им демократизацию данных с необходимой степенью масштабирования, а также позволит добывать бизнес-инсайты и автоматизировать процесс принятия решений, основанных на данных (data-driven).

Однако Data lake-архитектуры имеют проблемы, которые ограничивают масштабирование аналитики и приводят к невыполнению обязательств, взятых перед бизнес-заказчиками. Чтобы устранить эти ограничения, необходимо отказаться от парадигмы централизованного озера данных и перейти к парадигме, основанной на современной распределенной архитектуре: рассматривать домены как первостепенную задачу, применять платформенное мышление для создания инфраструктуры самообслуживания данных и относиться к данным как к продукту.

Статья от автора архитектурного подхода Data Mesh расскажет, чем он лучше привычного Data Lake. Не супер новые изыскания, но есть над чем поразмышлять, подумать, особенно, если раньше не представилось случая... - читать на английском тут

https://cloud.vk.com/events/vk-data-meetup-23?utm_source=telegram&utm_medium=cpc&utm_campaign=vk_%20Data_meetup_14_12_2023_database_info

Мероприятие бесплатное - регистрируйтесь, пожалуйста!

Программа митапа доступна по ссылке.

Все хотят жить долго и счастливо - не болеть и не кашлять?

На слёте YaTalks сегодня затронули эту тему в докладе "Как AI может спасать жизни" (Андрей Чурсов, ZephyrAI). Конечно стало очень интересно )))

Коллеги подготовили интересную временную шкалу становления и развития AI - см.картинку. В 2022 году мир увидели 2 препарата, разработанных с использованием ИИ.

Генеративные модели для создания новых препаратов пока подключать не научились, но обещают в ближайшие два года устранить этот недочёт. Но даже без них, благодаря AI, разработку новых препаратов возможно будет завершать за 3-4 года (сейчас 12 лет).

Генеративные модели (от англ. generative model) — методы искусственного интеллекта, которые используются для создания новых данных (изображений, музыки, текста и прочих) на основе обучающего датасета, состоящего из большого количества данных.

Сегодня последний день конференции, много докладов про AI - ещё можете успеть послушать. Промотайте чутка наверх - там есть ссылка.

Характеристика качества данных - свойство данных отвечать требованиям достоверности и пригодности для использования в конкретной цели или задаче. Наиболее часто используют такие характеристики как полнота, точность, актуальность, разумность, согласованность, уникальность и доступность данных. Данные, соответствующие перечисленным выше характеристикам, считаются качественными. На основании заявленных характеристик качества разрабатывают требования к качеству данных.

Метрика (Индикатор, Показатель) качества данных - критерий оценки достижения требуемого уровня качества данных, помогает определить можно ли доверять данным. Метрика качества показывает насколько данные соответствуют заявленным требованиям к качеству и обладают ли они нужными характеристиками качества для выполнения операций, анализа и принятия решений.

Толковый словарь Data Governance

Итак, в новом 2024 году нас ожидают шесть основных трендов моделирования данных:

1. Широкое распространение отраслевых моделей

2. Рост и влияние Концептуального моделирования

3. Растущая популярность графов знаний

4. Улучшение возможностей самообслуживания

5. Real-Time Data Modeling - моделирование на лету

6. Joint Data Modeling sessions - совместное моделирование

Чуть больше инфо на русском на дзене - https://dzen.ru/a/ZXhrB7UrMW9CtHPg?share_to=link

Оригинальная статья на английском, в которой подробно описаны все тренды https://www.dataversity.net/data-modeling-trends-in-2024/

Рубрика "Подсмотрено у соседей"

Интерактивная карта репозиториев - страны и континенты вселенной GitHub ))
https://anvaka.github.io/map-of-github/#1.98/-0.98/-23.84

Кликабельно! ))

По ссылке вас ждёт новая статья - Как реализовать основные принципы Data Governance

Так как статья выходит в пятницу, то хочется разбавить конец напряженной рабочей недели чем-то весёленьким; вот вам анекдот из чьей-то жизни на тему описания данных ))

Пошли как-то с женой в магазин. Как обычно купили всяко-разно по мелочи. Вышли, ждем дочь. Черт дернул почитать чек, и впали в ступор:
- СВИНЯБЛ
Подумали... Просмотрели пакеты... Опять подумали. Ну не брали мы Свинябла, нам и так нормально... Подошедшая дочь вернула к реальности старых маразматиков:
- СВИНЯБЛ — Сок ВИНоградно ЯБЛочный. Ох уж эти фискальные принтеры да экономные программисты...

Всем прекрасных выходных! 🤗

Маленькое объявление: на канале будет монетизация 😅

😇 но чтобы избежать внешней обильной рекламы, применим вот такой финт ушами:
- появится возможность сказать спасибо деньгами - Cloudtips;
- появится возможность оформить подписку на скачивание материалов, т.е. всё что выкладываю картинками, можно будет скачать в виде привычных док-файлов или электронных таблиц;
- появится подписка на серьёзную макулатуру 🙈 - готовые доки типа "положение", "методология", "исследование", "модель данных" можно будет тоже получить в привычном виде.
Подписка будет на Boosty - уже можно посмотреть как.

Конечно же, это никого ни к чему не обязывает 🖖, каналы в телеге и на дзен будут продолжать жить своей жизнью. В подвальчике каждой статьи просто появится инфо со ссылками на поддержку канала. Вот такая 👇
Поддержать канал | Подписаться на скачивание файлов | Читать на дзен

Не сдержалась, простите... опять кандинский

Основные тренды управления данными 2024

Традиционные подходы в управлении данными, основанные на физической репликации данных из нескольких систем в центральное хранилище, такие как классическое DWH и озеро данных, не рассчитаны на поддержку и работу с разрозненными данными.
Напротив, логические подходы к управлению данными позволяют подключаться в режиме реального времени к разрозненным данным без репликации, изначально поддерживая распределенные данные.

The Future Is Logical - подробности в статье: https://dzen.ru/a/ZYMGXfQ4R32SmJGA?share_to=link

На рынке много компаний, которые предлагают свои решения для управления MDM, многие из них существуют довольно давно и критикуются за устаревший стэк технологий и неповоротливость. В противовес им новые решения от современных разработчиков MDM должны обладать следующими свойствами и функционалом:

1. Гибкий и легко масштабируемый продукт, быстро-развертываемый и легко конфигурируемый под нужды заказчика;

2. Инструмент умеет работать с разнообразием внутренних и внешних источников данных;

3. Есть встроенные механизмы контроля качества данных;

4. Предлагают из коробки отраслевые модели данных;

5. Real-time обработка данных ... и другие плюшки! )

Я предлагаю вам ознакомиться с презентацией решения компании Reltio - №1 in Vision in Forrester Wave 2023. Оно прямо-таки революционное, если сравнивать его со "старичками" отрасли.

По ссылке можно скачать презентацию в pdf и расшифровку этой презентации на английском и русском языках (до 21 мин - до демо инструмента). Скачивание этих материалов доступно БЕСПЛАТНО https://boosty.to/datagovernance/posts/a6bca011-fcf6-4a5b-8401-7ad61dc2250f?share=post_link

🙀 Не будем тянуть кота за яйцы, сегодня пятница и этим всё сказано! Вот вам АНЕКДОТ:

Умирает 30—летний программист. Вот стоит он перед вратами рая, около них стоит святой Петр и читает книгу жизни. Программист:
— Боже, за что ты меня забрал, я же такой молодой, еще только 30 лет, жить да жить.
Святой Петр, не отрываясь от книги:
— Не знаю, не знаю, по тайм—репортам тебе уже 96 лет.

Не перерабатывайте, не болейте! Отдыхайте в выходные! 🤪

Я на заре своей юности:
- у бушек опять не сошёлся баланс и я сижу в офисе в отладке до 3-х ночи...

*Аллилуя - Удалёнке! Аллилуя!*

ТОП-20 лучших статей про данные 2023

Уважаемый ресурс Dataversity подвел итоги года и опубликовал ТОП-20 самых читаемых и востребованных статей, которые вызвали на их канале в течение года наибольший интерес. Пробежавшись по списку глазами, можно без труда понять к каким ключевым темам информационное сообщество обращалось снова и снова.

Смотреть список статей

Подумалось мне, что уходить на длинные новогодние каникулы нужно оставив пищу для размышления - много пищи! ))

Итак, немного про системы хранения данных, как и чем они различаются одна от другой - схемы, модели, архитектурные паттерны - инфо найдёте в статье дзен.

Финалочка - АНЕКДОТ про ИТ, точнее про технологический прорыв последних 30-ти лет:

- Повезло тем, кому сейчас за 50. Столько ерунды в молодости натворили, а доказательств нет, потому что в то время не было Интернета.

Канал уходит на каникулы )) Всем добра! Всех с наступающими праздниками! ))