​​Как создать интерактивный дашборд с нуля через ChatGPT

В этой статье рассказано, как использовать ChatGPT для визуализации данных и построении дашбордов при помощи Python и фреймворка Dash; также автор поделился готовыми промтами для создания дашборда за несколько минут.

Перейти к статье | DATApedia | #DS_AI

Сеньор знает, что ИИ не сможет так много ходить на созвоны

​​Как Почта моделирует риски потери отправлений

Главный аналитик отдела монетизации данных в Почтатехе расскажет, как они создали модель, которая предсказывает до 97% возможных пропаж международных отправлений.

Перейти к статье | DATApedia

​​Разработчики — налево, методологи — направо: четыре шага к оптимизации работы BI-аналитиков

Статья про то, как предприняли, чтобы работать эффективнее и слаженнее. Спойлер: для этого пришлось разделиться на две команды, но это тот случай, когда расставание пошло на пользу.

Перейти к статье | BApedia

​​Почему для MLOps лучше выбирать Open Source, а не проприетарное ПО

В статье приводятся аргументы в пользу использования Open Source-программ, таких как высокое качество продукта, большое количество людей, работающих с такими программами, возможность исправления ошибок и т.д. Также авторы статьи упоминают скрытые расходы у проприетарных платформ и ситуации, когда имеет смысл использовать проприетарные платформы.

Перейти к статье | DATApedia

Когда в команде один сеньор и пять джунов

​​Что под капотом у нейронной сети. Нейросеть c точки зрения математики и программирования

Цель данной публикации – комплексное рассмотрение строения искусственных нейронных сетей c точки зрения и математики и программного кода. В данной работе нейронная сеть реализуется на языке Python с использованием библиотеки tensorflow.keras.

Перейти к статье | DATApedia | #DS_AI

​​Форматы данных и файлов: руководство для архитекторов

Вы наверняка слышали о таких форматах, как Parquet, ORC, Avro, Arrow, Protobuf, Thrift и MessagePack. Эта статья о том, что они собой представляют и какой из них лучше выбрать.

Перейти к статье | DATApedia

​​Как сэкономить свои нервы и деньги компании на перестроении структуры больших таблиц без простоя в PostgreSQL

В этой статье на реальных примерах рассказано, как можно сэкономить время разработчика, администратора баз данных и ресурсы сервера(ов), используя утилиту pgrebuildtable.

Перейти к статье | SQLpedia

​​ClickHouse: полезные лайфхаки

В этой статье автор рассказывает что такое ClickHouse и почему она считает его идеально подходящим мощным инструментом для аналитики. А также делится tips & tricks из ее опыта.

Перейти к статье | DATApedia

​​Медленно меняющиеся измерения (SCDs) в эпоху облачного хранилища данных

Статья описывает проблему "медленно меняющихся измерений" в моделировании данных, когда обновление измерений происходит очень редко, и предлагает три решения этой проблемы.

Перейти к статье | DATApedia

​​О развитии предсказательного обслуживания на примере диагностики трансформатора

В статье речь пойдет про модельно-ориентированное проектирование, цифровой двойник моделирующий рабочие состояния, процессы и жизненный цикл актива, алгоритм диагностики и прогнозирования отказов на основе искусственного интеллекта, а также интеграция результатов в пользовательское ПО.

Перейти к статье | DATApedia | #DS_AI

​​Почему Trino такой быстрый: архитектура оптимизатора SQL-запросов

Это умеренно сложная статья, в которой мы опишем основные принципы оптимизации запросов в Trino, без путешествия в "машинный зал". Схожие идеи реализованы во многих других аналитических системах, поэтому статья будет полезна широкому кругу читателей, занимающихся анализом данных и эксплуатацией аналитических систем.

Перейти к статье | DATApedia

​​Оптимизации работы Jupyter notebook при помощи параллельных вычислений (Библиотека Joblib)

В данном посте автор рассказывает о возможностях применения параллельных вычислений в интерактивной среде Jupyter notebook языка Python.

Перейти к статье | DATApedia

​​Нейронные сети не могут обобщать периодические зависимости. Как это исправить?

В данной статье обсуждается проблема обобщения периодических зависимостей нейронными сетями. Авторы рассматривают ограничения глубоких нейронных сетей в экстраполяции и предлагают альтернативные функции активации для более точного моделирования периодических систем.

Перейти к статье | DATApedia | #DS_AI

​​Книга «Python для data science»

Книга предназначена для разработчиков, желающим лучше понять возможности Python по обработке и анализу данных. Предполагается, что у вас уже есть базовый опыт работы с Python и для вас не составит труда следовать таким инструкциям, как установка базы данных или получение ключа API. Тем не менее концепции data science объясняются с нуля на практических, тщательно разобранных примерах. Поэтому опыт работы с данными не требуется.

Перейти к статье | DATApedia

Алоха, коллеги!

Сегодня вопрос из рубрики #fromInterviewWithLove

Дана таблица "Студенты" с полями "Имя", "Фамилия", "Возраст" и "Группа". Необходимо вывести список уникальных групп студентов и количество студентов в каждой группе, отсортированный по возрастанию названия группы.
Для решения этой задачи нужно написать следующий SQL-запрос:

SELECT DISTINCT Группа, COUNT(*) AS Количество_студентов
FROM Студенты
GROUP BY Группа
ORDER BY Группа ASC;

Этот запрос выбирает из таблицы "Студенты" уникальные группы студентов и вычисляет количество студентов в каждой группе. Затем он сортирует результат по возрастанию названия группы. Результатом запроса будет список уникальных групп студентов с количеством студентов в каждой группе.

Небольшая подсказка для новичков👇
Нужно понимать, как работать с агрегатными функциями, такими как COUNT, и как использовать оператор DISTINCT для выбора уникальных значений.

​​Data Consistency: как быть уверенным, что с данными всё ок

В этой статье рассказывается о том, как мониторить консистентность данных в аналитических системах, используя категориальные переменные, и как выбрать лучший способ для мониторинга.

Перейти к статье | SQLpedia