​​Подборка материалов по Data Science и ML 🧠

Ефим Головин, MLOps-инженер в Selectel, собрал материалы, которые помогут погрузиться в бурлящий котел ML и Data Science. В статье он подробно рассказал о направлениях в математике, которые важно освоить начинающим специалистам. Читайте подборку в Академии Selectel →

Если вы всегда хотите быть в курсе полезных материалов и новых технологий в мире ML, подписывайтесь на наше Telegram-сообщество «MLечный путь». Там мы публикуем еженедельные дайджесты по DataOps и MLOps, обсуждаем проблемы и лучшие практики по организации production ML-сервисов, а также обмениваемся опытом.

​​Обновили PostgreSQL до 16 версии ⚡️

В Selectel доступна новая версия PostgreSQL. Рассказываем, какие нововведения в ней появились.

▫️ Обновили механизм логической репликации
Он транслирует на другой сервер изменения, которые вы вносите в базы данных при добавлении, удалении или обновлении записей. В случае высокой нагрузки на первичный сервер можно использовать резерв для передачи изменений остальным системам.

▫️ Добавили поддержку двунаправленной логической репликации таблиц
С ней вы можете синхронизировать изменения в двух таблицах на разных серверах. Обновленные возможности репликации позволяют создавать конфигурации с несколькими активными серверами, на которых одновременно можно выполнять операции INSERT, UPDATE, DELETE.

▫️ Повысили производительность логической репликации
Теперь вы можете запускать параллельно выполняемые обработчики при применении больших транзакций. Еще одна полезная фича — использование индексов B-tree для таблиц без первичных ключей. С ней получится обойтись без последовательного сканирования при поиске записей.

Создайте управляемую базу данных и три месяца получайте 100% кэшбэк →

​​Прокачайте свои знания гибридной инфраструктуры 💻

Вы понимаете, какой вид инфраструктуры будет оптимален для вашего бизнеса? Умеете разбираться в различиях и тонкостях запуска и масштабирования проекта?

Давайте проверим это вместе. Мы запустили сайт с квестом. Там вы погрузитесь в рабочие будни сисадмина и решите задачу от тимлида. Вам предстоит разобраться в особенностях гибридной инфраструктуры, связанных с безопасностью, стоимостью и управлением. Вы изучите вспомогательные материалы от нас, а в конце сможете пройти тест и пройти работу над ошибками.

По итогам этого интерактива вас ждет сюрприз, с которым аренда серверов станет еще приятнее. Переходите по ссылке, чтобы увидеть все своими глазами →

​​Внесите вклад в развитие Selectel и получите возможность выиграть приз 🚀❤️

Приглашаем вас принять участие в ежегодном опросе об опыте использования IT-инфраструктуры. Расскажите, что для вас важно при выборе провайдера и с какими вызовами в управлении IT-инфраструктурой вы сталкиваетесь. Собираем ответы как наших клиентов, так и тех, кто почти не знает про Selectel.

Опрос займет всего 5-7 минут. В благодарность за участие до 29 декабря разыграем 10 подарочных сертификатов на Ozon и 10 наборов мерча с Тирексом в главной роли. Для отправки призов свяжемся с победителями на почте или в мессенджерах.

Переходите по ссылке →

​​Виртуальные серверы для LLM 🧮

DAVM (Data Analytic Virtual Machine) — это специально подготовленная виртуальная машина для работы с аналитическими задачами и машинным обучением. Она быстро разворачивается из образа и помогает решать следующие задачи ⬇️

◽️ Разработка моделей машинного обучения с помощью PyTorch, TensorFlow, Keras, XGBoost, OpenCV, Jupyter Notebooks и других инструментов.

◽️ Построение процессов обработки данных (ETL/ELT) с помощью Prefect.

◽️ Визуализация и BI-аналитика данных с помощью Apache Superset.

В ноябре мы выпустили в релиз версию 1.2. Рассказываем об обновлениях, которые она содержит ⬇️

◽️ Добавили набор библиотек от Huggingface, чтобы вы могли сразу скачивать и запускать большие языковые модели: transformers 4.34.0, datasets 2.14.5, accelerate 0.23.0, xformers 0.0.22.

◽️ Обновили Apache Superset до третьей версии.

◽️ Добавили утилиту nvitop для более наглядного и гибкого мониторинга GPU.

Создайте готовый сервер для анализа данных и машинного обучения →

​​Дайджест продуктовых обновлений за ноябрь ⚡

В прошлом месяце мы обновили PostgreSQL и добавили новые функции в CDN, в IAM появилась новая роль, а бэкапы теперь можно делать по кнопке.

Также продолжили акцию со 100% кэшбэком на облачные базы данных и Managed Kubernetes. Подать заявку на участие можно до 31 декабря.

Подробнее обо всех новостях читайте в Академии Selectel.

Чтобы оставаться в курсе новостей и пользоваться специальными предложениями, подписывайтесь на нашу рассылку.

​​Как запустить мультипроцессный мониторинг на Python 🐍
и сохранить метрики CPU и RAM

По мере роста бизнеса увеличиваются нагрузки на приложения. Чтобы следить за производительностью и вовремя оптимизировать ресурсы, мы мониторим параметры системы с помощью Prometheus.

Однако, когда мы хотим подключить несколько процессоров для снижения нагрузки, библиотека Prometheus перестает выводить нужные метрики CPU и RAM. Как решить эту проблему, рассказываем в Академии Selectel →