Инструментарий Data Scientist'а: MLFlow
MLflow - это платформа с открытым исходным кодом для управления непрерывным жизненным циклом машинного обучения. Он выполняет четыре основные функции:
* Отслеживание экспериментов для записи и сравнения параметров и результатов (MLflow Tracking).
* Упаковка кода ML в повторно используемую, воспроизводимую форму для передачи другим специалистам по данным или передачи в продакшн (MLflow Projects).
* Управление и развёртывание моделей из множества библиотек машинного обучения на различных платформах обслуживания и вывода моделей (MLflow Models).
* Предоставление центрального хранилища моделей для совместного управления полным жизненным циклом модели MLflow, включая управление версиями модели, переходы между этапами и аннотации (MLflow Model Registry).
MLflow не зависит от библиотек. Вы можете использовать его с любой библиотекой машинного обучения и на любом языке программирования, поскольку все функции доступны через REST API и CLI. Для удобства в проект также включены Python API, R API и Java API.
🌐Документация по фреймворку: https://www.mlflow.org/docs/latest/quickstart.html
#machinelearning #ai #машинноеобучение #neuralnetworks #нейронныесети #python#буднипрограммиста #programming #MLflow
🔗 Quickstart — MLflow 1.18.0 documentation
➰ Источник ВК
MLflow - это платформа с открытым исходным кодом для управления непрерывным жизненным циклом машинного обучения. Он выполняет четыре основные функции:
* Отслеживание экспериментов для записи и сравнения параметров и результатов (MLflow Tracking).
* Упаковка кода ML в повторно используемую, воспроизводимую форму для передачи другим специалистам по данным или передачи в продакшн (MLflow Projects).
* Управление и развёртывание моделей из множества библиотек машинного обучения на различных платформах обслуживания и вывода моделей (MLflow Models).
* Предоставление центрального хранилища моделей для совместного управления полным жизненным циклом модели MLflow, включая управление версиями модели, переходы между этапами и аннотации (MLflow Model Registry).
MLflow не зависит от библиотек. Вы можете использовать его с любой библиотекой машинного обучения и на любом языке программирования, поскольку все функции доступны через REST API и CLI. Для удобства в проект также включены Python API, R API и Java API.
🌐Документация по фреймворку: https://www.mlflow.org/docs/latest/quickstart.html
#machinelearning #ai #машинноеобучение #neuralnetworks #нейронныесети #python#буднипрограммиста #programming #MLflow
🔗 Quickstart — MLflow 1.18.0 documentation
➰ Источник ВК
Инструментарий Data Scientist'а: Airflow
Airflow - это платформа для программного создания, планирования и мониторинга рабочих процессов.
Используйте Airflow для создания рабочих процессов как направленных ациклических графов (DAG задач). Планировщик Airflow выполняет ваши задачи, следуя указанным зависимостям. Командная строка упрощает выполнение сложных операций на DAG. Богатый пользовательский интерфейс позволяет легко визуализировать конвейеры, работающие в производственной среде, отслеживать прогресс и при необходимости устранять неполадки.
Когда рабочие процессы определены как код, они становятся более удобными для сопровождения, версионирования, тестирования и совместной работы.
🌐 Статья » https://habr.com/ru/company/mailru/blog/339392/
🌐 Документация » https://airflow.apache.org/docs/apache-airflow/stable/index.html
🌐 Wiki » https://ru.bmstu.wiki/Apache_Airflow
#machinelearning #ai #машинноеобучение #neuralnetworks #нейронныесети #python#буднипрограммиста #programming #Airflow
🔗 Airflow — инструмент, чтобы удобно и быстро разрабатывать и поддерживать batch-процессы обработки да
Привет, Хабр! В этой статье я хочу рассказать об одном замечательном инструменте для разработки batch-процессов обработки данных, например, в инфраструктуре корпоративного DWH или вашего...
➰ Источник ВК
Airflow - это платформа для программного создания, планирования и мониторинга рабочих процессов.
Используйте Airflow для создания рабочих процессов как направленных ациклических графов (DAG задач). Планировщик Airflow выполняет ваши задачи, следуя указанным зависимостям. Командная строка упрощает выполнение сложных операций на DAG. Богатый пользовательский интерфейс позволяет легко визуализировать конвейеры, работающие в производственной среде, отслеживать прогресс и при необходимости устранять неполадки.
Когда рабочие процессы определены как код, они становятся более удобными для сопровождения, версионирования, тестирования и совместной работы.
🌐 Статья » https://habr.com/ru/company/mailru/blog/339392/
🌐 Документация » https://airflow.apache.org/docs/apache-airflow/stable/index.html
🌐 Wiki » https://ru.bmstu.wiki/Apache_Airflow
#machinelearning #ai #машинноеобучение #neuralnetworks #нейронныесети #python#буднипрограммиста #programming #Airflow
🔗 Airflow — инструмент, чтобы удобно и быстро разрабатывать и поддерживать batch-процессы обработки да
Привет, Хабр! В этой статье я хочу рассказать об одном замечательном инструменте для разработки batch-процессов обработки данных, например, в инфраструктуре корпоративного DWH или вашего...
➰ Источник ВК
Хабр
Airflow — инструмент, чтобы удобно и быстро разрабатывать и поддерживать batch-процессы обработки данных
Привет, Хабр! В этой статье я хочу рассказать об одном замечательном инструменте для разработки batch-процессов обработки данных, например, в инфраструктуре кор...