Mail․ru Cloud Solutions и Git in Sky и помогут GeekBrains подготовить DevOps-инженеров
🖥 На образовательной платформе GeekBrains есть факультет по подготовке DevOps-специалистов. Программа длится 1,5 года и позволяет освоить профессию с нуля. В этом году GeekBrains проведет уникальный экзамен для своих выпускников.
🧑🎓 Экзаменатором выступит компания Git in Sky. Во время экзамена будущие инженеры погрузятся в реальные процессы разработки, общения с заказчиком, создания современной инфраструктуры и пройдут все этапы сдачи работы заказчику.
☁️ Платформа Mail․ru Cloud Solutions выделит облачные ресурсы для работы над экзаменационными проектами. Это позволит максимально точно имитировать реальную работу DevOps-инженеров с клиентами.
https://cnews.ru/link/n530343
🖥 На образовательной платформе GeekBrains есть факультет по подготовке DevOps-специалистов. Программа длится 1,5 года и позволяет освоить профессию с нуля. В этом году GeekBrains проведет уникальный экзамен для своих выпускников.
🧑🎓 Экзаменатором выступит компания Git in Sky. Во время экзамена будущие инженеры погрузятся в реальные процессы разработки, общения с заказчиком, создания современной инфраструктуры и пройдут все этапы сдачи работы заказчику.
☁️ Платформа Mail․ru Cloud Solutions выделит облачные ресурсы для работы над экзаменационными проектами. Это позволит максимально точно имитировать реальную работу DevOps-инженеров с клиентами.
https://cnews.ru/link/n530343
Как расширить приложение в Kubernetes при помощи мультиконтейнерных подов
В Kubernetes довольно легко запустить обычные микросервисы. Но что делать с приложениями, которые не предназначены для работы в контейнерах?
Мы перевели статью об одном из самых мощных инструментов в Kubernetes — мультиконтейнерном поде. Он позволяет менять поведение приложения, не изменяя его кода. Эта функция удобна для приложений, которые изначально не предназначены для работы в контейнерах.
В Kubernetes довольно легко запустить обычные микросервисы. Но что делать с приложениями, которые не предназначены для работы в контейнерах?
Мы перевели статью об одном из самых мощных инструментов в Kubernetes — мультиконтейнерном поде. Он позволяет менять поведение приложения, не изменяя его кода. Эта функция удобна для приложений, которые изначально не предназначены для работы в контейнерах.
mcs.mail.ru
Мультиконтейнеры поды в Kubernetes: как с их помощью расширить приложение | Блог Mail.Ru Cloud Solutions
Рассказываем о мультиконтейнерных подах, эта технология позволяет менять поведение приложения, не изменяя его кода.
В частном облаке Mail․ru Cloud Solutions появилась защищенная СУБД Jatoba
Jatoba — защищенная российская СУБД, которую могут использовать компании с повышенными требованиями к IT-безопасности. Например, нефтегазовые и металлургические предприятия. Jatoba позволяет «из коробки» решать важные задачи по обеспечению безопасности данных, отказоустойчивости и производительности.
Mail․ru Private Cloud — платформа для построения частного облака. В Jatoba реализованы механизмы обработки данных в облаке, а также технологии для обеспечения отказоустойчивости с учетом специфики облачных хранилищ. Это позволяет пользователям приватного облака получить надежную российскую СУБД.
https://clck.ru/VhLmp
Jatoba — защищенная российская СУБД, которую могут использовать компании с повышенными требованиями к IT-безопасности. Например, нефтегазовые и металлургические предприятия. Jatoba позволяет «из коробки» решать важные задачи по обеспечению безопасности данных, отказоустойчивости и производительности.
Mail․ru Private Cloud — платформа для построения частного облака. В Jatoba реализованы механизмы обработки данных в облаке, а также технологии для обеспечения отказоустойчивости с учетом специфики облачных хранилищ. Это позволяет пользователям приватного облака получить надежную российскую СУБД.
https://clck.ru/VhLmp
VMware vs OpenStack: сравниваем две платформы для развертывания инфраструктуры
Когда планируют развертывать виртуальную инфраструктуру, обычно выбирают между двумя платформами: VMware и Openstack. В статье мы рассказываем, почему сравнивать их не совсем корректно и какое решение больше подойдет для инфраструктуры на своих серверах и в облаке.
Когда планируют развертывать виртуальную инфраструктуру, обычно выбирают между двумя платформами: VMware и Openstack. В статье мы рассказываем, почему сравнивать их не совсем корректно и какое решение больше подойдет для инфраструктуры на своих серверах и в облаке.
mcs.mail.ru
VMware vs OpenStack: сравнение двух платформ для развертывания инфраструктуры | Блог VK Cloud Solutions
Рассказываем, какое решение больше подойдет для инфраструктуры на своих серверах и в облаке.
Как KGK Global повысила стабильность сервисов в три раза
🏢 Компания KGK Global проектирует оборудование для транспортных компаний и разрабатывает онлайн-сервисы для спутникового мониторинга транспорта.
🤔 Проблема. В KGK Global использовали собственное оборудование, на котором работали все сервисы компании. Со временем архитектура перестала справляться с растущей нагрузкой, а инструменты разработки отвечать требованиям актуальных клиентских задач. Из-за этого у компании регулярно возникали проблемы с доступностью онлайн-сервисов.
👍 Решением стала миграция на облачную платформу Mail․ru Cloud Solution. Архитектура PaaS-сервисов, аттестация по 152-ФЗ, а также надежные и быстрые каналы связи полностью удовлетворяют требованиям компании KGK Global. Также было внедрено новое хранилище — аналитическая СУБД ClickHouse, которая позволяет работать с большими объемами данных в режиме реального времени. После миграции в облако надежность работы сервисов возросла в три раза при сохранении стоимости содержания ИТ-инфраструктуры.
https://clck.ru/VkpJW
🏢 Компания KGK Global проектирует оборудование для транспортных компаний и разрабатывает онлайн-сервисы для спутникового мониторинга транспорта.
🤔 Проблема. В KGK Global использовали собственное оборудование, на котором работали все сервисы компании. Со временем архитектура перестала справляться с растущей нагрузкой, а инструменты разработки отвечать требованиям актуальных клиентских задач. Из-за этого у компании регулярно возникали проблемы с доступностью онлайн-сервисов.
👍 Решением стала миграция на облачную платформу Mail․ru Cloud Solution. Архитектура PaaS-сервисов, аттестация по 152-ФЗ, а также надежные и быстрые каналы связи полностью удовлетворяют требованиям компании KGK Global. Также было внедрено новое хранилище — аналитическая СУБД ClickHouse, которая позволяет работать с большими объемами данных в режиме реального времени. После миграции в облако надежность работы сервисов возросла в три раза при сохранении стоимости содержания ИТ-инфраструктуры.
https://clck.ru/VkpJW
Как Kubernetes помогает работать с Big Data быстрее и эффективнее
В традиционной Hadoop-архитектуре есть несколько ограничений, вроде невозможности разделения Storage- и Compute-слоев, сложностей масштабирования и изоляции сред. Но есть и другой, Cloud-Native подход работы с большими данными. Он решает эти проблемы и задействует все преимущества облачных технологий.
В статье рассказываем, как в Data Science применяется Kubernetes и какие преимущества он может дать по сравнению с классическим развертыванием.
В традиционной Hadoop-архитектуре есть несколько ограничений, вроде невозможности разделения Storage- и Compute-слоев, сложностей масштабирования и изоляции сред. Но есть и другой, Cloud-Native подход работы с большими данными. Он решает эти проблемы и задействует все преимущества облачных технологий.
В статье рассказываем, как в Data Science применяется Kubernetes и какие преимущества он может дать по сравнению с классическим развертыванием.
Хабр
Как работать с Big Data быстрее и эффективнее: Kubernetes для Data Science
Big Data by Batjorge Традиционный подход к построению работы с большими данными — развернуть Hadoop-кластер, установить дополнительные инструменты и построить н...
MLflow в облаке: простой и быстрый способ вывести ML-модели в продакшен
Подход MLOps помогает стандартизировать процесс разработки ML-моделей и сокращает время их выкатки в продакшен. Для построения MLOps нужны специальные инструменты, например, MLflow. Это один из самых стабильных и легких инструментов, позволяющий управлять жизненным циклом ML-моделей. Но чтобы получить от него максимум пользы, важно развернуть его в продуктивном отказоустойчивом варианте.
В статье рассказываем, как развернуть MLflow в облаке, настроить все необходимые сервисы, опубликовать и протестировать модель.
Подход MLOps помогает стандартизировать процесс разработки ML-моделей и сокращает время их выкатки в продакшен. Для построения MLOps нужны специальные инструменты, например, MLflow. Это один из самых стабильных и легких инструментов, позволяющий управлять жизненным циклом ML-моделей. Но чтобы получить от него максимум пользы, важно развернуть его в продуктивном отказоустойчивом варианте.
В статье рассказываем, как развернуть MLflow в облаке, настроить все необходимые сервисы, опубликовать и протестировать модель.
Хабр
MLflow в облаке. Простой и быстрый способ вывести ML-модели в продакшен
Robot factory by lucart MLflow — один из самых стабильных и легких инструментов, позволяющий специалистам по Data Science управлять жизненным циклом моделей ма...
Три основных отличия базы данных от озера данных
В работе с базами и озерами данных есть принципиальные различия. Мы перевели короткую статью об устройстве Data Lake. Она пригодится тем, у кого нет большого опыта работы с реляционными базами данных.
В работе с базами и озерами данных есть принципиальные различия. Мы перевели короткую статью об устройстве Data Lake. Она пригодится тем, у кого нет большого опыта работы с реляционными базами данных.
mcs.mail.ru
Различия между озером данных и базой данных | Блог VK Cloud Solutions
Рассказываем, что такое озеро данных, и чем оно отличается от традиционной базы данных.
Airflow — платформа для разработки, планирования и мониторинга сложных ETL-процессов, которая стала стандартом де-факто в своей области. В карточках — основные преимущества Airflow, а полное описание инструмента — в статье.
Аналитические сервисы Seeq в России будут предоставляться Mail․ru Cloud Solutions
Seeq — система для глубокой аналитики данных производственных процессов: анализ Big Data, смешение и интеграция данных, машинное обучение, предиктивная аналитика и многое другое. Система помогает повысить эффективность бизнеса за счет анализа производственных данных для решения прикладных задач.
Система Seeq расширяет экосистему отраслевых решений платформы Mail․ru Cloud Solutions. Теперь российский бизнес может получить доступ к аналитической системе, которая используется мировыми гигантами промышленности, прямо из отечественной облачной инфраструктуры.
Поддержку пользователей на этапе внедрения Seeq будет выполнять компания «ИндаСофт», которая выступает эксклюзивным партнером вендора на территории России.
https://clck.ru/Vn8qR
Seeq — система для глубокой аналитики данных производственных процессов: анализ Big Data, смешение и интеграция данных, машинное обучение, предиктивная аналитика и многое другое. Система помогает повысить эффективность бизнеса за счет анализа производственных данных для решения прикладных задач.
Система Seeq расширяет экосистему отраслевых решений платформы Mail․ru Cloud Solutions. Теперь российский бизнес может получить доступ к аналитической системе, которая используется мировыми гигантами промышленности, прямо из отечественной облачной инфраструктуры.
Поддержку пользователей на этапе внедрения Seeq будет выполнять компания «ИндаСофт», которая выступает эксклюзивным партнером вендора на территории России.
https://clck.ru/Vn8qR
Подход Multicloud Native Service: как сделать систему максимально отказоустойчивой
Подход Multicloud Native Service сочетает в себе лучшее из подходов Multicloud и Cloud Native. Он позволяет построить 100% отказоустойчивую и высокодоступную систему. В статье подробно рассказываем о преимуществах и способах реализации подхода, а также о сложностях и методах их обхода.
Подход Multicloud Native Service сочетает в себе лучшее из подходов Multicloud и Cloud Native. Он позволяет построить 100% отказоустойчивую и высокодоступную систему. В статье подробно рассказываем о преимуществах и способах реализации подхода, а также о сложностях и методах их обхода.
Преимущества запуска Spark в Kubernetes
Для частого запуска Spark-приложений необходимо максимально упростить процесс запуска задач, а также уметь гибко настраивать их конфигурации. Для этого можно запускать Spark внутри Kubernetes. Вот основные преимущества такого подхода:
✅ Изоляция сред. При переходе на новую версию Spark в традиционном Hadoop-кластере нужно организовать бесшовный апгрейд, проверить все приложения и пайплайны. Запуск Spark в Kubernetes решает эту проблему: каждый член команды может создать независимое окружение и использовать любую версию Spark.
✅ Управление ресурсами. Kubernetes позволяет накладывать ограничения ресурсов на разные приложения и разные типы пайплайнов, например, используя Namespace.
✅ Гибкое масштабирование. Kubernetes в облаке умеет задействовать огромное количество ресурсов при необходимости. Например, ваше приложение обычно использует 10 ядер процессора, но иногда ему нужно 500. Автомасштабирование кластера Kubernetes позволит получить дополнительные ресурсы лишь на то время, когда они реально нужны приложению.
✅ Разделение Storage и Compute-слоев. В Hadoop-кластере каждая нода является и Storage, и Compute. Если приложению нужно добавить больше ядер, то добавляется новую ноду, которая также добавляет и диски, за которые надо платить. Аналогично и обратное. Облако же позволяет разделить Storage и Compute-слои: Kubernetes выступает в роли Compute, а S3-хранилище в роли Storage.
В статье мы подробнее рассказываем о запуске Spark внутри Kubernetes, а также на реальном примере показываем как это сделать.
Для частого запуска Spark-приложений необходимо максимально упростить процесс запуска задач, а также уметь гибко настраивать их конфигурации. Для этого можно запускать Spark внутри Kubernetes. Вот основные преимущества такого подхода:
✅ Изоляция сред. При переходе на новую версию Spark в традиционном Hadoop-кластере нужно организовать бесшовный апгрейд, проверить все приложения и пайплайны. Запуск Spark в Kubernetes решает эту проблему: каждый член команды может создать независимое окружение и использовать любую версию Spark.
✅ Управление ресурсами. Kubernetes позволяет накладывать ограничения ресурсов на разные приложения и разные типы пайплайнов, например, используя Namespace.
✅ Гибкое масштабирование. Kubernetes в облаке умеет задействовать огромное количество ресурсов при необходимости. Например, ваше приложение обычно использует 10 ядер процессора, но иногда ему нужно 500. Автомасштабирование кластера Kubernetes позволит получить дополнительные ресурсы лишь на то время, когда они реально нужны приложению.
✅ Разделение Storage и Compute-слоев. В Hadoop-кластере каждая нода является и Storage, и Compute. Если приложению нужно добавить больше ядер, то добавляется новую ноду, которая также добавляет и диски, за которые надо платить. Аналогично и обратное. Облако же позволяет разделить Storage и Compute-слои: Kubernetes выступает в роли Compute, а S3-хранилище в роли Storage.
В статье мы подробнее рассказываем о запуске Spark внутри Kubernetes, а также на реальном примере показываем как это сделать.
В NERSC включили самый быстрый в мире суперкомпьютер с искусственным интеллектом
👉 Суперкомпьютер Perlmutter будет помогать в различных исследованиях, в том числе собирать воедино самую большую трехмерную карту видимой Вселенной и исследовать субатомные взаимодействия для создания более совершенных батарей и биотоплива.
👉 Но его главной задачей будет помощь в изучении темной энергии, которую открыл нобелевский лауреат Сол Перлмуттер, в честь которого и назван компьютер. Он будет обрабатывать данные от камеры для спектроскопии темной энергии (DESI), которая может захватывать до 5000 галактик за одну экспозицию.
👉 Perlmutter состоит из 6159 графических процессоров NVIDIA A100 с тензорными ядрами и 20-кратным ускорением, что делает его крупнейшей системой на базе A100 в мире. Он обеспечивает производительность ИИ почти в четыре экзафлопса.
👉 Раньше было невозможно провести полностью атомистическое моделирование больших систем из-за низкой скорости вычислений. Считается, что способность Perlmutter объединить ИИ и высокопроизводительные вычисления приведет к прорывам во многих областях науки: от материаловедения и квантовой физики до климатических прогнозов и биологических исследований.
Источник на английском
👉 Суперкомпьютер Perlmutter будет помогать в различных исследованиях, в том числе собирать воедино самую большую трехмерную карту видимой Вселенной и исследовать субатомные взаимодействия для создания более совершенных батарей и биотоплива.
👉 Но его главной задачей будет помощь в изучении темной энергии, которую открыл нобелевский лауреат Сол Перлмуттер, в честь которого и назван компьютер. Он будет обрабатывать данные от камеры для спектроскопии темной энергии (DESI), которая может захватывать до 5000 галактик за одну экспозицию.
👉 Perlmutter состоит из 6159 графических процессоров NVIDIA A100 с тензорными ядрами и 20-кратным ускорением, что делает его крупнейшей системой на базе A100 в мире. Он обеспечивает производительность ИИ почти в четыре экзафлопса.
👉 Раньше было невозможно провести полностью атомистическое моделирование больших систем из-за низкой скорости вычислений. Считается, что способность Perlmutter объединить ИИ и высокопроизводительные вычисления приведет к прорывам во многих областях науки: от материаловедения и квантовой физики до климатических прогнозов и биологических исследований.
Источник на английском
Как бизнесу использовать всю мощь GPU
Изначально графические процессоры использовались только для отрисовки графики. Но со временем они научились быстро обрабатывать большие объемы данных, и теперь используются в машинном обучении, промышленном интернете вещей и сейсморазведке.
В статье рассказываем, как и в каких сферах GPU помогает бизнесу сегодня.
Изначально графические процессоры использовались только для отрисовки графики. Но со временем они научились быстро обрабатывать большие объемы данных, и теперь используются в машинном обучении, промышленном интернете вещей и сейсморазведке.
В статье рассказываем, как и в каких сферах GPU помогает бизнесу сегодня.
vc.ru
Ускорение вычислений и экономия на ресурсах: когда нужны графические процессоры
Когда графические процессоры (GPU) только появились, никто и не думал, что со временем их станут так широко применять. Сегодня их применяют при исследовании КТ-снимков, производстве мультфильмов и поиске новых лекарств.
Как «Ашан» построил платформу для работы с Big Data в публичном облаке
Современный ритейл уже не может обходиться без построения прогнозных и рекомендательных систем на основе Big Data. Но при больших объемах данных работать на локальных мощностях неэффективно. Поэтому некоторые компании приходят к облачной Big Data-платформе как к инструменту, который дает простую масштабируемость и управляемость.
Александр Дорофеев, ex Head of Big Data в компании «Ашан Ритейл Россия» рассказывает, зачем компании потребовалась специализированная Big Data-платформа, почему выбрали именно публичное облако и каких результатов удалось добиться после миграции.
Современный ритейл уже не может обходиться без построения прогнозных и рекомендательных систем на основе Big Data. Но при больших объемах данных работать на локальных мощностях неэффективно. Поэтому некоторые компании приходят к облачной Big Data-платформе как к инструменту, который дает простую масштабируемость и управляемость.
Александр Дорофеев, ex Head of Big Data в компании «Ашан Ритейл Россия» рассказывает, зачем компании потребовалась специализированная Big Data-платформа, почему выбрали именно публичное облако и каких результатов удалось добиться после миграции.
Хабр
Как и зачем «Ашан» построил платформу для работы с Big Data в публичном облаке
Space Station by Kaioshen Современный ритейл уже не может обходиться без построения прогнозных и рекомендательных систем на основе Big Data. Но при больших объе...