⚡️Arenadata представила новую версию ADH 4.0.0, в которой устранены межсервисные зависимости, — теперь заказчики могут устанавливать кластеры с любым набором компонентов без обязательных hadoop-сервисов. В связи с этим мы отказались от прежнего наименования продукта (Arenadata Hadoop) и перезапустили ADH под новым названием — Arenadata Hyperwave.

ℹ️ Arenadata Hyperwave — универсальная гибридная платформа на основе open source компонентов и проприетарных разработок, предназначенная для хранения, обработки и анализа данных любой структуры и объёма.

⚙ Она предоставляет набор инструментов и сервисов для реализации современных архитектурных шаблонов — от Data Lake до Lakehouse и Data Mesh.

Функциональные обновления:

✔️Реализована возможность выполнять rolling restart для HDFS, ZooKeeper, YARN и HBase.
✔️Добавлен компонент Flink History Server.
✔️Внедрён новый сервис Monitoring.
✔️Появилась возможность автоматической установки Java из репозиториев Arenadata.

Ключевые обновления сервисов:

✔️В Trino добавлена поддержка объектного хранилища Ozone и специализированный Trino ADB Connector с поддержкой параллельных операций чтения/записи в кластере Arenadata DB.
✔️В Ozone реализована возможность настройки Ozone Topology Awareness.
✔️Добавлена поддержка имперсонации для выполнения действий в Smart Storage Manager.
✔️В HUE теперь доступен преднастроенный интерпретатор Trino с расширенной функциональностью.
✔️Для Kyuubi разработан Open Metadata Lineage Dispatcher.
✔️Оптимизирован ADB Spark Connector.
✔️Реализована поддержка высокой доступности (HA) для сервисов Impala StateStore и Impala Catalog.

📞Александр Анисимов, технический руководитель продукта Arenadata Hyperwave:

На момент запуска ADH базировался на жёстко связанных инструментах и компонентах экосистемы Hadoop, таких как HDFS, MapReduce, YARN, однако со временем эволюционировал в полноценную платформу данных для гибридных нагрузок. Базовую функциональность расширили новые возможности: федеративные запросы, ACID-транзакции, автоматизированное управление хранением, безопасность корпоративного уровня и др. С децентрализацией компонентов (устранением привязки к hadoop-сервисам) в версии 4.0.0 мы меняем название, чтобы отразить новые возможности платформы и современный технологический стек.

⛓ Хотите узнать о новых возможностях продукта? Оставьте заявку — проконсультируем по всем вопросам >>

💘 Полный список изменений версии Arenadata Hyperwave 4.0.0

#ArenadataHyperwave

Центр обучения Arenadata запускает новый двухдневный практический курс «Основы Trino», предназначенный для аналитиков и инженеров данных, работающих с распределёнными источниками и системами хранения.

🎓 Курс посвящён установке, настройке и эксплуатации Trino в составе продукта Arenadata Hyperwave (ADH).

📝 Участников ждут лекции, практические задания на виртуальных машинах, разбор лабораторных работ и сессии вопросов-ответов с преподавателями Arenadata. По итогам обучения слушатели, успешно прошедшие тестирование, получат именной вендорский сертификат специалиста.

👤 Директор по обучению Arenadata Федор Кирдяшов:

«Trino сегодня стал хорошим решением для запросов к разнородным источникам данных. Мы создали курс, который помогает быстро освоить архитектуру и принципы работы Trino в корпоративной среде и получить практические навыки, необходимые для интеграции этой технологии в существующую инфраструктуру».

🗓 Даты ближайших групп: 5–6 августа.

⛓ Записаться и узнать подробности »

#ArenadataКурсы #ArenadataHyperwave

Arenadata представила новую версию Arenadata Hyperwave (ADH) — гибридной платформы для хранения, обработки и анализа данных любой структуры и объёма.

⚙️ В новой версии реализована защита доступа к конфиденциальным данным и новые сценарии выполнения аналитических запросов.

Что нового в ADH 4.1.0:

🔹Обновлены версии сервисов, включая S3-хранилище Ozone; добавлен консольный инструмент Ozone Client.
🔹В Trino реализован балансировщик нагрузки HAproxy, добавлены Trino Client и OpenAPI-коннектор для запросов к REST API.
🔹Flink 2 и Spark 4 дополнили предыдущие поколения сервисов, входящих в состав дистрибутива.
🔹Добавлена поддержка ОС «Альт СП» (релиз 10) и Astra Linux 1.7 «Воронеж».

Также выпущено масштабное обновление подсистемы безопасности Arenadata Platform Security (ADPS).

➡️Полный список изменений версии Arenadata Hyperwave 4.1.0.

➡️Полный список изменений версии Arenadata Platform Security 2.0.0.

#ArenadataHyperwave