Forwarded from SmartData — конференция по инженерии данных
#видеозаписи
Открываем новую видеозапись выступления:
Александр Токарев — Пишем свой cluster manager для Apache Spark
YouTube | VK Видео
Скачать презентацию с сайта SmartData
Открываем новую видеозапись выступления:
Александр Токарев — Пишем свой cluster manager для Apache Spark
YouTube | VK Видео
Скачать презентацию с сайта SmartData
YouTube
Александр Токарев — Пишем свой cluster manager для Apache Spark
Подробнее о конференции SmartData: https://jrg.su/aTWU2K
— —
Скачать презентацию с сайта SmartData — https://jrg.su/Vsou2A
Apache Spark — это развитый фреймворк для обработки больших объемов неструктурированных данных. Одно из его достоинств — способность…
— —
Скачать презентацию с сайта SmartData — https://jrg.su/Vsou2A
Apache Spark — это развитый фреймворк для обработки больших объемов неструктурированных данных. Одно из его достоинств — способность…
👍3 2❤1
Они пишут свой S3 backend, оптимизированный под HDD, и позиционируются как «простой и предсказуемый» сервис без лишних фич.
📦 Используется модель fair use — выкачка данных не должна превышать объём хранимых. Главное — не использовать как CDN.
Please open Telegram to view this post
VIEW IN TELEGRAM
Storadera
Storadera | Fast & Secure Cloud Storage
Storadera is a fast and secure S3 compatible cloud storage at an affordable price. Always instantly available.
8❤2👍2🦄2 1
Forwarded from Pavel Klyuev
YouTube
Interview with Cloud Architect in 2025
Cloud Architects
https://linkgraph.net
All lines soon printed on merch... https://posix.store/
https://www.patreon.com/ProgrammersAreAlsoHuman
Interview with a Cloud Architects in 2025 with Azuros Cloudapi - aired on © The CTO.
Scripts inspired by X account…
https://linkgraph.net
All lines soon printed on merch... https://posix.store/
https://www.patreon.com/ProgrammersAreAlsoHuman
Interview with a Cloud Architects in 2025 with Azuros Cloudapi - aired on © The CTO.
Scripts inspired by X account…
6❤2👍1
Forwarded from Кубернетичек
https://kubernetes.io/blog/2025/09/04/kubernetes-v1-34-introducing-psi-metrics-beta/
Я хотел написать про psi, но погуглил, кажется вот в этих постах написали более интересно, чем сделал бы я.
https://xn--r1a.website/azalio_tech/5
https://xn--r1a.website/troubleperf/73
То есть теперь нативно можно получать более подробную информацию о том, как вашиподы контейнеры процессы контролируемые кубом "страдают" от нехватки ресурсов, и страдают ли.
Я хотел написать про psi, но погуглил, кажется вот в этих постах написали более интересно, чем сделал бы я.
https://xn--r1a.website/azalio_tech/5
https://xn--r1a.website/troubleperf/73
То есть теперь нативно можно получать более подробную информацию о том, как ваши
Kubernetes
Kubernetes v1.34: PSI Metrics for Kubernetes Graduates to Beta
As Kubernetes clusters grow in size and complexity, understanding the health and performance of individual nodes becomes increasingly critical. We are excited to announce that as of Kubernetes v1.34, Pressure Stall Information (PSI) Metrics has graduated…
1❤2👍2🦄1
🐬 MySQL/Percona 5.7: подводные камни при очистке и восстановлении
Когда база на диске разрастается сильнее, чем сами таблицы, в глаза бросается огромный ibdata1.
Кажется логичным удалить файл и перезапустить сервер, но это гарантированно ломает системные таблицы и кладёт MySQL.
✅ Че делать-то?
📦 Бэкап
— Дампим только прикладные БД (без mysql, sys, performance_schema, information_schema).
— Пользователей сохраняем отдельно: pt-show-grants или mysqlpump --users.
🔄 Инициализация
— Чистый datadir →
🌍 Часовой пояс
— Всегда UTC (`TZ=UTC`, `/etc/localtime → UTC`).
Все упражнения выполнялись не на продовой базе. Подскажите, как вы решаете проблему роста данных под мускулем? или это проблема старых версий?
Когда база на диске разрастается сильнее, чем сами таблицы, в глаза бросается огромный ibdata1.
Кажется логичным удалить файл и перезапустить сервер, но это гарантированно ломает системные таблицы и кладёт MySQL.
✅ Че делать-то?
📦 Бэкап
— Дампим только прикладные БД (без mysql, sys, performance_schema, information_schema).
— Пользователей сохраняем отдельно: pt-show-grants или mysqlpump --users.
🔄 Инициализация
— Чистый datadir →
mysqld --initialize-insecure → root без пароля. 🌍 Часовой пояс
— Всегда UTC (`TZ=UTC`, `/etc/localtime → UTC`).
Все упражнения выполнялись не на продовой базе. Подскажите, как вы решаете проблему роста данных под мускулем? или это проблема старых версий?
4❤1👍1🦄1 1
Please open Telegram to view this post
VIEW IN TELEGRAM
Говорят, что комменты нельзя оставить под постами. Давайте протестируем и поможем системному администратору настроить телеграмм канал правильно ?
8
Forwarded from Sergey Pechenkó
Пример правил:
* всякая роль отвечает за единственный компонент (пример - роль редиса, она настраивает редис полностью, как кластер вместе с сентинелом либо как единичный сервис);
* ни одна роль не может использовать никакую внешнюю переменную "внезапно" - только через role_params;
* ни одна роль не может настраивать компонент, за который отвечает другая роль;
* ни одна роль не может выполнять рестарт/релоад компонента, за который отвечает другая роль;
* ни одна роль не может использовать условия (when) - необходимо использовать группы узлов;
* всякая роль обязана "прослушать" (listen) для своего компонента сигналы типа restart, reload;
* любая дичь на баше должна быть выброшена и переписана в питонячий модуль Ansible;
* любая роль должна поддерживать теги;
* любое использование модуля shell должно вызывать подозрительные красные пятна на коже у всей команды, и шквал вопросов в МР типа "почему без этого нельзя обойтись?";
* к использованию модуля shell должно быть отношение типа "гоните его, насмехайтесь над ним";
* зависимости типа драйвера Postgres или других кастомных модулей должны жить в проекте.
Если по какой-то причине какое-то из этих правил (особенно про shell) не соблюдается - заводится задача с чёткими сроками переписывания на Python в виде модуля Ansible.
* всякая роль отвечает за единственный компонент (пример - роль редиса, она настраивает редис полностью, как кластер вместе с сентинелом либо как единичный сервис);
* ни одна роль не может использовать никакую внешнюю переменную "внезапно" - только через role_params;
* ни одна роль не может настраивать компонент, за который отвечает другая роль;
* ни одна роль не может выполнять рестарт/релоад компонента, за который отвечает другая роль;
* ни одна роль не может использовать условия (when) - необходимо использовать группы узлов;
* всякая роль обязана "прослушать" (listen) для своего компонента сигналы типа restart, reload;
* любая дичь на баше должна быть выброшена и переписана в питонячий модуль Ansible;
* любая роль должна поддерживать теги;
* любое использование модуля shell должно вызывать подозрительные красные пятна на коже у всей команды, и шквал вопросов в МР типа "почему без этого нельзя обойтись?";
* к использованию модуля shell должно быть отношение типа "гоните его, насмехайтесь над ним";
* зависимости типа драйвера Postgres или других кастомных модулей должны жить в проекте.
Если по какой-то причине какое-то из этих правил (особенно про shell) не соблюдается - заводится задача с чёткими сроками переписывания на Python в виде модуля Ansible.
2👍3 2🦄1 1
Она отлично рисует графики, даёт ад-hoc анализ, аннотации, переменные, сравнения и т. п. Это про наблюдение.
Его делают движки правил (Prometheus rules / vmalert) + маршрутизатор уведомлений (Alertmanager) + «пейджер» с гарантиями доставки (Opsgenie/PagerDuty и т. п.). Это про управление инцидентами.
• Надёжность: движки правил и Alertmanager спроектированы под HA, ретраи, дедупликацию, ингибишн, тайминги, “maintenance windows”. Grafana — не про гарантии доставки.
• Чёткие зоны ответственности: дашборды ≠ жизненный цикл алертов (эскалации, расписания, SLO/SLA).
• Управление: сотни/тысячи правил удобнее хранить/версионировать как код (rules/CRD), а не в UI дашборда.
• Роутинг и подавление шума: Alertmanager умеет группировать, подавлять каскадные алерты, ставить “silences” — этого часто не хватает в “встроенном” алертинге.
• Grafana = визуализация и обзор.
• Prometheus/vmalert = тул, который решает «когда зажигать алерт».
• Alertmanager = диспетчер, который решает «кому и как посылать алерт».
• Opsgenie/PagerDuty/OnCall = гарантия доставки, расписания и эскалации.
Please open Telegram to view this post
VIEW IN TELEGRAM
❤6👍5🦄1
Forwarded from Azalio_tech (Mikhail [azalio] Petrov)
This media is not supported in your browser
VIEW IN TELEGRAM
1 4🦄3 2
Я старательно пытался избегать использовать что образа от bitnami, что в нынешнее время чарты. Но исключением был redis, а теперь valkey.
Но в полку
Все образа перенесли в bitnamilegacy, а в bitnamisecure теперь только latest таги.
Надеюсь поскорее все перепишут, а я готов даже поконтрибутить в valkey chart
Please open Telegram to view this post
VIEW IN TELEGRAM
1👍7🦄4❤2
Кубертатный период
Telegram
Пятничный деплой
🚀 Современный балансировщик нагрузки и API Gateway
Pingoo — это быстрый и безопасный балансировщик нагрузки, API Gateway и обратный прокси с встроенной службой обнаружения, защитой от ботов и WAF. Он обеспечивает высокую производительность и безопасность…
Pingoo — это быстрый и безопасный балансировщик нагрузки, API Gateway и обратный прокси с встроенной службой обнаружения, защитой от ботов и WAF. Он обеспечивает высокую производительность и безопасность…
❤1👍1 1 1