Forwarded from Pasha Finkelshteyn
https://xn--r1a.website/bigdatatools
Мы тут канал с новостями околобигдаты забацали
Мы тут канал с новостями околобигдаты забацали
TopTuK/docker-mailserver: Docker Mailserver based on the famous ISPMail guide.
https://github.com/TopTuK/docker-mailserver
https://github.com/TopTuK/docker-mailserver
GitHub
GitHub - TopTuK/docker-mailserver: Docker Mailserver based on the famous ISPMail guide.
Docker Mailserver based on the famous ISPMail guide. - TopTuK/docker-mailserver
Forwarded from Записки админа
⚒ ugit - утилита для отмены выполненных git команд.
Github: https://github.com/Bhupesh-V/ugit
Обзор: https://bhupesh.me/undo-your-last-git-mistake-with-ugit/
#git #tui #будничное
Github: https://github.com/Bhupesh-V/ugit
Обзор: https://bhupesh.me/undo-your-last-git-mistake-with-ugit/
#git #tui #будничное
Nyr/openvpn-install: OpenVPN road warrior installer for Ubuntu, Debian, AlmaLinux, Rocky Linux, CentOS and Fedora
https://github.com/Nyr/openvpn-install
https://github.com/Nyr/openvpn-install
GitHub
GitHub - Nyr/openvpn-install: OpenVPN road warrior installer for Ubuntu, Debian, AlmaLinux, Rocky Linux, CentOS and Fedora
OpenVPN road warrior installer for Ubuntu, Debian, AlmaLinux, Rocky Linux, CentOS and Fedora - Nyr/openvpn-install
Forwarded from Типа про IT
📦 Apache Parquet — это высокоэффективный бинарный column-oriented формат, который помимо самих данных содержит заодно и метаданные к ним, c типами и структурой. Считайте, что это как CSV, только сильно быстрее, занимает сильно меньше места у вас в облаке и, следовательно, дешевле в эксплуатации (иногда на порядки).
Про “паркет” хорошо знают все, кто работает с big data или ML, потому что там, на дне data-озёр, жирным слоем накапливаются мегатонны parquet-файлов, в которых большие компании хранят большие массивы данных.
Но мне кажется, что Parquet может быть полезен и в проектах поменьше, без сотен терабайт данных в S3. Где-то можно сэкономить на табличном процессинге используя Pandas (у которого, к слову, первоклассная поддержка формата), где-то можно разгрузить основную базу, ну или просто поближе познакомиться с технологией, которая лежит в основе всей современной data-движухи.
Если очень интересно и есть лишние 40 минут, посмотрите клёвый доклад от WeWork по теме.
Про “паркет” хорошо знают все, кто работает с big data или ML, потому что там, на дне data-озёр, жирным слоем накапливаются мегатонны parquet-файлов, в которых большие компании хранят большие массивы данных.
Но мне кажется, что Parquet может быть полезен и в проектах поменьше, без сотен терабайт данных в S3. Где-то можно сэкономить на табличном процессинге используя Pandas (у которого, к слову, первоклассная поддержка формата), где-то можно разгрузить основную базу, ну или просто поближе познакомиться с технологией, которая лежит в основе всей современной data-движухи.
Если очень интересно и есть лишние 40 минут, посмотрите клёвый доклад от WeWork по теме.
Parquet
Apache Parquet Documentation Releases Apache Parquet is an open source, column-oriented data file format designed for efficient data storage and retrieval. It provides high performance compression and encoding schemes to handle complex data in bulk and is…
Forwarded from DevOps&SRE Library
Observability at scale: How we built a cutting-edge Dream11 monitoring ecosystem?
https://d11engg.medium.com/observability-at-scale-how-we-built-a-cutting-edge-dream11-monitoring-ecosystem-c3ac8cfeca1
https://d11engg.medium.com/observability-at-scale-how-we-built-a-cutting-edge-dream11-monitoring-ecosystem-c3ac8cfeca1
Forwarded from Womchik
у меня вот есть интересная особенность
убунту 20. если апнуть ядро до 5.15 и загнать в кластер, то хост начинает ребутится каждые 5 минут.
если загнать, а потом апнуть, то всё ок
bare, hoster contabo.
убунту 20. если апнуть ядро до 5.15 и загнать в кластер, то хост начинает ребутится каждые 5 минут.
если загнать, а потом апнуть, то всё ок
bare, hoster contabo.
nodeType: Static
operatingSystem:
manageKernel: false
Forwarded from Мониторим ИТ
How to optimize PromQL and MetricsQL queries
PromQL и MetricsQL — мощные языки запросов. Они позволяют писать простые запросы для построения красивых графиков по данным временных рядов. Также они позволяют писать сложные запросы для расчетов SLI/SLO и алертов. В этой статье про выявление медленных запросов PromQL, определение стоимость запросов и их оптимизации, чтобы они выполнялись быстрее и потребляли меньше ресурсов CPU и RAM. Читать дальше.
PromQL и MetricsQL — мощные языки запросов. Они позволяют писать простые запросы для построения красивых графиков по данным временных рядов. Также они позволяют писать сложные запросы для расчетов SLI/SLO и алертов. В этой статье про выявление медленных запросов PromQL, определение стоимость запросов и их оптимизации, чтобы они выполнялись быстрее и потребляли меньше ресурсов CPU и RAM. Читать дальше.
Medium
How to optimize PromQL and MetricsQL queries
The article explains how to detect and optimize slow PromQL queries in production
Forwarded from /usr/bin
Серия статей по траблшутингу производительности Linux. Если не знаете куда копать, то они должны помочь.
Linux troubleshooting: CPU analysis
Linux troubleshooting: Memory analysis
Linux troubleshooting: Disk analysis
Linux Memory: Buffer vs Cache
Linux — Disk I/O Deep Dive
Linux — How to Measure Network Performance
Linux — How To Troubleshoot DNS Issues
Linux troubleshooting: CPU analysis
Linux troubleshooting: Memory analysis
Linux troubleshooting: Disk analysis
Linux Memory: Buffer vs Cache
Linux — Disk I/O Deep Dive
Linux — How to Measure Network Performance
Linux — How To Troubleshoot DNS Issues
Forwarded from Мониторим ИТ
Что нового в Grafana 9 по части алертинга?
В июне Grafana Labs объявили о выходе новой 9 версии своего решения-хедлайнера — инструмента для визуализации Grafana. Как и полагается мажорной версии, появилось увесистое количество обновлений. И одно из ключевых обновлений — новые возможности алертинга. Ниже некоторые подробности этих обновлений.
⚡️ Инстансные оповещения
До Grafana 9 оповещения нужно было привязывать к панели или дашборду. Теперь алертами можно управлять как будто это регулярное выражение. Правила алертинга могут создавать несколько отдельных экземпляров алертов внутри каждого правила. Правило определяет, когда отправлять оповещения, но оповещать можно сразу по нескольким элементам. Пример из реальной жизни: представьте, что у вас есть умный дом и вы хотите знать, когда открыты окна. У вас может быть одно оповещение «Сообщите мне, открыты ли окна», и для каждого окна вы получите «Окно x открыто!» Не нужно создавать более одного правила.
⚡️ Группировка и маршрутизация оповещений
Когда возникает событийный шторм, сотни оповещений могут прийти одновременно. Политики алертинга решают такую проблему. Это набор правил, определяющих, в какой канал как направляются оповещения. Объединение политик алертинга с функцией группировки позволяет все оповещения, относящиеся к одному компоненту системы, объединить вместе, чтобы Grafana будет отправляла только одно уведомление, содержащее список затронутых сред для этого правила. Политики оповещений имеют древовидную структуру, в которой каждая политика может иметь одну или несколько дочерних политик. Каждая политика, кроме корневой политики, может соответствовать определенным меткам алертов. Каждый алерт оценивается корневой политикой, а затем каждой дочерней политикой, чтобы можно было алертить в определенные каналы. В результате один алерт улетит сразу в несколько каналов на основе определенных критериев метки.
⚡️ Молчание - золото
Бесшумный режим позволяет останавливать уведомления от одного или нескольких правил. С помощью этой новой функции можно частично приостановить оповещение на основе определенных критериев. Бесшумный режим только приостанавливает создание алертов. В пользовательском интерфейсе всё так же будут отображаться экземпляры алертов. Это сделано нарочно: вы можете видеть текущий статус экземпляра алерта, но не получите уведомления.
⚡️ Режим обслуживания на период времени
В Grafana 9 можно указать интервал времени, когда вы не хотите, чтобы новые уведомления генерировались или отправлялись. Например, можно установить время отключения генерации и отправки для нескольких или всех ваших маршрутов оповещений, чтобы вас не отрывали от шашлындоса или посиделок в баре.
Подробнее.
В июне Grafana Labs объявили о выходе новой 9 версии своего решения-хедлайнера — инструмента для визуализации Grafana. Как и полагается мажорной версии, появилось увесистое количество обновлений. И одно из ключевых обновлений — новые возможности алертинга. Ниже некоторые подробности этих обновлений.
⚡️ Инстансные оповещения
До Grafana 9 оповещения нужно было привязывать к панели или дашборду. Теперь алертами можно управлять как будто это регулярное выражение. Правила алертинга могут создавать несколько отдельных экземпляров алертов внутри каждого правила. Правило определяет, когда отправлять оповещения, но оповещать можно сразу по нескольким элементам. Пример из реальной жизни: представьте, что у вас есть умный дом и вы хотите знать, когда открыты окна. У вас может быть одно оповещение «Сообщите мне, открыты ли окна», и для каждого окна вы получите «Окно x открыто!» Не нужно создавать более одного правила.
⚡️ Группировка и маршрутизация оповещений
Когда возникает событийный шторм, сотни оповещений могут прийти одновременно. Политики алертинга решают такую проблему. Это набор правил, определяющих, в какой канал как направляются оповещения. Объединение политик алертинга с функцией группировки позволяет все оповещения, относящиеся к одному компоненту системы, объединить вместе, чтобы Grafana будет отправляла только одно уведомление, содержащее список затронутых сред для этого правила. Политики оповещений имеют древовидную структуру, в которой каждая политика может иметь одну или несколько дочерних политик. Каждая политика, кроме корневой политики, может соответствовать определенным меткам алертов. Каждый алерт оценивается корневой политикой, а затем каждой дочерней политикой, чтобы можно было алертить в определенные каналы. В результате один алерт улетит сразу в несколько каналов на основе определенных критериев метки.
⚡️ Молчание - золото
Бесшумный режим позволяет останавливать уведомления от одного или нескольких правил. С помощью этой новой функции можно частично приостановить оповещение на основе определенных критериев. Бесшумный режим только приостанавливает создание алертов. В пользовательском интерфейсе всё так же будут отображаться экземпляры алертов. Это сделано нарочно: вы можете видеть текущий статус экземпляра алерта, но не получите уведомления.
⚡️ Режим обслуживания на период времени
В Grafana 9 можно указать интервал времени, когда вы не хотите, чтобы новые уведомления генерировались или отправлялись. Например, можно установить время отключения генерации и отправки для нескольких или всех ваших маршрутов оповещений, чтобы вас не отрывали от шашлындоса или посиделок в баре.
Подробнее.
Forwarded from k8s (in)security (Дмитрий Евдокимов)
Большинство людей (до 85% населения Земли) являются визуалами (главным типом восприятия является именно зрительный контакт) и изучать таким людям что-то новое или сложное проще на картинках. У Ивана Величко есть замечательный блог с разделом Learning Series, где можно узнать много всего о
- Debunking Container Myths
- Mastering Container Networking
- Working with Kubernetes API
- Writing Kubernetes Controllers/Operators
- Implementing Container Manager
Данная серия будет очень полезна как новичкам, так и знатокам - лично я из каждого поста, картинки открываю для себя что-то новое
containers и Kubernetes именно в такой форме. Сейчас есть серии на темы:- Debunking Container Myths
- Mastering Container Networking
- Working with Kubernetes API
- Writing Kubernetes Controllers/Operators
- Implementing Container Manager
Данная серия будет очень полезна как новичкам, так и знатокам - лично я из каждого поста, картинки открываю для себя что-то новое
Kubernetes. Могу это смело рекомендовать на ряду с изучением официальной документации Kubernetes - просто MUST READ!Iximiuz
Learning Series by Ivan Velichko
All learning series on Containers, Kubernetes, and Backend Development by Ivan Velichko
Forwarded from Записки админа
🐧 A journey into the Linux scheduler - объёмное, интересное чтиво, с кучей дополнительных полезных ссылок.
#scheduler #напочитать #фидбечат
#scheduler #напочитать #фидбечат
Forwarded from Mops DevOps
Six critical blindspots while securing Argo CD
🔹 Use a dedicated project for the control plane
🔹 Argo resources are for Argo admins only
🔹 Delete the “default” project
🔹 Block ClusterRoleBindings in (most) projects
🔹 Narrow roles on remote clusters
🔹 Have a CVE response plan ready
👉 https://bit.ly/3bTjh4V
#argocd #security
🔹 Use a dedicated project for the control plane
🔹 Argo resources are for Argo admins only
🔹 Delete the “default” project
🔹 Block ClusterRoleBindings in (most) projects
🔹 Narrow roles on remote clusters
🔹 Have a CVE response plan ready
👉 https://bit.ly/3bTjh4V
#argocd #security
Forwarded from Sysadmin Tools 🇺🇦
Videos from Monitorama PDX 2022
https://vimeo.com/channels/1798229
#monitoring #monitorama #ovservability
https://vimeo.com/channels/1798229
#monitoring #monitorama #ovservability
Forwarded from /usr/bin
Пара статей про настройки безопасности Docker
Вы узнаете как:
- настроить nologin shell
- отключить возможность повышения привилегий
- отключить сетевую доступность между контейнерами
- ограничение использования ресурсов
и многое другое.
👉 Advanced Docker Security
👉 Advanced Docker Security Part II
Вы узнаете как:
- настроить nologin shell
- отключить возможность повышения привилегий
- отключить сетевую доступность между контейнерами
- ограничение использования ресурсов
и многое другое.
👉 Advanced Docker Security
👉 Advanced Docker Security Part II
Forwarded from /usr/bin
Unix Commands, Pipes, and Processes
How to combine Unix commands with pipes and manage running programs. Читать дальше.
How to combine Unix commands with pipes and manage running programs. Читать дальше.