10 наиболее используемых паттернов архитектуры систем https://towardsdatascience.com/10-common-software-architectural-patterns-in-a-nutshell-a0b47a1e9013 #architecture

Отличный постмортем от Dan Woods из Target про то, как одно небольшое изменение может ОЧЕНЬ многое каскадно сломать в сложной распределенной инфраструктуре)

http://amp.gs/Vpq2

Очень интересный доклад от Gregory Stark на PGCONF EU 2018 про построение мониторинга PostgreSQL с помощью Prometheus и Grafana. С реальными примерами, графиками и теорией про USE, RED.
P.S. Видео к сожалению пока не нашлось ¯\_(ツ)_/¯

Блог: http://amp.gs/VpF6
Конференция: http://amp.gs/VpXj
Слайды: http://amp.gs/VpXI
#monitoring #prometheus #postgresql

Отличные новости! Все видео докладов HighLoad++ Siberia теперь в открытом доступе. Вот ссылка на плейлист.

И не забудьте сверить свои планы с расписанием HighLoad++ на этот год: highload.ru

Всем привет! Анонсируем новый восхитительный движ в Петербурге: @spb_reliability (SPb Reliability Meetup).

Закончилось время классических системных администраторов. Однако современный подход к обслуживанию систем не стал популярным. Мы хотим исправить это, и создаём мероприятие для всех инженеров, кто хочет сделать свой продакшн лучше.

В основе митапа лежит методология #SRE (Site Reliability Engineering). Согласно ей инженер работает с системой в целом, не ограничиваясь кодовой базой, БД и их настройкой, мониторингом, системой оркестрации, настройками облака и ОС. Об этом и будут митапы, с фокусом на современные технологии.

Cчитаем важным:

• обмен опытом: каждый может прийти, послушать, пообщаться, в блиц-докладе рассказать о своей боли или интересном решении
• профессиональную и доброжелательную атмосферу: у нас действует берлинский кодекс поведения
• дружить: как с остальным движем Петербурга и регионов, так и с коммерческими компаниями (почему нет)
• делать крутые вещи: у нас достойный опыт как в индустрии (кофаундер @upovod), так и в организации айти-мероприятий (кофаундер @nazarov_tech).

Первый митап пройдёт 22 января в 19:00 в офисе #DataArt (Гельсингфорсская, 2). Будет два основных доклада, несколько блиц-докладов и пицца.

Регистрируйтесь: meetup.com/SPb-Reliability-Meetup/events/257499497
и присоединяйтесь к нам: t.me/spb_reliability

Первая часть статей об Istio в проде от Avito.

Тут общий обзор и пример установки. Обещают продолжение о подводных камнях

#kubernetes

🖥 SSH/NC/Socat tips & Tricks.

Друзья, 17 января в 20:00 по МСК, в рамках курса "Администратор Linux" пройдёт открытый вебинар "SSH/NC/Socat tips & Tricks".

ℹ️ Поговорить можно будет вот о чём:

• Что такое ssh, его история и предназначение;
• Как и для чего ssh используется: remote, local port forwarding, secure copy, socks proxy, revers proxy;
• Практическое применение утилит nc и socat.

Приглашаются как начинающие, так и опытные админы. 😉 Подробности и запись на участие по ссылке:

https://otus.pw/l8cO/

#реклама

В этой статье прекрасно все, тут есть мониторинг kubernetes, примеры агрегаций, работа с api и relabel прямо в запросе https://medium.com/@amimahloof/kubernetes-promql-prometheus-cpu-aggregation-walkthrough-2c6fd2f941eb #prometheus #relabel #k8s

@servers уже писал на своем канале об мониторинг SSL на своем канале

Но что-то он никак не запилит пост об:
1) https://servermonitoring.me - умеет в:
- мониторинг SSL,
- uptime ip
- uptime domain
- server monitoring по средством клиента.
- удаленное выполнение комманд ч/з установленный клиент, но только если включить эту опцию при добавлении нового сервера в админ панели, по дефолту такого нет.
- шлет оповещалки на почту
upd: можно боту в skype😏 + боту в Slack

2) https://uptimerobot.com - умеет разные штуки, но проще чем сервис выше:
- uptime ip
- uptime domain
- port monitoring
- проверка доступности сайта по keyword, по авторизации пользователя.
- шлет алерты на почту, есть поддержка webhooks

3) http://ping-admin.ru - тут уже все на русском но:
- Ping
- Детальная разовая проверка сайта
- Traceroute
- Проверка обратных ссылок
- Регулярная проверка сайта
- Проверка ИКС ( хз что это, но для xyz домена не применимо видно)

К чему это я пишу? К тому, что вдруг вам лень ставить всякие Nagios, Zabbix и тд. и тп., а простой мониторинг с разных мест будет вам вещать о проблемах на почту.

PS: там кстати при регистрации присылают от https://servermonitoring.me email, и говорят, что за 5 френдов приведенных с фейсбука иди ревью сервиса, вас переводят в premium акаунт, где можно подключать в мониторинг 25 серверов, а если вы сделаете оба условия - дадут возможно мониторинга 50 серверов. Дерзайте🤘

Нужно теперь такое же сделать и для Prometheus

Нетак давно я делал пост об Gotify, которая работает на бинарнике Go и принимает, а потом и пушит вам в вебпанель браузера или в приложение на телефоне.

И вот решил сделать +1 способ получать алерты от Zabbix .
Ссылка на репозиторий - https://github.com/denisgolius/zabbix-to-gotify-alert
PR и Issues приветствуются.🖖🏻

Есть конечно и https://github.com/ableev/Zabbix-in-Telegram от Ильи, но если уж кто боится за Телеграм и его блокировки, то такой вариант вполне себе.

PS: gotify умеет ИзКаРоБкИ в letsencrypt, sqlite/MySQL/PostgreSQL можно использовать как базу для хранения истории пушей и всего прочего.

Один из вариантов зеркалировать трафик продуктовых сред на стейджинговые
https://github.com/buger/goreplay
#http #mirrorin

#unilecs #sorting

🔥 Мы начинаем цикл статей, посвященных алгоритмам сортировки. Цель этих статей - помочь вам вспомнить или освежить в памяти основные моменты и особенности сортировок, это будет некая шпаргалка для тех, кто готовится к техническому интервью или к экзамену в университете.
https://tgraph.io/UniLecs-Top-X-voprosov-po-sortirovke-01-09

Kubernetes Pod Resource Limitations and Quality of Service
https://www.weave.works/blog/kubernetes-pod-resource-limitations-and-quality-of-service

Очередная хорошая статья о том как работает Istio под капотом
https://medium.com/namely-labs/a-crash-course-for-running-istio-1c6125930715

Коллеги, мы продолжаем поиск экстраординарных, уникальных людей к нам в команды, на вакансии: QA Engineer, Support Engineer, Разработчик Ruby, Frontend-разработчик, Системный аналитик, Pre-sale инженер, Менеджер по продажам ИТ проектов, Product Marketing Manager.

https://hh.ru/vacancies?employer_id=2156053

можно в личку мне писать или через сайт.

#вакансии

Как чистить место на диске?

Вроде и вопрос банальный и проблеме сто лет в обед, но в последнее время он возникает так часто, что я решил написать несколько строк по этому поводу. С технической стороной вопроса все вроде бы понятно. Мониторинг настроили, алерты приходят, rm -rf отрабатывает. Но как быть с организационной частью?

Если мы говорим про данные (пользовательские, логи, статистика и тд), то непременно встает вопрос о том как долго их хранить. Без ответа на этот вопрос невозможно настроить автоматическую очистку старых данных, невозможно рассчитать объем хранилища, которое потребуется, да вообще ничего сделать нельзя.

Когда в ответ на этот вопрос вам говорят что храните столько сколько влезет на диск, то это не ответ. Хотя выглядит похоже. По сути этим ответом, проблему с политикой хранения переложили на диск. А диск ни черта не знает про то, что это за данные, кто их использует и как их используют.

Простой пример. У вас есть статистика по продажам вашего продукта. И вот вы поставили задачу хранить столько, сколько влезет на диск. Отлично! В какой-то момент на этой же базе разрослась тестовая таблица. Действуя согласно плану по хранению статистики продаж вы взяли и дропнули все данные за последний год и оставили там последние пару дней. Под условие подходит? Да. Мы нарушили инструкцию? Нет. Все правильно сделали? Да. А бизнес только что продолбал все историю продаж благодаря условию "храним сколько влезет".

Если бы у вас была политика хранения и очистки статистики продаж, то вы бы не смогли взять и удалить эти данные. Вы бы пошли искать что еще занимает место на диске, попытались бы очистить что-то другое. И в конце пришли бы к бизнесу с вопросом - нам нужны деньги на диск. И смогли бы это обосновать за 10 секунд. Примерно так: "Согласно политике, эти данные надо хранить 5 лет. Диск у нас на 1Тб - он закончился. Так что либо докупаем диск, либо меняем политику хранения".

Поэтому ответ на вопрос "Сколько и какие данные хранить?" безумно важен. Вы должны четко понимать кто и как использует какие данные и в зависимости от этого выработать политику очистки, агрегации и архивации этих данных. Совместно с продуктом, конечно.

Если вам отвечают хранить столько сколько влезет, то это означает ровно одно: Тот кто отвечает абсолютно не понимает кто и как использует эти данные. И вы со спокойной душой можете взять и дропнуть все нафиг, оставив данные за последний день. Чтобы такого не случилось - сходите и выясните политику очистки ваших данных.

Крутая презентация про внутреннее устройства Golang - подойдет для поннимания начинающим и для подготовки к интервью http://m0sth8.github.io/runtime-1/#1
#golang #interview #основы

За окном выходные, и я таки сделал подборки интересных подкастов и утилит, которые уже неделю планировал написать.

Начнем с подкастов, сначала русскоязычные.
1. Podlodka Podcast — драйвовый еженедельный подкаст про разработку и смежные темы (из недавних выпусков например очень интересные про личный бренд, синдром самозванца, распределенные команды, выгорание и технический долг) http://amp.gs/Vht9, все выпуски: http://amp.gs/Vhti

2. Слава + Паша — арегулярный подкаст про разработку, но часто обсуждаются и другие темы, например билд системы или Docker с Kubernetes. http://amp.gs/VhtF

3. The Art Of Programming — подкаст про разработку (опять), много интервью с конференций. http://amp.gs/VhtU

4. QA Guild Podcast — отличный подкаст про тестирование. Весьма полезно если хотите быть в курсе современных трендов в тестировании и его автоматизации. http://amp.gs/VhtN

И немного англоязычных:
1. Real World DevOps — новый подкаст от Mike Julian, автора Practical Monitoring и Monitoring Weekly. В виде интервью про эксплуатацию реально работающих систем, а не про теорию. http://amp.gs/Vhtu
2. On-Call Nightmares Podcast — истории от разных людей из индустрии про On-Call. http://amp.gs/VhtA
3. Ну и я уже упоминал его ранее, Soft Skills Engineering — подкаст про нетехнические стороны разработки ПО. Отличный юмор и разбор интересных вопросов каждую неделю. http://amp.gs/Vht3

#podcast #digest

awesome для sre http://github.com/dastergon/awesome-sre/blob/master/README.md #sre #awesome

Истории провалов часто интересней историй успеха. Успех у каждого свой, а вот словить те же грабли -- раз плюнуть.

Предлагаю вам глянуть подборку фейлов c Kubernetes, собранную из открытых источников.

#kubernetes