Forwarded from Sysadmin Tools 🇺🇦
Хабр
Аварии как опыт #1. Как сломать два кластера ClickHouse, не уточнив один нюанс
Про некоторые свои failure stories мы уже писали и раньше , но теперь мне выпала честь формально открыть специальный цикл из таких статей. Ведь аварии, их причины и последствия — это тоже часть нашей...
Forwarded from sudo rm -rf /*
А вот подробный и очень понятный текст для тех, кто всегда хотел вникнуть в NUMA Topology, но не знал как подойти к вопросу. Внезапно даже на русском языке (sic!)
Не обращайте внимания на то что дока под RedHat6, информация актуальна и по сей день.
Не обращайте внимания на то что дока под RedHat6, информация актуальна и по сей день.
Red Hat Customer Portal
Глава 4. Процессор Red Hat Enterprise Linux 6 | Red Hat Customer Portal
Access Red Hat’s knowledge, guidance, and support through your subscription.
Forwarded from DevOps&SRE Library
Anatomy of Unsuccessful Incident Management
- Confusion about Processhttps://blog.kintaba.com/posts/anatomy-of-unsuccessful-incident-management
- Panic and Thrash
- Lack of Awareness
- Blame
- Uncoordinated & Conflicting Response
- Confusion over Ownership
- Repeat Problems
С наступающим (а кое кого уже и с наступившим) Новым Годом, друзья! Много девяток, поменьше скушных митингов, факапов и душных коллег. Stay tuned!
Forwarded from The After Times
Занимательная статья на Хабре (http://slurm.club/2KtNgD7) о том, почему Apache Kafka такая шустрая и популярная. Для тех, кто работает с технологией советуем ознакомиться с тем, что у кафки “под капотом”. Это многое объясняет. Например, можно почитать про батчинг записей, пакетное сжатие, буферизованные операции, zero-copy и другие фишечки.
Хабр
Почему Kafka такая быстрая
За последние несколько лет в сфере архитектуры ПО произошли огромные изменения. Идея единственного монолитного приложения или даже нескольких крупных сервисов,...
Forwarded from DevOps&SRE Library
DataHub: Popular metadata architectures explained
https://engineering.linkedin.com/blog/2020/datahub-popular-metadata-architectures-explained
https://engineering.linkedin.com/blog/2020/datahub-popular-metadata-architectures-explained
Forwarded from Библиотека Go-разработчика | Golang
Пишем шаблон аутентификации с нуля, используя Go, GoFiber и PostgreSQL:
- Реализация сервера с PostgreSQL
- Настройка маршрута SignUp
- Реализация маршрута входа и частных маршрутов с обновлением токенов
- Реализация сервера с PostgreSQL
- Настройка маршрута SignUp
- Реализация маршрута входа и частных маршрутов с обновлением токенов
DEV Community
Create a server with PostgreSQL in Go - Part[1/3] of Go Authentication series
In this tutorial, you will learn how to make an authentication boilerplate with Go. We will use GoFib...
DevOps — их популярность растет с каждым днем.
Девопсы нужны всем и желательно вчера.
А чтобы запрыгнуть в вагон уходящего поезда — скорее регистрируйтесь на бесплатный вебинар «Как стать DevOps-инженером» образовательной экосистемы GeekBrains Mail.Ru Group. Вам расскажут, кто такие devops-инженеры и какие проблемы они решают.
За полтора часа вы узнаете:
– стандартные практики управления и администрирования IT-инфраструктуры;
– проблемы пользователей, связанные с данными практиками;
– возможности, появляющиеся со сменой подхода;
– требования к успешной работе инженеров и администраторов.
Блестящая IT-карьера ждет вас после первого шага на вебинаре → https://geekbrains.ru/link/G~eSGx
Девопсы нужны всем и желательно вчера.
А чтобы запрыгнуть в вагон уходящего поезда — скорее регистрируйтесь на бесплатный вебинар «Как стать DevOps-инженером» образовательной экосистемы GeekBrains Mail.Ru Group. Вам расскажут, кто такие devops-инженеры и какие проблемы они решают.
За полтора часа вы узнаете:
– стандартные практики управления и администрирования IT-инфраструктуры;
– проблемы пользователей, связанные с данными практиками;
– возможности, появляющиеся со сменой подхода;
– требования к успешной работе инженеров и администраторов.
Блестящая IT-карьера ждет вас после первого шага на вебинаре → https://geekbrains.ru/link/G~eSGx
Forwarded from Sysadmin Tools 🇺🇦
Отличное введение в очереди/брокеры сообщений
https://sudhir.io/the-big-little-guide-to-message-queues/
#kafka #nsq #mq #nats #aws #fcp
https://sudhir.io/the-big-little-guide-to-message-queues/
#kafka #nsq #mq #nats #aws #fcp
sudhir.io
The Big Little Guide to Message Queues
A guide to the fundamental concepts that underlie message queues, and how they apply to popular queueing systems available today.
Forwarded from DevOps&SRE Library
How to sell SLOs to Engineering Directors
https://medium.com/brexeng/how-to-sell-slos-to-engineering-directors-9c6379c3f246
https://medium.com/brexeng/how-to-sell-slos-to-engineering-directors-9c6379c3f246
Forwarded from Библиотека Go-разработчика | Golang
Как разработчик Golang вы, вероятно, сталкивались с циклами импорта. Golang не допускает циклов импорта, выдавая ошибку компиляции при обнаружении цикла импорта в коде. В статье автор разбирается, как происходит цикл импорта и как с ними бороться.
https://proglib.io/w/406fcd6c
https://proglib.io/w/406fcd6c
❓Какие навыки помогут админу и системному инженеру поднять свою ценность как специалиста?
Об этом 20 января вы узнаете от Алексея Цыкунова, ведущего эксперта Linux. Алексей расскажет о технологиях виртуализации и кластеризации, которые необходимы для повышения квалификации, и представит программу «Administrator Linux. Advanced».
Вы узнаете, чем отличается курс и как организована практика.
Пройдите вступительный тест, чтобы быть готовым ко встрече с экспертом и не упустить 🎉праздничную скидку 30%🎉
Регистрируйтесь на вебинар уже сейчас: https://otus.pw/8vM8/
Об этом 20 января вы узнаете от Алексея Цыкунова, ведущего эксперта Linux. Алексей расскажет о технологиях виртуализации и кластеризации, которые необходимы для повышения квалификации, и представит программу «Administrator Linux. Advanced».
Вы узнаете, чем отличается курс и как организована практика.
Пройдите вступительный тест, чтобы быть готовым ко встрече с экспертом и не упустить 🎉праздничную скидку 30%🎉
Регистрируйтесь на вебинар уже сейчас: https://otus.pw/8vM8/
Forwarded from Sys-Admin InfoSec
Everything You Need to Know About CI/CD and Security
https://www.tripwire.com/state-of-security/devops/everything-need-to-know-about-ci-cd-security/
https://www.tripwire.com/state-of-security/devops/everything-need-to-know-about-ci-cd-security/
Tripwire
Everything You Need to Know About CI/CD and Security
Understand what CI/CD means, learn about security in CI/CD pipelines, and learn how to determine if there are potential security risks.
Forwarded from Записки админа
💾 Собственно, в разное время ссылки из этой подборки были у меня на канале, а тут они все собраны в одном месте - 12 Podman guides to get started with containers. #podman #напочитать #containers
Forwarded from Experimental chill
#рецензии
Ультракороткие рецензии на тoп инженерных находок 2020го года от @Danlark, которых не было в блоге. Часть 2.
6. New Linux Slab Allocator
Slab аллокатор в системе Linux заточен на то, чтобы переиспользовать выделенную память для часто встречающихся структур данных и вообще контролировать большинство аллокаций в самом ядре. Роман Гущин из Facebook нашёл большую проблему в том, что аллокации не переиспользуются между различными cgroup. Инженеры из Google нашли неоптимальный O(n^2) алгоритм для освобождения памяти при загруженной машины в shrink_slab. Большой лист из 47 патчей был принят в Linux 5.9, который ведёт к 45% лучшей утилизации, петабайтам сэкономленной оперативной памяти и миллионам ядер в Facebook и Google.
7. unfork(2)
С первого взгляда не самый примечательный репозиторий, но он предлагает user space функциональность по слиянию адресных пространств двух процессов в одно. Работает через свежедобавленные системные вызовы ядра как userfaultfd(2), который помогает лениво, только при pagefault, обрабатывать такие изменения. Надеюсь, мы увидим больше таких решений, например, в оптимизациях памяти в Chromium и базах данных.
8. io_uring
После долгих лет споров с Линусом по поводу того, как должен выглядеть асинхронный интерфейс работы с IO, наконец-то был достигнут консенсус и стабилизировался io_uring. Этот вызов вам позволит асинхронно задавать сразу много запросов к устройству, выжимая максимум из вашего железа. Бенчмарки при сильно загруженных дисках по сравнению со старым io_submit, показывают улучшение на 3-6%, но самое главное, что теперь интерфейс максимально удобен и каноничен.
9. rseq в TCMalloc
Мы наконец-то стали видеть применение Restartable Sequences в реальных приложениях, чтобы избегать долгих блокировок при чтении памяти, которая потенциально находится на том же логическом ядре. Аллокатор TCMalloc, который используется во всём Google, выиграл до 50% перформанса, применив эту парадигму.
10. SQLancer
Исследователи из ETH Zurich выложили весьма простой и понятный фаззер запросов, который проверяет какие-то простые логические условия в зависимости от вставленных данных в таблицы. В итоге суммарно было найдено около 400(!) багов, 10-15 различных SEGFAULT в самых популярных базах данных как SQLite, MySQL, PostgreSQL и, конечно же, этот труд был приглашен на две топовые конференции OSDI и OOPSLA. Одна из лучших и элегантных статьей на 2020 год, по моему мнению.
To be continued...
Ультракороткие рецензии на тoп инженерных находок 2020го года от @Danlark, которых не было в блоге. Часть 2.
6. New Linux Slab Allocator
Slab аллокатор в системе Linux заточен на то, чтобы переиспользовать выделенную память для часто встречающихся структур данных и вообще контролировать большинство аллокаций в самом ядре. Роман Гущин из Facebook нашёл большую проблему в том, что аллокации не переиспользуются между различными cgroup. Инженеры из Google нашли неоптимальный O(n^2) алгоритм для освобождения памяти при загруженной машины в shrink_slab. Большой лист из 47 патчей был принят в Linux 5.9, который ведёт к 45% лучшей утилизации, петабайтам сэкономленной оперативной памяти и миллионам ядер в Facebook и Google.
7. unfork(2)
С первого взгляда не самый примечательный репозиторий, но он предлагает user space функциональность по слиянию адресных пространств двух процессов в одно. Работает через свежедобавленные системные вызовы ядра как userfaultfd(2), который помогает лениво, только при pagefault, обрабатывать такие изменения. Надеюсь, мы увидим больше таких решений, например, в оптимизациях памяти в Chromium и базах данных.
8. io_uring
После долгих лет споров с Линусом по поводу того, как должен выглядеть асинхронный интерфейс работы с IO, наконец-то был достигнут консенсус и стабилизировался io_uring. Этот вызов вам позволит асинхронно задавать сразу много запросов к устройству, выжимая максимум из вашего железа. Бенчмарки при сильно загруженных дисках по сравнению со старым io_submit, показывают улучшение на 3-6%, но самое главное, что теперь интерфейс максимально удобен и каноничен.
9. rseq в TCMalloc
Мы наконец-то стали видеть применение Restartable Sequences в реальных приложениях, чтобы избегать долгих блокировок при чтении памяти, которая потенциально находится на том же логическом ядре. Аллокатор TCMalloc, который используется во всём Google, выиграл до 50% перформанса, применив эту парадигму.
10. SQLancer
Исследователи из ETH Zurich выложили весьма простой и понятный фаззер запросов, который проверяет какие-то простые логические условия в зависимости от вставленных данных в таблицы. В итоге суммарно было найдено около 400(!) багов, 10-15 различных SEGFAULT в самых популярных базах данных как SQLite, MySQL, PostgreSQL и, конечно же, этот труд был приглашен на две топовые конференции OSDI и OOPSLA. Одна из лучших и элегантных статьей на 2020 год, по моему мнению.
To be continued...
The New Stack
A New Linux Memory Controller Promises to Save Lots of RAM
A proposed memory controller can cut RAM usage in LInux server by up to 40%.
👍1
Forwarded from Security Wine (бывший - DevSecOps Wine) (Denis Yakimov)
How GitOps Improves the Security of Your Development Pipelines
Наткнулся на свежую статью, приводящую примеры того, как методология GitOps может улучшить безопасность вашей среды. К основным примерам относятся аудит и ограничение доступа CI/CD системы. Про проблемы классического подхода DevOps и решения GitOps также можно прочитать в статьях:
- How secure is your CICD pipeline?
- How GitOps Raises the Stakes for Application Security
Однако, как и везде, есть подводные камни. Хорошая статья на тему рисков, связанных с GitOps:
- Securing GitOps Pipeline
В основном здесь все сводится к угрозам системы контроля версий, но не стоит также забывать про RBAC. Ведь, несмотря на широкое ограничение доступа согласно методологии, оператор GitOps все еще может стать отправной точкой для злоумышленника. Еще одна проблема - сильная зависимость от кода и уход от подходов, связанных с контролем Run-time через тот же OPA. Как показывает практика, статические анализаторы далеко не всегда хороши в определении полной картины проблем, связанных с ИБ.
Пока комьюнити ищет золотую середину в подходах, предлагаю вам также прочитать следующий материал:
- GitOps Security with k8s-security-configwatch by Sysdig
- Access Control & Security (GitOps and Kubernetes Book) (у кого есть полная версия книги, буду рад почитать)
Кстати, если вы не знакомы с методологией, то мне нравится перевод от Flant.
#ops #k8s
Наткнулся на свежую статью, приводящую примеры того, как методология GitOps может улучшить безопасность вашей среды. К основным примерам относятся аудит и ограничение доступа CI/CD системы. Про проблемы классического подхода DevOps и решения GitOps также можно прочитать в статьях:
- How secure is your CICD pipeline?
- How GitOps Raises the Stakes for Application Security
Однако, как и везде, есть подводные камни. Хорошая статья на тему рисков, связанных с GitOps:
- Securing GitOps Pipeline
В основном здесь все сводится к угрозам системы контроля версий, но не стоит также забывать про RBAC. Ведь, несмотря на широкое ограничение доступа согласно методологии, оператор GitOps все еще может стать отправной точкой для злоумышленника. Еще одна проблема - сильная зависимость от кода и уход от подходов, связанных с контролем Run-time через тот же OPA. Как показывает практика, статические анализаторы далеко не всегда хороши в определении полной картины проблем, связанных с ИБ.
Пока комьюнити ищет золотую середину в подходах, предлагаю вам также прочитать следующий материал:
- GitOps Security with k8s-security-configwatch by Sysdig
- Access Control & Security (GitOps and Kubernetes Book) (у кого есть полная версия книги, буду рад почитать)
Кстати, если вы не знакомы с методологией, то мне нравится перевод от Flant.
#ops #k8s