Forwarded from CatOps
Статья о том, как в Dropbox автоматизируют конфигурацию своих датацентров
Так как Dropbox одни из первых (по крайней мере первые из громких) переехали из публичного облака на своё железо, там вам никакого Terraform’а — всё по хардкору с валидацией свичей, стресс-тестами и бенчмарками.
Так как Dropbox одни из первых (по крайней мере первые из громких) переехали из публичного облака на своё железо, там вам никакого Terraform’а — всё по хардкору с валидацией свичей, стресс-тестами и бенчмарками.
Forwarded from DevOps&SRE Library
Architecting for Reliability
Серия постов про то, какими способами можно улучшить надежность работы приложений.
Part 1 - Concepts:
https://medium.com/becloudy/architecting-for-reliability-part-1-concepts-17028343089
Part 2 - Resiliency and Availability Design Patterns for the Cloud:
https://medium.com/becloudy/architecting-for-reliability-part-2-resiliency-and-availability-design-patterns-for-the-cloud-cf7aaaed0df2
Part 3 - High Availability Architectures:
https://medium.com/becloudy/architecting-for-reliability-part-3-high-availability-architectures-8dfd0f87d25e
Серия постов про то, какими способами можно улучшить надежность работы приложений.
Part 1 - Concepts:
https://medium.com/becloudy/architecting-for-reliability-part-1-concepts-17028343089
Part 2 - Resiliency and Availability Design Patterns for the Cloud:
https://medium.com/becloudy/architecting-for-reliability-part-2-resiliency-and-availability-design-patterns-for-the-cloud-cf7aaaed0df2
Part 3 - High Availability Architectures:
https://medium.com/becloudy/architecting-for-reliability-part-3-high-availability-architectures-8dfd0f87d25e
Forwarded from DevOps Deflope News
В блоге компании Gruntwork вышла серия статей про автоматизацию HashiCorp Vault.
Рассматривается auto-unseal и аутентификация с помощью метаданных инстанса и IAM для AWS и GCP.
* http://amp.gs/Vr1L
* http://amp.gs/Vr1Q
* http://amp.gs/Vr1o
#gruntwork #vault #aws
Рассматривается auto-unseal и аутентификация с помощью метаданных инстанса и IAM для AWS и GCP.
* http://amp.gs/Vr1L
* http://amp.gs/Vr1Q
* http://amp.gs/Vr1o
#gruntwork #vault #aws
Gruntwork
A guide to automating HashiCorp Vault #1: Auto-unsealing
Vault is an open source tool created by HashiCorp for securely storing secrets, such as database passwords, API keys, and TLS certs.
Forwarded from DevOps&SRE Library
Systems_Performance.pdf
8.2 MB
Systems Performance
Отличная книга про производительность операционных систем и приложений. Хоть книга уже и не новая, я всеравно настоятельно советую ее прочитать хотябы по диагонали. В книге объясняется множество базовых концепций и методологий, которые не утратили свою актуальность.
Brendan Gregg
2014
Отличная книга про производительность операционных систем и приложений. Хоть книга уже и не новая, я всеравно настоятельно советую ее прочитать хотябы по диагонали. В книге объясняется множество базовых концепций и методологий, которые не утратили свою актуальность.
Brendan Gregg
2014
Forwarded from CatOps
How about building Feature Toggles into Terraform?
Technically - nothing new, but it can be very useful when you have many slightly different environments.
As bonus, you can read definitive guide how cook feature toggles at weekend.
#terraform #culture
Technically - nothing new, but it can be very useful when you have many slightly different environments.
As bonus, you can read definitive guide how cook feature toggles at weekend.
#terraform #culture
Forwarded from DataEng
На сайте baseDS тем временем вышли 2 новые статьи:
- Transparency: Illusions of a Single System (Part 1)
- Transparency: Illusions of a Single System (Part 2)
- Transparency: Illusions of a Single System (Part 1)
- Transparency: Illusions of a Single System (Part 2)
Medium
Transparency: Illusions of a Single System (Part 1)
Even though we might be new to distributed systems, by now we can see that, by definition, they involve many moving parts. Those moving…
Forwarded from Пятничный деплой
Многие знают про readiness/liveness probes в Kubernetes, но часто не понимают что именно в них должно быть. Статья которая раскрывает тему healthcheck достаточно глубоко - https://medium.com/@copyconstruct/health-checks-in-distributed-systems-aa8a0e8c1672 Настоятельно советую посмотреть еще ссылки в конце - там тоже много вкусного.
#sre #healtcheck
#sre #healtcheck
Medium
Health Checks and Graceful Degradation in Distributed Systems
Thanks, as always, to Fred Hebert and Sargun Dhillon for reading a draft of this post and offering some invaluable suggestions.
Forwarded from DevOps Deflope News
Немножко утилит про сети.
* ksniff — kubectl плагин, который использует tcpdump и Wireshark для снятия трафика в любом поде в кластере Kubernetes.
http://amp.gs/VWbN
P.S. Напоминаю, что плагины kubectl теперь можно удобно ставить с помощью krew
http://amp.gs/VWbJ
* kubefwd — решение для форвардинга портов из Kubernetes на локальное окружение.
http://amp.gs/VWbL
* sshuttle — простая штука для создания подобия VPN через ssh соединение без админских прав.
http://amp.gs/VWb3
И kuttle — обертка для sshuttle для kubectl для пробрасывания сети из Kubernetes на локалхост.
http://amp.gs/VWb2
#tools #network
* ksniff — kubectl плагин, который использует tcpdump и Wireshark для снятия трафика в любом поде в кластере Kubernetes.
http://amp.gs/VWbN
P.S. Напоминаю, что плагины kubectl теперь можно удобно ставить с помощью krew
http://amp.gs/VWbJ
* kubefwd — решение для форвардинга портов из Kubernetes на локальное окружение.
http://amp.gs/VWbL
* sshuttle — простая штука для создания подобия VPN через ssh соединение без админских прав.
http://amp.gs/VWb3
И kuttle — обертка для sshuttle для kubectl для пробрасывания сети из Kubernetes на локалхост.
http://amp.gs/VWb2
#tools #network
Forwarded from Sysadmin Tools 🇺🇦
Описалово по гарантиях доставки в месседж брокерах.
https://developer.lightbend.com/blog/2017-11-01-atotm-akka-messaging-part-2/index.html
https://developer.lightbend.com/blog/2017-11-01-atotm-akka-messaging-part-2/index.html
Lightbend
How Akka Works: 'At Least Once' Message Delivery | @lightbend
This article is the second in a series of three articles that dives into some of the interesting aspects of messaging within distributed systems environments.
Forwarded from DevOps Deflope News
Если вы давно слышали про флеймграфы от Брендана Грегга, но все не доходили руки попробовать их, то вот отличная статья от Selectel про его применение для дебага проблем.
http://amp.gs/9jZg
Заодно можно упомянуть доклад Петра Зайцева с FOSDEM http://amp.gs/9jZR
И статью http://amp.gs/9jZV
#flamegraphs #performance
http://amp.gs/9jZg
Заодно можно упомянуть доклад Петра Зайцева с FOSDEM http://amp.gs/9jZR
И статью http://amp.gs/9jZV
#flamegraphs #performance
Хабр
Perf и flamegraphs
Огромную популярность набирает тема повышения производительности операционных систем и поиска узких мест. В этой статье мы расскажем об одном инструменте для п...
Forwarded from Українська девопсарня via @like
Cloud-based Auto Unseal in Vault
https://www.hashicorp.com/blog/enabling-cloud-based-auto-unseal-in-vault-open-source
https://www.hashicorp.com/blog/enabling-cloud-based-auto-unseal-in-vault-open-source
HashiCorp
Enabling Cloud-based Auto Unseal in Vault Open Source
In this blog post we give a brief overview of how to enable cloud-based auto unseal in Vault open source. If you're already using Vault, you'll need to migrate to auto unseal, but don't worry, you can migrate back to manual unseal whenever you like. If you've…
Forwarded from DevOps&SRE Library
Проект Ksonnet закрыт.
Подробности: https://blogs.vmware.com/cloudnative/2019/02/05/welcoming-heptio-open-source-projects-to-vmware/
Подробности: https://blogs.vmware.com/cloudnative/2019/02/05/welcoming-heptio-open-source-projects-to-vmware/
Forwarded from DataEng
YouTube
RabbitMQ vs Kafka - Jack Vanlightly x Erlang Solutions webinar
RabbitMQ vs Kafka
Messaging is at the core of many architectures and two giants in the messaging space are RabbitMQ and Apache Kafka. In this webinar we'll take a look at RabbitMQ and Kafka within the context of real-time event-driven architectures.
In this…
Messaging is at the core of many architectures and two giants in the messaging space are RabbitMQ and Apache Kafka. In this webinar we'll take a look at RabbitMQ and Kafka within the context of real-time event-driven architectures.
In this…
Forwarded from Anastasia
#вакансия #job #москва #fulltime
Город и адрес офиса: Москва, ст. м. Водный стадион
Название компании: Лаборатория Касперского
Формат работы: офис (график начала рабочего дня - гибкий)
Занятость: полная
Зарплатная вилка: 160-210 тыс. на руки (+ обсуждаем пожелания)
Описание вакансии: https://careers.kaspersky.ru/vacancy/9612/
Вакансия: Senior DevOps Linux
«Лаборатория Касперского» уже 21 год защищает мир от киберугроз. Более 400 миллионов пользователей выбирают наши технологии для защиты своих данных, а мы каждый день работаем над их совершенствованием. Сегодня наша команда — это 4 000 экспертов, которые работают в 37 странах мира. Все мы — обычные люди, со своими особенностями и увлечениями, но вместе мы 24 часа в сутки спасаем мир. Работа у нас — это возможность стать настоящим героем, оставаясь самим собой.
Область работы:
• Участие в планировании архитектуры, проработке требований по производительности, мониторингу, резервированию;
• Автоматизация задач администрирования (управление конфигурациями, контейнеризация, подготовка артефактов);
• Изучение и внедрение новых сервисов;
• Взаимодействие с разработчиками и тестировщиками, координация со смежными командами.
Мы ожидаем что Вы:
• Хорошо знаете практики эксплуатации критичных систем;
• Имеете опыт планирования и развертывания информационных систем работающих в режиме 24*7;
• Понимаете принципы микросервисной архитектуры, знакомы с разработкой ПО;
• Спокойно относитесь к перестраиванию приоритетов с учетом внеплановых активностей
• Детально понимаете устройство систем и сервисов с которыми работаете;
• Знаете Linux на уровне эксперта;
• Хорошо ориентируетесь в OpenSource решениях.
Что мы предлагаем:
• Интересные задачи и возможность присоединиться к команде профессионалов крупнейшей в мире частной антивирусной компании;
• Работу в современном комфортном офисе в 5-7 минутах ходьбы от ст.м. «Водный стадион» с зонами отдыха на каждом этаже и игровыми комнатами (настольный теннис и футбол);
• Конкурентоспособную заработную плату;
• Трудоустройство согласно ТК РФ;
• Широкий социальный пакет:
o ДМС и страхование жизни (включая детей)
o Врач и массаж в офисе
o Корпоративная мобильная связь
o Компенсация питания
• Бесплатный тренажерный зал в офисе и др;
• Различные возможности для карьерного и профессионального развития;
• Участие в тимбилдингах и корпоративных мероприятиях;
• Свободу в выборе своего стиля одежды;
• Релокационный пакет для кандидатов.
Контакты: @nteam или anastasiya.timashova@kaspersky.com
Город и адрес офиса: Москва, ст. м. Водный стадион
Название компании: Лаборатория Касперского
Формат работы: офис (график начала рабочего дня - гибкий)
Занятость: полная
Зарплатная вилка: 160-210 тыс. на руки (+ обсуждаем пожелания)
Описание вакансии: https://careers.kaspersky.ru/vacancy/9612/
Вакансия: Senior DevOps Linux
«Лаборатория Касперского» уже 21 год защищает мир от киберугроз. Более 400 миллионов пользователей выбирают наши технологии для защиты своих данных, а мы каждый день работаем над их совершенствованием. Сегодня наша команда — это 4 000 экспертов, которые работают в 37 странах мира. Все мы — обычные люди, со своими особенностями и увлечениями, но вместе мы 24 часа в сутки спасаем мир. Работа у нас — это возможность стать настоящим героем, оставаясь самим собой.
Область работы:
• Участие в планировании архитектуры, проработке требований по производительности, мониторингу, резервированию;
• Автоматизация задач администрирования (управление конфигурациями, контейнеризация, подготовка артефактов);
• Изучение и внедрение новых сервисов;
• Взаимодействие с разработчиками и тестировщиками, координация со смежными командами.
Мы ожидаем что Вы:
• Хорошо знаете практики эксплуатации критичных систем;
• Имеете опыт планирования и развертывания информационных систем работающих в режиме 24*7;
• Понимаете принципы микросервисной архитектуры, знакомы с разработкой ПО;
• Спокойно относитесь к перестраиванию приоритетов с учетом внеплановых активностей
• Детально понимаете устройство систем и сервисов с которыми работаете;
• Знаете Linux на уровне эксперта;
• Хорошо ориентируетесь в OpenSource решениях.
Что мы предлагаем:
• Интересные задачи и возможность присоединиться к команде профессионалов крупнейшей в мире частной антивирусной компании;
• Работу в современном комфортном офисе в 5-7 минутах ходьбы от ст.м. «Водный стадион» с зонами отдыха на каждом этаже и игровыми комнатами (настольный теннис и футбол);
• Конкурентоспособную заработную плату;
• Трудоустройство согласно ТК РФ;
• Широкий социальный пакет:
o ДМС и страхование жизни (включая детей)
o Врач и массаж в офисе
o Корпоративная мобильная связь
o Компенсация питания
• Бесплатный тренажерный зал в офисе и др;
• Различные возможности для карьерного и профессионального развития;
• Участие в тимбилдингах и корпоративных мероприятиях;
• Свободу в выборе своего стиля одежды;
• Релокационный пакет для кандидатов.
Контакты: @nteam или anastasiya.timashova@kaspersky.com
Forwarded from HABR FEED + OPENNET
[Перевод] Настройка кластера HA Kubernetes на «голом железе» с kubeadm. Часть 1/3
https://habr.com/ru/post/439562/
Tags: Блог компании Southbridge, DevOps, Серверное администрирование, Системное администрирование, k8s, docker, kubeadm, baremetal servers, high availability clusters, open source
Author nAbdullin on #habrahabr
https://habr.com/ru/post/439562/
Tags: Блог компании Southbridge, DevOps, Серверное администрирование, Системное администрирование, k8s, docker, kubeadm, baremetal servers, high availability clusters, open source
Author nAbdullin on #habrahabr
Habr
Настройка НА-кластера Kubernetes на «голом железе» с kubeadm. Часть 1/3
Часть 2/3 тут Часть 3/3 тут Всем привет! В этой статье я хочу упорядочить информацию и поделиться опытом создания и использования внутреннего кластера Kubernetes...
Forwarded from DevOps&SRE Library
Promerium
Неплохая identity-aware access proxy (по сути это просто reverse-proxy) для обеспечения доступа к ресурсам через учетки Google, GitLab, Azure и Okta.
https://www.pomerium.io
Неплохая identity-aware access proxy (по сути это просто reverse-proxy) для обеспечения доступа к ресурсам через учетки Google, GitLab, Azure и Okta.
https://www.pomerium.io
Forwarded from Записки админа
🔒 Kube PSP Advisor.
И вот ещё материал от ребят из Sysdig о том, как сделать ваш kubernetes ещё более безопасным с помощью такой штуки как Kube PodSecurityPolicy Advisor - https://sysdig.com/blog/enable-kubernetes-pod-security-policy/
Сама утилита доступна на Github - https://github.com/sysdiglabs/kube-psp-advisor
#kubernetes #github #напочитать
И вот ещё материал от ребят из Sysdig о том, как сделать ваш kubernetes ещё более безопасным с помощью такой штуки как Kube PodSecurityPolicy Advisor - https://sysdig.com/blog/enable-kubernetes-pod-security-policy/
Сама утилита доступна на Github - https://github.com/sysdiglabs/kube-psp-advisor
#kubernetes #github #напочитать
Forwarded from CatOps
Собрание тридцати лучших технических выступлений 2018 года по версии Cindy Sridharan. Со ссылками на слайды и видео + комментарии Cindy о докладе.
Вот список самих докладов:
- The Future of Microprocessors, Sophie Wilson
- The Hurricane’s Butterfly: Debugging pathologically performing systems, Bryan Cantrill
- Close Loops & Opening Minds: How to Take Control of Systems, Big & Small, Colm MacCarthaigh
- A Golden Age for Computer Architecture, David Patterson and John Hennessy
- Safe Client Behavior, Ariel Goh
- How to Serve and Protect (with Client Isolation), Frances Johnson
- Applied Performance Theory, Kavya Joshi
- Amazon Aurora: Design considerations for high throughput cloud-native relational databases, Sailesh Krishnamurthy
- Future of FoundationDB Storage Layer, Steve Atherton
- Autonomous Testing and the Future of Software Development, Will Wilson
- Everything about Distributed Systems is Terrible, Hillel Wayne
- What We Got Wrong: Lessons From The Birth Of Microservices at Google, Ben Sigelman
- Distributed Log-Processing Design Workshop, Laura Nolan, Phillip Tischler, Salim Virji
- Load Balancing at Hyper Scale, Alan Halachmi and Colm MacCarthaigh
- Isolation Without Containers, Tyler McMullen
- How C++ Debuggers Work, Simon Brand
- A Philosophy of Software Design, John Ousterhout
- Clangd: architecture of a scalable C++ language server, Ilya Biryukov
- Coroutine Representations and ABIs in LLVM, John McCall
- Developing Kotlin/Native infrastructure with LLVM/Clang, Nikolay Igotti
- Fresh Async With Kotlin, Roman Elizarov
- Kotlin Native Concurrency Model, Nikolay Igotti
- Is it time to write an Operating System in Rust, Bryan Cantrill
- What do you mean “thread-safe”?, Geoffrey Romer
- Fast Safe Mutable State, Ben Cohen
- The Dos and Donts of Error Handling, Joe Armstrong
- QUIC: Developing and Deploying a TCP Replacement for the Web, Ian Swett and Jana Iyengar
- Introducing Network.framework: A modern alternative to Sockets, Josh Graessley, Tommy Pauly, Eric Kinnear
- Kubernetes and the Path to Serverless, Kelsey Hightower
- Using Rust for Game Development, Catherine West
P.S. Не раз кидал сюда её тексты об observability
Вот список самих докладов:
- The Future of Microprocessors, Sophie Wilson
- The Hurricane’s Butterfly: Debugging pathologically performing systems, Bryan Cantrill
- Close Loops & Opening Minds: How to Take Control of Systems, Big & Small, Colm MacCarthaigh
- A Golden Age for Computer Architecture, David Patterson and John Hennessy
- Safe Client Behavior, Ariel Goh
- How to Serve and Protect (with Client Isolation), Frances Johnson
- Applied Performance Theory, Kavya Joshi
- Amazon Aurora: Design considerations for high throughput cloud-native relational databases, Sailesh Krishnamurthy
- Future of FoundationDB Storage Layer, Steve Atherton
- Autonomous Testing and the Future of Software Development, Will Wilson
- Everything about Distributed Systems is Terrible, Hillel Wayne
- What We Got Wrong: Lessons From The Birth Of Microservices at Google, Ben Sigelman
- Distributed Log-Processing Design Workshop, Laura Nolan, Phillip Tischler, Salim Virji
- Load Balancing at Hyper Scale, Alan Halachmi and Colm MacCarthaigh
- Isolation Without Containers, Tyler McMullen
- How C++ Debuggers Work, Simon Brand
- A Philosophy of Software Design, John Ousterhout
- Clangd: architecture of a scalable C++ language server, Ilya Biryukov
- Coroutine Representations and ABIs in LLVM, John McCall
- Developing Kotlin/Native infrastructure with LLVM/Clang, Nikolay Igotti
- Fresh Async With Kotlin, Roman Elizarov
- Kotlin Native Concurrency Model, Nikolay Igotti
- Is it time to write an Operating System in Rust, Bryan Cantrill
- What do you mean “thread-safe”?, Geoffrey Romer
- Fast Safe Mutable State, Ben Cohen
- The Dos and Donts of Error Handling, Joe Armstrong
- QUIC: Developing and Deploying a TCP Replacement for the Web, Ian Swett and Jana Iyengar
- Introducing Network.framework: A modern alternative to Sockets, Josh Graessley, Tommy Pauly, Eric Kinnear
- Kubernetes and the Path to Serverless, Kelsey Hightower
- Using Rust for Game Development, Catherine West
P.S. Не раз кидал сюда её тексты об observability
Medium
Best of 2018 in Tech Talks
For the past two years, I’ve been publishing a list of my favorite tech talks from the previous year (here’s the 2016 edition of this post…
Forwarded from DevOps&SRE Library
Отличная серия постов в блоге компании Gruntwork про некоторые важные аспекты обслуживания кластеров Kubernetes.
Zero Downtime Server Updates For Your Kubernetes Cluster:
https://blog.gruntwork.io/zero-downtime-server-updates-for-your-kubernetes-cluster-902009df5b33
Gracefully Shutting Down Pods in a Kubernetes Cluster:
https://blog.gruntwork.io/gracefully-shutting-down-pods-in-a-kubernetes-cluster-328aecec90d
Delaying Shutdown to Wait for Pod Deletion Propagation:
https://blog.gruntwork.io/delaying-shutdown-to-wait-for-pod-deletion-propagation-445f779a8304
Avoiding Outages in your Kubernetes Cluster using PodDisruptionBudgets:
https://blog.gruntwork.io/avoiding-outages-in-your-kubernetes-cluster-using-poddisruptionbudgets-ef6a4baa5085
Zero Downtime Server Updates For Your Kubernetes Cluster:
https://blog.gruntwork.io/zero-downtime-server-updates-for-your-kubernetes-cluster-902009df5b33
Gracefully Shutting Down Pods in a Kubernetes Cluster:
https://blog.gruntwork.io/gracefully-shutting-down-pods-in-a-kubernetes-cluster-328aecec90d
Delaying Shutdown to Wait for Pod Deletion Propagation:
https://blog.gruntwork.io/delaying-shutdown-to-wait-for-pod-deletion-propagation-445f779a8304
Avoiding Outages in your Kubernetes Cluster using PodDisruptionBudgets:
https://blog.gruntwork.io/avoiding-outages-in-your-kubernetes-cluster-using-poddisruptionbudgets-ef6a4baa5085