Forwarded from Вокруг Kubernetes в VK
Привет, друзья.
Мы подумали, живут же как-то люди без логирования и мониторинга. Ну и мы не будем долго оплакивать выбывший доклад на эту тему — а вместо него расскажем сами, как наше блочное хранилище эволюционировало и перестало быть обычной инсталляцией Ceph.
На этом примере покажем, как развиваем свою инфраструктуру, чтобы наши PaaS-сервисы, используемые в DevOps-практике — базы данных в облаке, файловое хранилище и Kubernetes как сервис и другие — работали максимально производительно.
Про мониторинг там тоже будет. У нас есть множество средств диагностики, которые редко используются в широкой практике. Их основная цель — сбор данных, которые мы используем для внесения улучшений в работу всей платформы Mail.ru Cloud Solutions. Пример — end-to-end диагностика Ceph, которая позволила нам сделать оптимизации наших HDD-кластеров Ceph.
Следующий четверг, 22 августа, московский офис Mail.ru Group. Регистрируйтесь, кто еще не: https://corp.mail.ru/ru/press/events/devops-2/
Мы подумали, живут же как-то люди без логирования и мониторинга. Ну и мы не будем долго оплакивать выбывший доклад на эту тему — а вместо него расскажем сами, как наше блочное хранилище эволюционировало и перестало быть обычной инсталляцией Ceph.
На этом примере покажем, как развиваем свою инфраструктуру, чтобы наши PaaS-сервисы, используемые в DevOps-практике — базы данных в облаке, файловое хранилище и Kubernetes как сервис и другие — работали максимально производительно.
Про мониторинг там тоже будет. У нас есть множество средств диагностики, которые редко используются в широкой практике. Их основная цель — сбор данных, которые мы используем для внесения улучшений в работу всей платформы Mail.ru Cloud Solutions. Пример — end-to-end диагностика Ceph, которая позволила нам сделать оптимизации наших HDD-кластеров Ceph.
Следующий четверг, 22 августа, московский офис Mail.ru Group. Регистрируйтесь, кто еще не: https://corp.mail.ru/ru/press/events/devops-2/
Forwarded from Находки в опенсорсе
If you are a system administrator, or just a regular #linux user, there is a very high chance that you worked with #syslog, at least one time.
On your Linux system, pretty much everything related to system logging is linked to the Syslog protocol.
Designed in the early 80’s by Eric Allman (from Berkeley University), the syslog protocol is a specification that defines a standard for message logging on any system.
Syslog is not tied to Linux operating systems, it can also be used on Windows instances, or ony operating system that implements the syslog protocol.
If you want to know more about syslog and about Linux logging in general, this is probably the tutorial that you should read.
On your Linux system, pretty much everything related to system logging is linked to the Syslog protocol.
Designed in the early 80’s by Eric Allman (from Berkeley University), the syslog protocol is a specification that defines a standard for message logging on any system.
Syslog is not tied to Linux operating systems, it can also be used on Windows instances, or ony operating system that implements the syslog protocol.
If you want to know more about syslog and about Linux logging in general, this is probably the tutorial that you should read.
Forwarded from oleg_log (Oleg Kovalov)
Ура, видосы с GoWayFest 2019 приехали!!! мои выходные предрешены
https://www.youtube.com/playlist?list=PLpVeA1tdgfCAtZiF-mW1IpiUNDQQHrWmF
https://www.youtube.com/playlist?list=PLpVeA1tdgfCAtZiF-mW1IpiUNDQQHrWmF
Forwarded from HABR FEED + OPENNET
[Перевод] Слияние OpenTracing и OpenCensus: путь к конвергенции
https://habr.com/ru/post/464001/
Tags: Блог компании Southbridge, Системное администрирование, Серверное администрирование, DevOps, programming, opentracing, opencensus
Author nAbdullin on #habrahabr
https://habr.com/ru/post/464001/
Tags: Блог компании Southbridge, Системное администрирование, Серверное администрирование, DevOps, programming, opentracing, opencensus
Author nAbdullin on #habrahabr
Habr
Слияние OpenTracing и OpenCensus: путь к конвергенции
Авторы: Тед Янг, Притам Шах и «Комитет технических спецификаций» (Карлос Альберто, Богдан Друту, Сергей Канжелев и Юрий Шкуро). Совместный проект обзавелся назв...
Forwarded from PythonDigest
Список инструментов для ведения проекта
https://medium.com/georgian-impact-blog/python-tooling-makes-a-project-tick-181d567eea44
Документация, тестирование, форматирование кода
https://medium.com/georgian-impact-blog/python-tooling-makes-a-project-tick-181d567eea44
Документация, тестирование, форматирование кода
Forwarded from DevOps&SRE Library
Kubernetes security notes and best practices
Советы и заметки по безопасности Kubernetes.
https://github.com/kabachook/k8s-security
Советы и заметки по безопасности Kubernetes.
https://github.com/kabachook/k8s-security
Дампим траффик и диагностируем сервис меш с ksniff https://blog.getambassador.io/verifying-service-mesh-tls-in-kubernetes-using-ksniff-and-wireshark-454b1e3f4dc9 #k8s #network #tcpdump
Medium
Verifying Service Mesh TLS in Kubernetes, Using ksniff and Wireshark
Alongside Nic Jackson from HashiCorp, I have recently presented at several conferences and webinars about the need for transport-level…
Forwarded from DevOps&SRE Library
KUBERNETES WEB UIS IN 2019
Обзор существующих Kubernetes дашбордов и почему в Zalando решили сделать свой дашборд.
https://srcco.de/posts/kubernetes-web-uis-in-2019.html
Обзор существующих Kubernetes дашбордов и почему в Zalando решили сделать свой дашборд.
https://srcco.de/posts/kubernetes-web-uis-in-2019.html
Forwarded from DevOps&SRE Library
Forwarded from Александров Андрей enabling.team
Upskilling: Enterprise DevOps Skills Report 2019
Прочитал на этих выходных результаты исследования Upskilling: Enterprise DevOps Skills Report 2019. Ребята выясняли что индустрия думает о навыках, которыми нужно обладать для трансформации компании. Что порадовало, в этом исследовании участвовали в основном лиды, менеджеры, руководители, и даже немного C-level(6%).
Результаты грустные. Чаще всего компания хотят нанять DevOps Engineer. К сожалению, в мировом ИТ тоже еще не до всех дошло, что это им не поможет 🙁
Большая часть отчета говорит о том что компании понимают DevOps как автоматизацию и поэтому считают скилы автоматизации самыми важными.
Второе и третье по важности место занимают навыки "Process Skills and Knowledge" и "Soft Skills". Это дает мне надежду что однажды наша индустрия таки выберется из этого болота 🙂
https://info.devopsinstitute.com/upskilling-report-2019
Прочитал на этих выходных результаты исследования Upskilling: Enterprise DevOps Skills Report 2019. Ребята выясняли что индустрия думает о навыках, которыми нужно обладать для трансформации компании. Что порадовало, в этом исследовании участвовали в основном лиды, менеджеры, руководители, и даже немного C-level(6%).
Результаты грустные. Чаще всего компания хотят нанять DevOps Engineer. К сожалению, в мировом ИТ тоже еще не до всех дошло, что это им не поможет 🙁
Большая часть отчета говорит о том что компании понимают DevOps как автоматизацию и поэтому считают скилы автоматизации самыми важными.
Второе и третье по важности место занимают навыки "Process Skills and Knowledge" и "Soft Skills". Это дает мне надежду что однажды наша индустрия таки выберется из этого болота 🙂
https://info.devopsinstitute.com/upskilling-report-2019
Devopsinstitute
Upskilling: Enterprise DevOps Skills Report 2019
Discover unique insights with this first of its kind survey to baseline & track DevOps skillsets across the global enterprise IT community. Download today!
Скучаете по go fmt в питоне? https://github.com/life4/awesome-python-code-formatters
GitHub
GitHub - life4/awesome-python-code-formatters: A curated list of awesome Python code formatters
A curated list of awesome Python code formatters. Contribute to life4/awesome-python-code-formatters development by creating an account on GitHub.
Хорошая статья про kubelet и его потребление ресурсов https://medium.com/kubernetes-tutorials/efficient-node-out-of-resource-management-in-kubernetes-67f158da6e59 #k8s #kubelet
Medium
Efficient Node Out-of-Resource Management in Kubernetes
As you might alredy know, kubelet is a primary node component in Kubernetes that performs a number of critical tasks. In particular…
Тут ребята поели целый год EKS и решили рассказать про свой опыт https://medium.com/better-programming/a-whole-year-of-amazon-eks-805e13d9600c #k8s #aws
Medium
A Whole Year of Amazon EKS
Is EKS all it’s cracked up to be?
Чёрт с ним, что это может быь непрактично, но это прелесть! https://habr.com/post/463441
Habr
Sampler. Консольная утилита для визуализации результата любых shell команд
В общем случае с помощью shell команды можно получить любую метрику, без написания кода и интеграций. А значит в консоли должен быть простой и удобный инструмент для визуализации. Наблюдение за...
Forwarded from HABR FEED + OPENNET
Кот Шрёдингера без коробки: проблема консенсуса в распределённых системах
https://habr.com/ru/post/463469/
Tags: Блог компании Dodo Pizza Engineering, Анализ и проектирование систем, Алгоритмы, Математика, Распределённые системы, распределённые вычисления, консенсус, Paxos, dodopizzaengineering, dodo is, асинхронная модель
Author Ceridan on #habrahabr
https://habr.com/ru/post/463469/
Tags: Блог компании Dodo Pizza Engineering, Анализ и проектирование систем, Алгоритмы, Математика, Распределённые системы, распределённые вычисления, консенсус, Paxos, dodopizzaengineering, dodo is, асинхронная модель
Author Ceridan on #habrahabr
Хабр
Кот Шрёдингера без коробки: проблема консенсуса в распределённых системах
Итак, представим. В комнате заперты 5 котов, и чтобы пойти разбудить хозяина им необходимо всем вместе договориться между собой об этом, ведь дверь они могут открыть только впятером навалившись на...
Forwarded from HABR FEED + OPENNET
Как работать с Postgres в Go: практики, особенности, нюансы
https://habr.com/ru/post/461935/
Tags: Блог компании Конференции Олега Бунина (Онтико), Блог компании Авито, Высокая производительность, PostgreSQL, Go, postgresql, go, golang
Author Flaker on #habrahabr
https://habr.com/ru/post/461935/
Tags: Блог компании Конференции Олега Бунина (Онтико), Блог компании Авито, Высокая производительность, PostgreSQL, Go, postgresql, go, golang
Author Flaker on #habrahabr
Хабр
Как работать с Postgres в Go: практики, особенности, нюансы
Неожиданное поведение приложения в отношении работы с базой приводит к войне между DBA и разработчиками: DBA кричат: «Ваше приложение роняет базу», разработчики — «Но ведь до этого всё работало!»....
Forwarded from HABR FEED + OPENNET
Открытый микрофон от DevOps Deflope, рассказы про инфраструктуру Skyeng и Nvidia и не только
https://habr.com/ru/post/464193/
Tags: Блог компании Skyeng, Высокая производительность, Анализ и проектирование систем, IT-инфраструктура, DevOps, sre митап, инфраструктура как продукт, балансировка кластера Kafka, devops deflope
Author spasibo_kep on #habrahabr
https://habr.com/ru/post/464193/
Tags: Блог компании Skyeng, Высокая производительность, Анализ и проектирование систем, IT-инфраструктура, DevOps, sre митап, инфраструктура как продукт, балансировка кластера Kafka, devops deflope
Author spasibo_kep on #habrahabr
Хабр
Открытый микрофон от DevOps Deflope, рассказы про инфраструктуру Skyeng и Nvidia и не только
Привет, в следующий вторник на Таганке планируются теплые ламповые посиделки: будет Артем Науменко с рассказом про инфрастуктуру как продукт, Виталий Добровольск...