Forwarded from Sysadmin Tools 🇺🇦
Forwarded from DevOps&SRE Library
Linux Hardening Guide
Linux is not a secure operating system. However, there are steps you can take to improve it. This guide aims to explain how to harden Linux as much as possible for security and privacy. This guide attempts to be distribution-agnostic and is not tied to any specific one.https://madaidans-insecurities.github.io/guides/linux-hardening.html
Forwarded from Флант | Специалисты по DevOps и Kubernetes
Перевод размышлений о сложностях и радостях перевода инфраструктуры на Kubernetes — по опыту крупного индийского онлайн-магазина. https://habr.com/ru/company/flant/blog/533736/
Хабр
Выводы Grofers после двух лет Kubernetes в production
Прим. перев.: эта статья — опыт миграции на Kubernetes одного из крупнейших в Индии онлайн-магазинов продуктов. В ней Vaidik Kapoor, software engineer из Grofers...
Forwarded from Experimental chill
#рецензии
Ультракороткие рецензии на тoп инженерных находок 2020го года от @Danlark, которых не было в блоге. Часть 1.
1. Deterministic Aperture: A distributed, load balancing algorithm
Балансеры в компании Twitter красиво переплетают идеи consistent hashing, непрерывной геометрии и power of 2 choices, что помогает сократить количество соединений в 10 раз и снизить дисперсию распределения запросов на 78%.
2. BOLT: A Practical Binary Optimizer for Data Centers and Beyond
Компания Facebook оптимизирует и так уже PGO соптимизированные C++ бинари в реальном времени, собирая профили и ставя горячие блоки кода близко друг к другу. Из-за этого сайты Facebook и Instagram ускорились на 5-7%, а пропозал по добавлению такой функциональности был принят в LLVM.
3. ScaNN: Efficient Vector Similarity Search
Google выложил свой алгоритм поиска похожих векторов, который обыгрывает по скорости все предыдущие примерно в 2 раза, отличие от других алгоритмов только в том, что ScaNN правильно подобрал константы для квантования и хорошо применил SIMD. Но удачи собрать и запустить это на C++.
4. Elle: Inferring Isolation Anomalies from Experimental Observations
Господин Jepsen наконец-то завершает свои походы со стабильным фреймворком для проверки консистентности в базах данных. В статье сказано: "we believe Elle will make the database industry safer", может быть, он всё таки имел в виду "suffer"?
5. The Case for a Learned Sorting Algorithm
Самобучающийся алгоритм сортировки пытается с помощью real-time модели предсказать примерные позиции в отсортированном массиве, а потом уже легко пройтись и найти точные. Да, оно работает быстрее, чем std::sort вместе с обучением. Да, оно потенциально выкопает могилу теоретикам. Результат как минимум примечательный, но сравнений алгоритмов для однозначной победы и правда маловато.
To be continued...
Ультракороткие рецензии на тoп инженерных находок 2020го года от @Danlark, которых не было в блоге. Часть 1.
1. Deterministic Aperture: A distributed, load balancing algorithm
Балансеры в компании Twitter красиво переплетают идеи consistent hashing, непрерывной геометрии и power of 2 choices, что помогает сократить количество соединений в 10 раз и снизить дисперсию распределения запросов на 78%.
2. BOLT: A Practical Binary Optimizer for Data Centers and Beyond
Компания Facebook оптимизирует и так уже PGO соптимизированные C++ бинари в реальном времени, собирая профили и ставя горячие блоки кода близко друг к другу. Из-за этого сайты Facebook и Instagram ускорились на 5-7%, а пропозал по добавлению такой функциональности был принят в LLVM.
3. ScaNN: Efficient Vector Similarity Search
Google выложил свой алгоритм поиска похожих векторов, который обыгрывает по скорости все предыдущие примерно в 2 раза, отличие от других алгоритмов только в том, что ScaNN правильно подобрал константы для квантования и хорошо применил SIMD. Но удачи собрать и запустить это на C++.
4. Elle: Inferring Isolation Anomalies from Experimental Observations
Господин Jepsen наконец-то завершает свои походы со стабильным фреймворком для проверки консистентности в базах данных. В статье сказано: "we believe Elle will make the database industry safer", может быть, он всё таки имел в виду "suffer"?
5. The Case for a Learned Sorting Algorithm
Самобучающийся алгоритм сортировки пытается с помощью real-time модели предсказать примерные позиции в отсортированном массиве, а потом уже легко пройтись и найти точные. Да, оно работает быстрее, чем std::sort вместе с обучением. Да, оно потенциально выкопает могилу теоретикам. Результат как минимум примечательный, но сравнений алгоритмов для однозначной победы и правда маловато.
To be continued...
X
Deterministic Aperture: A distributed, load balancing algorithm
As parts of the Twitter application grow, we can scale demands on capacity by adding more instances or replicas to a respective service cluster (i.e., horizontal scaling)
Forwarded from Go Дайджест
Про pprof в очередной раз. 😒
https://tusharsheth.medium.com/how-i-found-memory-leaks-in-the-golang-app-using-pprof-56e5d55363ba
https://tusharsheth.medium.com/how-i-found-memory-leaks-in-the-golang-app-using-pprof-56e5d55363ba
Medium
How I found memory leaks in the Golang app using “pprof”
Here, I’ll be writing about how we can squeeze out the performance and at the same time &can be spared from doing refactor when you are…
Forwarded from k8s (in)security (D1g1)
Всем, привет!
Ребята с не малоизвестного ресурса Habr пригласили меня сегодня в 19:00 (Мск) поучаствовать в их видкасте.
Тема:
Инфобез как война роботов
Описание:
Многие уловили момент, когда информационная безопасность перешла из стадии человек против человека в стадию человек против машины, но пропустили, когда же инфобез стал войной роботов. А между тем фактически вся ИБ уже работает на ИИ. Так когда это произошло? И какие форматы предиктивной защиты подарило нам машинное обучение? Чем теперь занимаются освободившиеся люди? Как дальше будут эволюционировать машинописные угрозы? Обсуждаем все, что касается настоящего и будущего инфобеза.
Online можно смотреть в VK, Facebook и YouTube.
Ребята с не малоизвестного ресурса Habr пригласили меня сегодня в 19:00 (Мск) поучаствовать в их видкасте.
Тема:
Инфобез как война роботов
Описание:
Многие уловили момент, когда информационная безопасность перешла из стадии человек против человека в стадию человек против машины, но пропустили, когда же инфобез стал войной роботов. А между тем фактически вся ИБ уже работает на ИИ. Так когда это произошло? И какие форматы предиктивной защиты подарило нам машинное обучение? Чем теперь занимаются освободившиеся люди? Как дальше будут эволюционировать машинописные угрозы? Обсуждаем все, что касается настоящего и будущего инфобеза.
Online можно смотреть в VK, Facebook и YouTube.
VK Видео
Хабр ПРО. Инфобез как война роботов
Многие уловили момент, когда информационная безопасность перешла из стадии человек против человека в стадию человек против машины, но пропустили, когда же инфобез стал войной роботов. А между тем фактически вся ИБ уже работает на ИИ. Так когда это произошло?…
Forwarded from Go Дайджест
Самые сливки Гоферкона. Офигенный доклад с кучей команд и флагов для компилятора, чтобы узнать о всем подкапотном вашего бинарника. 🤯🤓🥸
https://youtu.be/qPIB3STWXVk
https://youtu.be/qPIB3STWXVk
YouTube
GopherCon 2020: Jaana Dogan - Debugging Code Generation in Go
Have you ever tried to understand how the Go toolchain takes your source code and generates a binary? Have you ever wondered how you can inspect machine code generated from Go source code? Or, have you ever optimized some Go code to later realize Go compiler…
Forwarded from Мониторим ИТ
Мониторинг многопоточных приложений Node.JS
В этой статье мы разберем особенности мониторинга многопоточного Node.JS приложения на примере нашего коллектора для сервиса мониторинга и анализа логов серверов PostgreSQL. Читать дальше.
В этой статье мы разберем особенности мониторинга многопоточного Node.JS приложения на примере нашего коллектора для сервиса мониторинга и анализа логов серверов PostgreSQL. Читать дальше.
Хабр
Мониторинг многопоточных приложений Node.JS
В этой статье мы разберем особенности мониторинга многопоточного Node.JS приложения на примере нашего коллектора для сервиса мониторинга и анализа логов серверов...
Forwarded from Sysadmin Tools 🇺🇦
Хабр
Аварии как опыт #1. Как сломать два кластера ClickHouse, не уточнив один нюанс
Про некоторые свои failure stories мы уже писали и раньше , но теперь мне выпала честь формально открыть специальный цикл из таких статей. Ведь аварии, их причины и последствия — это тоже часть нашей...
Forwarded from sudo rm -rf /*
А вот подробный и очень понятный текст для тех, кто всегда хотел вникнуть в NUMA Topology, но не знал как подойти к вопросу. Внезапно даже на русском языке (sic!)
Не обращайте внимания на то что дока под RedHat6, информация актуальна и по сей день.
Не обращайте внимания на то что дока под RedHat6, информация актуальна и по сей день.
Red Hat Customer Portal
Глава 4. Процессор Red Hat Enterprise Linux 6 | Red Hat Customer Portal
Access Red Hat’s knowledge, guidance, and support through your subscription.
Forwarded from DevOps&SRE Library
Anatomy of Unsuccessful Incident Management
- Confusion about Processhttps://blog.kintaba.com/posts/anatomy-of-unsuccessful-incident-management
- Panic and Thrash
- Lack of Awareness
- Blame
- Uncoordinated & Conflicting Response
- Confusion over Ownership
- Repeat Problems
С наступающим (а кое кого уже и с наступившим) Новым Годом, друзья! Много девяток, поменьше скушных митингов, факапов и душных коллег. Stay tuned!
Forwarded from The After Times
Занимательная статья на Хабре (http://slurm.club/2KtNgD7) о том, почему Apache Kafka такая шустрая и популярная. Для тех, кто работает с технологией советуем ознакомиться с тем, что у кафки “под капотом”. Это многое объясняет. Например, можно почитать про батчинг записей, пакетное сжатие, буферизованные операции, zero-copy и другие фишечки.
Хабр
Почему Kafka такая быстрая
За последние несколько лет в сфере архитектуры ПО произошли огромные изменения. Идея единственного монолитного приложения или даже нескольких крупных сервисов,...
Forwarded from DevOps&SRE Library
DataHub: Popular metadata architectures explained
https://engineering.linkedin.com/blog/2020/datahub-popular-metadata-architectures-explained
https://engineering.linkedin.com/blog/2020/datahub-popular-metadata-architectures-explained
Forwarded from Библиотека Go-разработчика | Golang
Пишем шаблон аутентификации с нуля, используя Go, GoFiber и PostgreSQL:
- Реализация сервера с PostgreSQL
- Настройка маршрута SignUp
- Реализация маршрута входа и частных маршрутов с обновлением токенов
- Реализация сервера с PostgreSQL
- Настройка маршрута SignUp
- Реализация маршрута входа и частных маршрутов с обновлением токенов
DEV Community
Create a server with PostgreSQL in Go - Part[1/3] of Go Authentication series
In this tutorial, you will learn how to make an authentication boilerplate with Go. We will use GoFib...
DevOps — их популярность растет с каждым днем.
Девопсы нужны всем и желательно вчера.
А чтобы запрыгнуть в вагон уходящего поезда — скорее регистрируйтесь на бесплатный вебинар «Как стать DevOps-инженером» образовательной экосистемы GeekBrains Mail.Ru Group. Вам расскажут, кто такие devops-инженеры и какие проблемы они решают.
За полтора часа вы узнаете:
– стандартные практики управления и администрирования IT-инфраструктуры;
– проблемы пользователей, связанные с данными практиками;
– возможности, появляющиеся со сменой подхода;
– требования к успешной работе инженеров и администраторов.
Блестящая IT-карьера ждет вас после первого шага на вебинаре → https://geekbrains.ru/link/G~eSGx
Девопсы нужны всем и желательно вчера.
А чтобы запрыгнуть в вагон уходящего поезда — скорее регистрируйтесь на бесплатный вебинар «Как стать DevOps-инженером» образовательной экосистемы GeekBrains Mail.Ru Group. Вам расскажут, кто такие devops-инженеры и какие проблемы они решают.
За полтора часа вы узнаете:
– стандартные практики управления и администрирования IT-инфраструктуры;
– проблемы пользователей, связанные с данными практиками;
– возможности, появляющиеся со сменой подхода;
– требования к успешной работе инженеров и администраторов.
Блестящая IT-карьера ждет вас после первого шага на вебинаре → https://geekbrains.ru/link/G~eSGx
Forwarded from Sysadmin Tools 🇺🇦
Отличное введение в очереди/брокеры сообщений
https://sudhir.io/the-big-little-guide-to-message-queues/
#kafka #nsq #mq #nats #aws #fcp
https://sudhir.io/the-big-little-guide-to-message-queues/
#kafka #nsq #mq #nats #aws #fcp
sudhir.io
The Big Little Guide to Message Queues
A guide to the fundamental concepts that underlie message queues, and how they apply to popular queueing systems available today.
Forwarded from DevOps&SRE Library
How to sell SLOs to Engineering Directors
https://medium.com/brexeng/how-to-sell-slos-to-engineering-directors-9c6379c3f246
https://medium.com/brexeng/how-to-sell-slos-to-engineering-directors-9c6379c3f246