Forwarded from Security Wine (бывший - DevSecOps Wine) (Denis Yakimov)
Kubernetes Threat Modeling Simulator
Kubernetes Threat Modeling Simulator - тестовый стенд, разворачиваемый с помощью Terraform в AWS, на котором можно попрактиковать различные сценарии атаки и защиты в k8s. Сюда входят атаки на секреты, rbac, etcd и многое другое. В случае, если что-то не получается, можно воспользоваться хинтами.
Чтобы получить какую-то теоретическую базу, можно ознакомиться с K8s Attack Tree. Это набор сценариев различных атак в виде деревьев на базе методологии STRIDE.
Ну и не забываем про известный проект ATT&CK Matrix Kubernetes.
#k8s #attack #threatmodeling #ops
Kubernetes Threat Modeling Simulator - тестовый стенд, разворачиваемый с помощью Terraform в AWS, на котором можно попрактиковать различные сценарии атаки и защиты в k8s. Сюда входят атаки на секреты, rbac, etcd и многое другое. В случае, если что-то не получается, можно воспользоваться хинтами.
Чтобы получить какую-то теоретическую базу, можно ознакомиться с K8s Attack Tree. Это набор сценариев различных атак в виде деревьев на базе методологии STRIDE.
Ну и не забываем про известный проект ATT&CK Matrix Kubernetes.
#k8s #attack #threatmodeling #ops
Forwarded from Полезняшки от "Разбора Полетов"
Why CockroachDB and PostgreSQL Are Compatible
https://www.cockroachlabs.com/blog/why-postgres/
https://www.cockroachlabs.com/blog/why-postgres/
Cockroachlabs
Why CockroachDB and PostgreSQL are compatible
CockroachDB is PostgreSQL compatible in order to be accessible to an ecosystem of drivers, existing code, and developer knowledge.
🌲 Начните строить Новый 2021 год с фундаментального на бесплатных вебинарах онлайн-интенсива «CI/CD или Непрерывная поставка с Docker и Kubernetes» и онлайн-курса «Алгоритмы и структуры данных»:
📌«Demo Day супер-интенсива «CI/CD или Непрерывная поставка с Docker и Kubernetes»: https://otus.pw/1Slh/
— Задайте преподавателю-практику любые вопросы по CI/CD. Узнайте всё о программе интенсива, навыках, компетенциях и перспективах, которые ждут выпускников после обучения.
📌«Заповедники двоичных деревьев поиска»: https://otus.pw/G8Qj/
— Выясните, что такое двоичное дерево и как с его помощью организовать поиск элементов за логарифмическое время. Поговорите об АВЛ и Красно-черных деревьях, о Расширяющихся и Рандомизированных деревьях, о правилах добавления, удаления и балансировки двоичных деревьев поиска.
👉🏻Регистрируйтесь сейчас — напомним в день вебинара!
📌«Demo Day супер-интенсива «CI/CD или Непрерывная поставка с Docker и Kubernetes»: https://otus.pw/1Slh/
— Задайте преподавателю-практику любые вопросы по CI/CD. Узнайте всё о программе интенсива, навыках, компетенциях и перспективах, которые ждут выпускников после обучения.
📌«Заповедники двоичных деревьев поиска»: https://otus.pw/G8Qj/
— Выясните, что такое двоичное дерево и как с его помощью организовать поиск элементов за логарифмическое время. Поговорите об АВЛ и Красно-черных деревьях, о Расширяющихся и Рандомизированных деревьях, о правилах добавления, удаления и балансировки двоичных деревьев поиска.
👉🏻Регистрируйтесь сейчас — напомним в день вебинара!
Forwarded from Engineer Readings
[Article][System design] https://dropbox.tech/infrastructure/asynchronous-task-scheduling-at-dropbox
dropbox.tech
How we designed Dropbox’s ATF - an async task framework
Rebrain Christmas Sale: новогодняя распродажа IT-практикумов
Если вы давно хотели получить новую профессию в сфере IT, самое время начинать! Rebrain открывает новогоднюю распродажу самых популярных программ: онлайн-практикумов для специалистов по инфраструктуре. Успейте подключиться до 28 декабря со скидкой!
Практикумы для специалистов по IT-инфраструктуре
DevOps by Rebrain – 56 250 рублей вместо 75 000 рублей (ваша экономия – 18 750 рублей)
Docker by Rebrain – 28 690 рублей вместо 35 000 рублей (ваша экономия – 6 310 рублей)
Kubernetes by Rebrain – 37 690 рублей вместо 50 000 рублей (ваша экономия – 12 310 рублей)
При одновременной покупке практикумов DevOps by Rebrain + Kubernetes by Rebrain, практикум по K8s вы сможете приобрести всего за 10 000 вместо 50 000 рублей.
Подключиться к практикуму – https://rebrainme.com/kubernetes/
Linux by Rebrain – 55 000 рублей вместо 70 000 рублей (ваша экономия – 15 000 рублей)
Архитектор высоких нагрузок – 55 000 рублей вместо 75 000 рублей (ваша экономия – 20 000 рублей)
Практикумы для разработчиков
Golang-разработчик – 45 790 рублей вместо 60 000 рублей (ваша экономия – 14 210 рублей)
Онлайн-тренажеры по базовым технологиям
NGINX, Bash, Logs – 3390 рублей вместо 6990 рублей (ваша экономия – 3 600 рублей)
Узнать больше о Rebrain, посмотреть отзывы и записаться на практикум со скидкой: https://rebrainme.com/
Если вы давно хотели получить новую профессию в сфере IT, самое время начинать! Rebrain открывает новогоднюю распродажу самых популярных программ: онлайн-практикумов для специалистов по инфраструктуре. Успейте подключиться до 28 декабря со скидкой!
Практикумы для специалистов по IT-инфраструктуре
DevOps by Rebrain – 56 250 рублей вместо 75 000 рублей (ваша экономия – 18 750 рублей)
Docker by Rebrain – 28 690 рублей вместо 35 000 рублей (ваша экономия – 6 310 рублей)
Kubernetes by Rebrain – 37 690 рублей вместо 50 000 рублей (ваша экономия – 12 310 рублей)
При одновременной покупке практикумов DevOps by Rebrain + Kubernetes by Rebrain, практикум по K8s вы сможете приобрести всего за 10 000 вместо 50 000 рублей.
Подключиться к практикуму – https://rebrainme.com/kubernetes/
Linux by Rebrain – 55 000 рублей вместо 70 000 рублей (ваша экономия – 15 000 рублей)
Архитектор высоких нагрузок – 55 000 рублей вместо 75 000 рублей (ваша экономия – 20 000 рублей)
Практикумы для разработчиков
Golang-разработчик – 45 790 рублей вместо 60 000 рублей (ваша экономия – 14 210 рублей)
Онлайн-тренажеры по базовым технологиям
NGINX, Bash, Logs – 3390 рублей вместо 6990 рублей (ваша экономия – 3 600 рублей)
Узнать больше о Rebrain, посмотреть отзывы и записаться на практикум со скидкой: https://rebrainme.com/
Forwarded from Записки админа
🛠 How to Trace Linux System Calls in Production with Minimal Impact on Performance - несколько слов о perf, traceloop и их использовании. #напочитать #perf #traceloop
Forwarded from 🇺🇦 Go performance channel (Oleg Kovalov)
Now let's jump to the allocator changes and how to return memory back to OS by Michael Knyszek (from #golang team) at @GopherCon
Did you get this tree fix (ts@18:50) ? Heavy one. Bitmap tree is an another gem from runtime pkg
https://www.youtube.com/watch?v=S_1YfTfuWmo
PS: Christmas gifts 2.0 :D
Did you get this tree fix (ts@18:50) ? Heavy one. Bitmap tree is an another gem from runtime pkg
https://www.youtube.com/watch?v=S_1YfTfuWmo
PS: Christmas gifts 2.0 :D
YouTube
GopherCon 2020: Evolving the Go Memory Manager's RAM and CPU Efficiency - Michael Knyszek
This talk will discuss recent changes to the Go memory manager, which improved both the runtime’s responsiveness in giving up unneeded memory and the scalability of the memory allocator. In this presentation, Michael peeks under the hood of the runtime, examines…
Forwarded from Технологический Болт Генона
Azure Kubernetes (AKS) Security Best Practices
Part 1: Designing Secure Clusters and Container Images
https://www.stackrox.com/post/2020/01/azure-kubernetes-aks-security-best-practices-part-1-of-4/
Part 2: Networking
https://www.stackrox.com/post/2020/02/azure-kubernetes-aks-security-best-practices-part-2-of-4/
Part 3: Runtime Security
https://www.stackrox.com/post/2020/02/azure-kubernetes-aks-security-best-practices-part-3-of-4/
Part 4: Cluster Maintenance
https://www.stackrox.com/post/2020/03/azure-kubernetes-aks-security-best-practices-part-4-of-4/
Part 1: Designing Secure Clusters and Container Images
https://www.stackrox.com/post/2020/01/azure-kubernetes-aks-security-best-practices-part-1-of-4/
Part 2: Networking
https://www.stackrox.com/post/2020/02/azure-kubernetes-aks-security-best-practices-part-2-of-4/
Part 3: Runtime Security
https://www.stackrox.com/post/2020/02/azure-kubernetes-aks-security-best-practices-part-3-of-4/
Part 4: Cluster Maintenance
https://www.stackrox.com/post/2020/03/azure-kubernetes-aks-security-best-practices-part-4-of-4/
www.stackrox.io
Azure Kubernetes (AKS) Security Best Practices Part 1 of 4: Designing Secure Clusters and Container Images | StackRox Community
In this article (part 1 of 4), we discuss what you need to know to securely create your AKS clusters and container images.
Forwarded from Engineer Readings
[DataBases][Indexes] Somehow didn't know before today about such resource where you can find details about indexing/performance of databases:
https://use-the-index-luke.com/
https://use-the-index-luke.com/
Use-The-Index-Luke
SQL Indexing and Tuning e-Book for developers: Use The Index, Luke covers Oracle, MySQL, PostgreSQL, SQL Server, ...
SQL indexing and tuning tutorial for developers. No unnecessary database details—just what developers need to know. Covers all major SQL databases.
Forwarded from 🇺🇦 Go performance channel (Oleg Kovalov)
You know what? One more great talk from @GopherCon by Agniva De Sarker about Bound check elimination in #golang
Look at the examples, they're very explanatory!
https://www.youtube.com/watch?v=5toTS6kSWHA
Look at the examples, they're very explanatory!
https://www.youtube.com/watch?v=5toTS6kSWHA
YouTube
GopherCon 2020: Common Patterns for Bounds Check Elimination - Agniva De Sarker
Bounds checks are a necessary evil. If you don’t have them, you lose memory safety. If you have them, you hurt performance. Is it possible to have the best of both worlds? Why, yes! Watch this talk to learn more.
Мониторинг сетевых обращений из кода Python при помощи TIG стека - если кто забыл, то это Telegraf, InfluxDB и Grafana https://calendar.perfplanet.com/2020/monitoring-network-calls-in-python-using-tig-stack/
Web Performance Calendar
Monitoring network calls in Python using TIG stack
Web applications and API endpoints are known to perform backend calls. Often that is all application does: fetches data from a couple of backends, combines it, and produces response.
Monitoring how much time fetching data took is essential. There are plenty…
Monitoring how much time fetching data took is essential. There are plenty…
Forwarded from Технологический Болт Генона
bpftrace, uprobe and containers
https://kirshatrov.com/2020/10/06/bpf-docker-uprobe/
https://kirshatrov.com/2020/10/06/bpf-docker-uprobe/
Forwarded from Библиотека Go-разработчика | Golang
🏃 Параллелизм в Golang и WorkerPool [Часть 2]
В первой статье мы строили Worker Pool для оптимизации производительности. Во второй части мы создадим надежное решение для работы со структурами параллелизма.
https://proglib.io/sh/UFqt7PBRdj
В первой статье мы строили Worker Pool для оптимизации производительности. Во второй части мы создадим надежное решение для работы со структурами параллелизма.
https://proglib.io/sh/UFqt7PBRdj
Forwarded from sudo rm -rf /*
Вот хороший годный TL;DR по трейсам сисколов с минимальным импактом на производительность, но это вам в счет нового года, договорились?
TiDB
Trace Linux System Calls with Least Impact on Performance
This post introduces perf and traceloop, two commonly command-line tools, to help you trace system calls in a production environment.
Forwarded from Sysadmin Tools 🇺🇦
Forwarded from DevOps&SRE Library
Linux Hardening Guide
Linux is not a secure operating system. However, there are steps you can take to improve it. This guide aims to explain how to harden Linux as much as possible for security and privacy. This guide attempts to be distribution-agnostic and is not tied to any specific one.https://madaidans-insecurities.github.io/guides/linux-hardening.html
Forwarded from Флант | Специалисты по DevOps и Kubernetes
Перевод размышлений о сложностях и радостях перевода инфраструктуры на Kubernetes — по опыту крупного индийского онлайн-магазина. https://habr.com/ru/company/flant/blog/533736/
Хабр
Выводы Grofers после двух лет Kubernetes в production
Прим. перев.: эта статья — опыт миграции на Kubernetes одного из крупнейших в Индии онлайн-магазинов продуктов. В ней Vaidik Kapoor, software engineer из Grofers...
Forwarded from Experimental chill
#рецензии
Ультракороткие рецензии на тoп инженерных находок 2020го года от @Danlark, которых не было в блоге. Часть 1.
1. Deterministic Aperture: A distributed, load balancing algorithm
Балансеры в компании Twitter красиво переплетают идеи consistent hashing, непрерывной геометрии и power of 2 choices, что помогает сократить количество соединений в 10 раз и снизить дисперсию распределения запросов на 78%.
2. BOLT: A Practical Binary Optimizer for Data Centers and Beyond
Компания Facebook оптимизирует и так уже PGO соптимизированные C++ бинари в реальном времени, собирая профили и ставя горячие блоки кода близко друг к другу. Из-за этого сайты Facebook и Instagram ускорились на 5-7%, а пропозал по добавлению такой функциональности был принят в LLVM.
3. ScaNN: Efficient Vector Similarity Search
Google выложил свой алгоритм поиска похожих векторов, который обыгрывает по скорости все предыдущие примерно в 2 раза, отличие от других алгоритмов только в том, что ScaNN правильно подобрал константы для квантования и хорошо применил SIMD. Но удачи собрать и запустить это на C++.
4. Elle: Inferring Isolation Anomalies from Experimental Observations
Господин Jepsen наконец-то завершает свои походы со стабильным фреймворком для проверки консистентности в базах данных. В статье сказано: "we believe Elle will make the database industry safer", может быть, он всё таки имел в виду "suffer"?
5. The Case for a Learned Sorting Algorithm
Самобучающийся алгоритм сортировки пытается с помощью real-time модели предсказать примерные позиции в отсортированном массиве, а потом уже легко пройтись и найти точные. Да, оно работает быстрее, чем std::sort вместе с обучением. Да, оно потенциально выкопает могилу теоретикам. Результат как минимум примечательный, но сравнений алгоритмов для однозначной победы и правда маловато.
To be continued...
Ультракороткие рецензии на тoп инженерных находок 2020го года от @Danlark, которых не было в блоге. Часть 1.
1. Deterministic Aperture: A distributed, load balancing algorithm
Балансеры в компании Twitter красиво переплетают идеи consistent hashing, непрерывной геометрии и power of 2 choices, что помогает сократить количество соединений в 10 раз и снизить дисперсию распределения запросов на 78%.
2. BOLT: A Practical Binary Optimizer for Data Centers and Beyond
Компания Facebook оптимизирует и так уже PGO соптимизированные C++ бинари в реальном времени, собирая профили и ставя горячие блоки кода близко друг к другу. Из-за этого сайты Facebook и Instagram ускорились на 5-7%, а пропозал по добавлению такой функциональности был принят в LLVM.
3. ScaNN: Efficient Vector Similarity Search
Google выложил свой алгоритм поиска похожих векторов, который обыгрывает по скорости все предыдущие примерно в 2 раза, отличие от других алгоритмов только в том, что ScaNN правильно подобрал константы для квантования и хорошо применил SIMD. Но удачи собрать и запустить это на C++.
4. Elle: Inferring Isolation Anomalies from Experimental Observations
Господин Jepsen наконец-то завершает свои походы со стабильным фреймворком для проверки консистентности в базах данных. В статье сказано: "we believe Elle will make the database industry safer", может быть, он всё таки имел в виду "suffer"?
5. The Case for a Learned Sorting Algorithm
Самобучающийся алгоритм сортировки пытается с помощью real-time модели предсказать примерные позиции в отсортированном массиве, а потом уже легко пройтись и найти точные. Да, оно работает быстрее, чем std::sort вместе с обучением. Да, оно потенциально выкопает могилу теоретикам. Результат как минимум примечательный, но сравнений алгоритмов для однозначной победы и правда маловато.
To be continued...
X
Deterministic Aperture: A distributed, load balancing algorithm
As parts of the Twitter application grow, we can scale demands on capacity by adding more instances or replicas to a respective service cluster (i.e., horizontal scaling)
Forwarded from Go Дайджест
Про pprof в очередной раз. 😒
https://tusharsheth.medium.com/how-i-found-memory-leaks-in-the-golang-app-using-pprof-56e5d55363ba
https://tusharsheth.medium.com/how-i-found-memory-leaks-in-the-golang-app-using-pprof-56e5d55363ba
Medium
How I found memory leaks in the Golang app using “pprof”
Here, I’ll be writing about how we can squeeze out the performance and at the same time &can be spared from doing refactor when you are…