Production-Ready Networking on AWS with Python
In this workshop you’ll learn to apply Infrastructure as Code concepts to build a hub and spoke network topology with an inspection VPC. This pattern is incredibly useful for standing up separate environments for development, testing and production, providing workload isolation for multiple customers and standing up shared services.
Tue, December 13, 2022 at 3:00 PM GMT+03:00
In this workshop you’ll learn to apply Infrastructure as Code concepts to build a hub and spoke network topology with an inspection VPC. This pattern is incredibly useful for standing up separate environments for development, testing and production, providing workload isolation for multiple customers and standing up shared services.
Tue, December 13, 2022 at 3:00 PM GMT+03:00
pulumi
Production-Ready Networking on AWS with Python
Hands-on Workshop: Learn to apply Infrastructure as Code concepts to build a hub and spoke network topology with an inspection VPC.
https://gcp.permissions.cloud/
https://aws.permissions.cloud/
https://azure.permissions.cloud/
Permission References for Cloud providers
https://aws.permissions.cloud/
https://azure.permissions.cloud/
Permission References for Cloud providers
Forwarded from Админим с Буквой (Aleksandr Kondratev)
gitlab skip pipeline
Если вам надо скипнуть сборку после пуша в репу, в гитлабе есть встроенный механизм -
git push -o ci.skip
https://docs.gitlab.com/ee/user/project/push_options.html
Если вам надо скипнуть сборку после пуша в репу, в гитлабе есть встроенный механизм -
git push -o ci.skip
https://docs.gitlab.com/ee/user/project/push_options.html
Forwarded from AWS Notes (Roman Sevko)
— А давайте воткнём на эту неделю всё, что не успели за год?
— А давайте!
— А давайте!
Forwarded from /usr/bin
Linux: how to delete only empty files or directories
Недавно мне пришлось иметь дело со старыми недоработками, у меня были скрипты, которые вели себя не очень хорошо и потенциально оставляли пустые каталоги в файловой системе. К счастью, у хороших людей, создавших команду find, есть отличное решение этой проблемы. Читать дальше.
Недавно мне пришлось иметь дело со старыми недоработками, у меня были скрипты, которые вели себя не очень хорошо и потенциально оставляли пустые каталоги в файловой системе. К счастью, у хороших людей, создавших команду find, есть отличное решение этой проблемы. Читать дальше.
https://habr.com/ru/company/southbridge/blog/328056/
$ pg_dump -Fc db > dumpfc.gz
real 6m28.497s
user 5m2.275s
sys 1m16.637s
$ pg_restore -d db -j 12 dumpfc.gz
real 16m7.071s
user 0m55.323s
sys 0m36.502sХабр
Ускоряем восстановление бэкапов в PostgreSQL
Мои ощущения от процесса работы Недавно я решил заняться ускорением восстановления нашей базы данных в dev-окружении. Как и во многих других проектах, база внач...
https://aws.amazon.com/blogs/database/best-practices-for-migrating-postgresql-databases-to-amazon-rds-and-amazon-aurora/
Logical replication is a method of replicating data objects and their changes based upon their replication identity.
Logical replication is a method of replicating data objects and their changes based upon their replication identity.
Forwarded from Грефневая Кафка (pro.kafka)
🤯 Вот это поворот - Confluent покупает стартап Immerok, который специализируется на предоставлении Managed Apache Flink.
Джей Крепс в анонсе:
Why add Flink? Well, we’ve watched the excitement around Flink grow for years, and saw it gaining adoption among many of our customers. Flink has the best multi-language support with first class support for SQL, Java, and Python. It has a principled processing model that generalizes batch and stream processing. It has a fantastic model for state management and fault tolerance.
In short: we believe that Flink is the future of stream processing.
Так же Джей сказал, что Confluent продолжит поддержку Kafka Streams и ksqlDB.
Как вам новость? Используете Flink с Кафкой?
https://www.confluent.io/blog/cloud-kafka-meets-cloud-flink-with-confluent-and-immerok/
Джей Крепс в анонсе:
Why add Flink? Well, we’ve watched the excitement around Flink grow for years, and saw it gaining adoption among many of our customers. Flink has the best multi-language support with first class support for SQL, Java, and Python. It has a principled processing model that generalizes batch and stream processing. It has a fantastic model for state management and fault tolerance.
In short: we believe that Flink is the future of stream processing.
Так же Джей сказал, что Confluent продолжит поддержку Kafka Streams и ksqlDB.
Как вам новость? Используете Flink с Кафкой?
https://www.confluent.io/blog/cloud-kafka-meets-cloud-flink-with-confluent-and-immerok/
Confluent
Cloud Native Kafka + Flink with Confluent and Immerok
Introducing fully managed Apache Kafka® + Flink for the most robust, cloud-native data streaming platform with stream processing, integration, and streaming analytics in one.
DNS-over-HTTPS*
Your ISP can see any unencrypted data (if they care) DNS traffic is unencrypted by default, but can be encrypted using DoT or DoH.
Quad9 is a non-profit, Switzerland-based (due to their privacy laws) recursive DNS that aims to preserve user privacy and filter malware.
— https://www.quad9.net/news/blog/doh-with-quad9-dns-servers/
Also, profiles available for iOS. DNS over TLS (DoT) and DNS over HTTPS (DoH) are now supported natively in iOS versions 14 and higher. There are profiles with EDNS Client Subnet (ECS) support .
— https://support.quad9.net/hc/en-us/articles/360057889591-Setup-iOS-DNS-over-HTTPS-or-DNS-over-TLS.
Choosing DNS over TLS or DNS over HTTPS
DoT is recommended if the device will mainly connect to networks you control, or on corporate networks where DoT is allowed.
DoH is recommended if the device will frequently connect to guest Wi-Fi, and/or networks you do not administrate, as DoH is not as commonly blocked on firewalls.
Your ISP can see any unencrypted data (if they care) DNS traffic is unencrypted by default, but can be encrypted using DoT or DoH.
Quad9 is a non-profit, Switzerland-based (due to their privacy laws) recursive DNS that aims to preserve user privacy and filter malware.
— https://www.quad9.net/news/blog/doh-with-quad9-dns-servers/
Also, profiles available for iOS. DNS over TLS (DoT) and DNS over HTTPS (DoH) are now supported natively in iOS versions 14 and higher. There are profiles with EDNS Client Subnet (ECS) support .
— https://support.quad9.net/hc/en-us/articles/360057889591-Setup-iOS-DNS-over-HTTPS-or-DNS-over-TLS.
Choosing DNS over TLS or DNS over HTTPS
DoT is recommended if the device will mainly connect to networks you control, or on corporate networks where DoT is allowed.
DoH is recommended if the device will frequently connect to guest Wi-Fi, and/or networks you do not administrate, as DoH is not as commonly blocked on firewalls.
Quad9
Quad9 | A public and free DNS service for a better security and privacy
What every SRE should know about GNU/Linux shell related internals: file descriptors, pipes, terminals, user sessions, process groups and daemons
It is common nowadays how little people know about the internals of their shells, terminals, and relations between processes. All are taken primarily for granted without really thinking about such aspects.
It is common nowadays how little people know about the internals of their shells, terminals, and relations between processes. All are taken primarily for granted without really thinking about such aspects.
Для чего нужны pause контейнеры в Kubernetes?
На каждой рабочей ноде K8s-кластера всегда можно увидеть pause контейнеры. Но для чего они нужны? Ведь когда мы создаем Pod, мы не давали инструкций для создания pause контейнеров, так откуда они появляются? Если мы их не создавали, вероятно K8s кластер создает их автоматически?
Pause контейнер — это суть сетевой модели Pod. Pause контейнер работает в namespace с запущенным пользовательским контейнером в рамках одного Pod.
Перед тем, как запустить пользовательский контейнер, kubelet делает вызов
Pause контейнер — это контейнер, который существует в каждом Pod, он по сути представляет собой шаблон или родительский контейнер, из которого все новые контейнеры в модуле наследуют namespace. Контейнер паузы запускается, а затем переходит в sleep.
На каждой рабочей ноде K8s-кластера всегда можно увидеть pause контейнеры. Но для чего они нужны? Ведь когда мы создаем Pod, мы не давали инструкций для создания pause контейнеров, так откуда они появляются? Если мы их не создавали, вероятно K8s кластер создает их автоматически?
Pause контейнер — это суть сетевой модели Pod. Pause контейнер работает в namespace с запущенным пользовательским контейнером в рамках одного Pod.
Перед тем, как запустить пользовательский контейнер, kubelet делает вызов
RuntimeService.RunPodSandbox в CRI (Container Runtime Interface) для создания окружения-песочницы, где будет настроена базовая операционная среда, среди которых сеть (network). Как только среда будет установлена, kubelet запустит уже наш контейнер.Pause контейнер — это контейнер, который существует в каждом Pod, он по сути представляет собой шаблон или родительский контейнер, из которого все новые контейнеры в модуле наследуют namespace. Контейнер паузы запускается, а затем переходит в sleep.
Прекращайте оправдываться
Как-то раз, давным-давно, я проходил собеседование в Universal Music Group. Мне задали вопрос "Что вы будете делать, если ваш сервер начал безбожно тормозить". Их до глубины души поразил мой ответ. Я ответил на это вопросом "А этот сервер раньше работал?". Мне сказали "Да."
Тогда я ответил — я буду сидеть и выяснять, почему это произошло. Если сервер раньше работал, а сейчас не работает, значит что-то изменилось. Надо найти настоящую причину. Возможно, вы обнаружите, что у вас удесятерилось количество клиентов. Ну хорошо. Тогда можете поднимать дополнительный сервер, и ставить кеш. Но, если клиентов столько-же, а всё тормозит — берегитесь! Я буду сидеть и тупить в логах, пока не найду настоящую причину этой проблемы. Как я буду знать, что я нашёл настоящую причину? Всё сразу-же заработает.
Как-то раз, давным-давно, я проходил собеседование в Universal Music Group. Мне задали вопрос "Что вы будете делать, если ваш сервер начал безбожно тормозить". Их до глубины души поразил мой ответ. Я ответил на это вопросом "А этот сервер раньше работал?". Мне сказали "Да."
Тогда я ответил — я буду сидеть и выяснять, почему это произошло. Если сервер раньше работал, а сейчас не работает, значит что-то изменилось. Надо найти настоящую причину. Возможно, вы обнаружите, что у вас удесятерилось количество клиентов. Ну хорошо. Тогда можете поднимать дополнительный сервер, и ставить кеш. Но, если клиентов столько-же, а всё тормозит — берегитесь! Я буду сидеть и тупить в логах, пока не найду настоящую причину этой проблемы. Как я буду знать, что я нашёл настоящую причину? Всё сразу-же заработает.
Хабр
Прекращайте оправдываться
Привет, человек, %хабраюзер%, %юзернейм%, программист. Вот именно так я себя и чувствую. Этот пост полон ненависти. Их тут просто зашкаливает. Но да вот, наболело. Но, при всём при этом, я скажу в...