Подборка инструментов:
— http://amp.gs/MwJ5 показывает Configuration Drift между Terraform состоянием и текущей инфраструктурой в облаке, включая ресурсы неуправляемые вашей конфигурацией. Пока поддерживается AWS, в будущем еще будут Azure и GCP.
— http://amp.gs/MwJQ удаляет неиспользуемые ресурсы k8s. Аналог docker system prune.
— http://amp.gs/MwJc удобный virtualenv. С удовольствием пользуюсь для своих инфраструктурных проектов и разработки Python приложений.
— http://amp.gs/Mw08 выносим настройки для окружений/проектов/клиентов в env переменные и разносим по директориям.

I made a thing.

🐚🔧 logit is a CLI tool that takes JSON logs from stdin and transfers them into google cloud, AWS, syslog, sentry, anywhere you want, or just nicely formats them.

It all started from idea that an application should have only business-logic in it. Later, I faced an application that has a lot of code to handle logging into GCP, which is unstable and hard to maintain. And at some point that application started to break everything because google cloud library uses grpc, networking, all that stuff that rest of the application isn't need. And it all started to go wrong because the network is unstable, grpc breaks multiprocessing, not every environment (for instance, CI) has access to google cloud and so on. In short, a lot of headache just to log things. So, if you don't want to get there, consider using logit or rsyslog.

Если вам кажется, что в Ansible слишком мало Python и слишком много YAML, то вот: http://amp.gs/5I3y Здесь, как раз наоборот и при этом вполне читаемо. При этом, обещают, что еще и работает быстрее

Sourcetrail is:
 - free
 - working offline
 - operating on Windows, macOS and Linux
 - supporting C, C++, Java and Python
 - offering an SDK (SourcetrailDB) to write custom language extensions

Sourcetrail - free and open-source interactive source explorer
https://github.com/CoatiSoftware/Sourcetrail

Ох что я нашел, что я нашееееел.

Короче я больше не буду писать алёрты на Prometheus, просто буду их копировать отсюда. Это на порядки полезнее чем мой сборник docker-compose :):

https://github.com/samber/awesome-prometheus-alerts

Как же быстро пролетел январь.

Впрочем я тут с вами полуночничать не с пустыми руками пришел, и принес вам годноты на ночь: Рекомендации от RedHat по Low Latency Performance Tuning

Interesting thread about Nginx Service Mesh by Daniele Polencic

So yeah, Nginx had a service mesh too!

- Read on Threadapp
- Read on Twitter

I'm not sure, if anybody gonna use it for real, though

#kubernetes #nginx #networking

Google запустил OSV (Open Source Vulnerabilities)
Сервис дает доступ к базе уязвимостей, API так же доступен.
В базе более 300 opensource проектов, написанных на языке C/C++.
Базу обещают расширить и для других ЯП, и проектов
Сам сервис по ссылке http://amp.gs/5yRw

⚙️ Network address translation part 1 – packet tracing - занятное чтиво о том, как можно исследовать проблемы с NAT с помощью трейсинга в iptables/nftables. А с учётом того, что запланирована серия статей, это должно быть весьма интересно. #напочитать #iptables #nftables

​​iamlive - a tool, which generates a basic IAM policy from AWS client-side monitoring (CSM)

iamlive can generate policies based on aws cli commands that you execute. Also, you can configure it to only append required policies for the failed calls. There is a quick GIF demo in the README

Should be useful for everybody who works with AWS

#aws #iam

📺 Плейлист AWS re:Invent 2020 Breakout Sessions | Security Compliance & Identity. #aws #видео

Easy distribution of Python projects
https://sailboat.colewilson.xyz/

Интересная большая статья от Alibaba Cloud про концепции озера данных: https://alibaba-cloud.medium.com/data-lake-concepts-characteristics-architecture-and-case-studies-28be1b265624
В том числе автор проводит сравнительный анализ на примере разных облачных провайдеров (AWS, Azure, Alibaba)

driftctl - Take control of infrastructure drift

Driftctl is a open-source CLI that tracks, analyzes, prioritizes, and warns of infrastructure drift.

Features:
- Scan cloud provider and map resources with IaC code
- Analyze diff, and warn about drift and unwanted unmanaged resources
- Allow users to ignore resources
- Multiple output formats


Example usage:

$ driftctl scan --from tfstate://terraform.tfstate

https://github.com/cloudskiff/driftctl

🆖 Немного о мониторинге Nginx. Не самый новый материал, но всё же.

• How to Monitor Nginx: The Essential Guide
• An In-Depth Guide to Nginx Metrics

#nginx #monitoring #напочитать

​​В свежих сборках Chrome появилась возможность записывать сценарии действий пользователя в скрипты на Javasript. То есть открываете нужную страницу в бразере, в DevTools включаете запись действий и делаете что-то на странице обычным образом. По мере выполнения действий браузер генерирует Javascript код, описывающий через API Puppeteer все ваши действия. После этого запись можно остановить, и сохранить полученный код.

https://developers.google.com/web/updates/2021/01/devtools#record

P.S. За конкуренцией в области сокращения расходов на автоматизацию тестирования WebUI становится интересно следить. Помимо встроенной в Chrome поддержки записи сценариев ещё есть: Selenium IDE, который не так давно реанимировали после длительного анабиоза, есть коммерческие сервисы, призванные снизить порог вхождения в автоматизацию тестирования Web UI (например малоизвестные у нас стартапы testRigor или Virtuoso QA) и у них тоже есть расширения для записи сценариев. Про Cucumber и прочие BDD-like решения я даже и не говорю.

Два бомбических поста про базы данных:

1. Why I love databases
2. How Sharding Works

Наткнулся на статью про эволюцию дата-инфраструктуры в Paypal. Как итог, открыл для себя ещё один инструмент Apache Gobblin. В Paypal более 300 миллионов пользователей, объём данных неуклонно растёт, куча легаси, сотни петабайт данных на Hadoop и других аналитических инструментах.

Я так понял, что и команд там много, каждая пользуется какими-то своими решениями для работы с данными. Чтобы выстроить централизованный процесс они решили перейти на Apache Gobblin и Apache Airflow. Первая балалайка это какой-то распределенный фреймворк, отвечающий за жизненный цикл данных, а Airflow все мы знаем и любим. Из коробки Gobblin не дружит с Airflow (но дружит со всякими Oozie и Azkaban), поэтому Paypal написали свой костыль.

Gobblin кажется интересным инструментом, сочетающим в себе все новомодные фразы типа data observability, data quality и т.д (хотя впервые увидел свет в 2015 году). Странно, что ещё не появилось managed решения на его основе.