Интересная большая статья от Alibaba Cloud про концепции озера данных: https://alibaba-cloud.medium.com/data-lake-concepts-characteristics-architecture-and-case-studies-28be1b265624
В том числе автор проводит сравнительный анализ на примере разных облачных провайдеров (AWS, Azure, Alibaba)

driftctl - Take control of infrastructure drift

Driftctl is a open-source CLI that tracks, analyzes, prioritizes, and warns of infrastructure drift.

Features:
- Scan cloud provider and map resources with IaC code
- Analyze diff, and warn about drift and unwanted unmanaged resources
- Allow users to ignore resources
- Multiple output formats


Example usage:

$ driftctl scan --from tfstate://terraform.tfstate

https://github.com/cloudskiff/driftctl

🆖 Немного о мониторинге Nginx. Не самый новый материал, но всё же.

• How to Monitor Nginx: The Essential Guide
• An In-Depth Guide to Nginx Metrics

#nginx #monitoring #напочитать

​​В свежих сборках Chrome появилась возможность записывать сценарии действий пользователя в скрипты на Javasript. То есть открываете нужную страницу в бразере, в DevTools включаете запись действий и делаете что-то на странице обычным образом. По мере выполнения действий браузер генерирует Javascript код, описывающий через API Puppeteer все ваши действия. После этого запись можно остановить, и сохранить полученный код.

https://developers.google.com/web/updates/2021/01/devtools#record

P.S. За конкуренцией в области сокращения расходов на автоматизацию тестирования WebUI становится интересно следить. Помимо встроенной в Chrome поддержки записи сценариев ещё есть: Selenium IDE, который не так давно реанимировали после длительного анабиоза, есть коммерческие сервисы, призванные снизить порог вхождения в автоматизацию тестирования Web UI (например малоизвестные у нас стартапы testRigor или Virtuoso QA) и у них тоже есть расширения для записи сценариев. Про Cucumber и прочие BDD-like решения я даже и не говорю.

Два бомбических поста про базы данных:

1. Why I love databases
2. How Sharding Works

Наткнулся на статью про эволюцию дата-инфраструктуры в Paypal. Как итог, открыл для себя ещё один инструмент Apache Gobblin. В Paypal более 300 миллионов пользователей, объём данных неуклонно растёт, куча легаси, сотни петабайт данных на Hadoop и других аналитических инструментах.

Я так понял, что и команд там много, каждая пользуется какими-то своими решениями для работы с данными. Чтобы выстроить централизованный процесс они решили перейти на Apache Gobblin и Apache Airflow. Первая балалайка это какой-то распределенный фреймворк, отвечающий за жизненный цикл данных, а Airflow все мы знаем и любим. Из коробки Gobblin не дружит с Airflow (но дружит со всякими Oozie и Azkaban), поэтому Paypal написали свой костыль.

Gobblin кажется интересным инструментом, сочетающим в себе все новомодные фразы типа data observability, data quality и т.д (хотя впервые увидел свет в 2015 году). Странно, что ещё не появилось managed решения на его основе.

🔐 A visual guide to SSH tunnels - наглядно об SSH туннелях, с примерами команд для их поднятия. #ssh #напочитать

🖱 Datanymizer - интересная штука для ситуаций, когда нам нужно быстро сделать тестовый набор данных (для разработчиков, например), на основе того, с чем мы работаем в проде. Описываем в yml что и с какими данными нужно делать, и просто создаём дамп с помощью утилиты. На выходе получаем готовый дамп, в котором вся чувствительная информация (если мы описали её ранее), будет заменена.

Подробнее об инструменте, на русском: https://evrone.ru/datanymizer

#фидбечат #postgresql

Cilium представил визуальный редактор сетевых политик для Kubernetes (Kubernetes Network Policies и Cilium Network Policies). Теперь YAML для политики можно накликать в UI и параллельно получить наглядную схему.
http://amp.gs/5riK
Также, для тех, кто использует Cilium Hubble, заявляется возможность автоматической генерации политик на основе собранных flow логов.
Попробовать можно по ссылке http://amp.gs/5riH

Just add "1s" after "github" when viewing code on github.com and VS Code loads up instantly
#editor #dev
https://github.com/conwnet/github1s

HashiCorp на правах рекламы своего Consul Service Mesh выпустили цикл статей про распил монолитов (с критериями и подходами, про сам Consul там не очень много).

http://amp.gs/5JJ3

Захватывающая история о неработающей синхронизации в rsync, причиной которой был баг 24-летней (!) давности в реализации протокола TCP Linux ядра. Буквально через несколько часов после появления письма с описанием проблемы в рассылке Neal Cardwell подготовил патч с исправлением (фикс из двух строк). Знаю Neal Cardwell как автора packetdrill - утилиты для функционального тестирования TCP, IP протоколов. С её помощью тесткейсы для тестирования можно описывать на DSL в декларативном стиле и они выглядят короче и нагляднее, чем такой же тексткейс, но на Си.

 Create a listening TCP socket.
0 socket(..., SOCK_STREAM, IPPROTO_TCP) = 3
+0 setsockopt(3, SOL_SOCKET, SO_REUSEADDR, [1], 4) = 0
+0 bind(3, ..., ...) = 0
+0 listen(3, 1) = 0

// Establish a new connection.
+0 < S 0:0(0) win 32792 <mss 1000,sackOK,nop,nop,nop,wscale 7>
+0 > S. 0:0(0) ack 1 win 29200 <mss
 1460,nop,nop,sackOK,nop,wscale 6>
+.1 < . 1:1(0) ack 1 win 257
+0 accept(3, ..., ...) = 4

// sequence number out of window!
+.010 < R. 29202:29202(0) ack 1 win 257

// verify that the connection is OK
+.010 write(4, ..., 1000) = 1000
+0 > P. 1:1001(1000) ack 1

https://engineering.skroutz.gr/blog/uncovering-a-24-year-old-bug-in-the-linux-kernel/

⚙️ Installing Nextcloud 20 on Fedora Linux with Podman - собственно, название говорит само за себя, ставим Nextcloud с помощью Podman.

#podman #напочитать #nextcloud

🗜 https://onlinecsvtools.com/ - наткнулся на интересный набор сайтов с простыми инструментами, которые время от времени могут нам понадобиться. В правом верхнем углу сайта есть выпадающее меню со списком всех онлайн-утилит. #линк #будничное

🔍 Утилиты для получения информации о том, в каком облаке и каком регионе размещается интересующий нас сайт:

digaz - https://github.com/sampointer/digaz
digg - https://github.com/sampointer/digg
digaws - https://github.com/sampointer/digaws

А тут ребята аж отдельный сервис по этому поводу сделали: https://runson.cloud/

#линк #cloud #будничное

Argo Workflows v3.0 is out!

An article provides some history of Argo development as well as new features of the v3.0 release:

- New APIs for Argo Events
- Controller High-Availability
- Key-only artifacts make it easier to perform map-reduce operations
- Moving the repository. Now it's argo-workflows, not just argo, which caused a lot of confusion with ArgoCD
- Go modules support

#kubernetes #argo #cicd

🎛 Я за что блог Selectel люблю - за то что ребята умеют буквально на пальцах для начинающих объяснить нужную тему. Вот, например, про запуск Grafana написали пошагово (абзац с заказом сервера у них можно пропустить) - Установка и настройка Grafana.

#grafana #monitoring #напочитать