A serverless email server on AWS using S3 and SES
https://github.com/0x4447/0x4447_product_s3_email

GitOps and Kubernetes (MEAP)
https://www.manning.com/books/gitops-and-kubernetes

> MEAP began November 2019 Publication in Fall 2020

Даже не представлял, что такое вытворять с ним можно

Scripting tmux
https://www.arp242.net/tmux.html

Неплохой наборчик AWS-безопасностей в докере набыстропопробовать:

https://github.com/z0ph/aws-security-toolbox

Elastic #Beanstalk обзавёлся своим Roadmap:

https://github.com/aws/elastic-beanstalk-roadmap/projects/1

И плагинчик под хром для тех, кто хочет отличать регион, где он работает в консоли, по цвету:

https://chrome.google.com/webstore/detail/aws-console-regions-color/gfeaclafcmbiakopneapkbaiifnhbkng

поможет https://github.com/retejs/rete ?

https://changefeed.app

Может поможет чем

A growing collection of the most interesting articles on Big Data and Machine Learning

https://xn--r1a.website/mlbigdata

Графана выпустила yet another менеджер конфигурации под кубер. Все серьезно, но jsonnet, кейсы описаны интересные. https://grafana.com/blog/2020/01/09/introducing-tanka-our-way-of-deploying-to-kubernetes/

Хороший набор конфигурируемых шаблонов для построения безопасной облачной инфраструктуры. Будет полезно, если вы используете AWS и Cloudformation.

https://asecure.cloud
#aws #security #cloudformation

можно вот тут попробовать https://www.terraform-best-practices.com/ мне с нуля помогло

самое время напомнить про https://noyaml.com

Я еще не рассказывал о поездке на highload 2019 2 недели назад.

Т.к. любой желающий, купивший билет, мог заявить свой митап, я решил попробовать.

Мне выделили зал с несколькими рядами кресел, огромным телеком и звукоусиливающим оборудованием. При этом более уважаемым людям дали маленькие будки вместимостью 10 человек. За что мне были такие почести, я понял не очень, но энивей, спасибо, @HighLoadChannel 🙂

В итоге зал забился полностью, что меня тоже очень удивило 🙂
Запись, если что, вот: https://www.youtube.com/watch?v=g0vhMNh_4tg&t=8s

Теперь про саму конференцию.
Я езжу на нее много лет, и каждый раз привожу оттуда много инсайтов. В этом году лайнап мне показался довольно странным. Большую часть, как мне показалось, занимали базы данных и k8s, поэтому большую часть докладов я пропустил.

Зато получилось много пообщаться с разными компаниями.

И вот что я вам хочу сказать.
Сингулярности не будет 😟

Абсолютному большинству компаний, которые там были представлены, наплевать на качество того, что они делают. Причем такая история и в avito, и в lamoda и в других крупных компаниях.

Концепция, как говорят киношники - "добьем на посте". Т.е. когда исходный материал так себе, на постпродакшене это можно поправить.

Так же и тут - все поголовно используют ORM (есть и страшнее, но об этом в следующих выпусках), а разбираться с этим будут потом DBA (если они есть, конечно) уже на проде.

Честно - я расстроился. И пока я расстраивался, я пропустил важную вещь, которая догнала меня через несколько дней.

Вы, наверное, все знаете, что я делаю инструмент, проверяющий качество того кода, который работает с базой данных. Я искренне надеялся, что этот инструмент сэкономит много человеко-часов не самой творческой работы backend инженеров. Но оказалось экономить нечего, потому что никто по-человечески не пишет.

Но при этом абсолютно все, кто связан с Ops - DevOps и DBA сказали - "дай нам этот инструмент, мы будем этих безруких мудаков макать в их поделки аргументированно".

Я это все осознал не сразу. Но когда осознал, стало понятно, что внезапно в моем стартапе случился pivot (смена направления).
Мой инструмент нужен, но просто другой целевой аудитории.

Я знал, что больше 90% стартапов делают не то что они задумывали с самого начала. Но я-то думал, что я не такой 🙃

С одной стороны - хорошо что это произошло довольно рано и я не потратил усилия на инструменты для разработчиков, с другой - обидно, блин 😟

Кроме того, теперь не очень понятно что делать со стратегией монетизации. Если раньше у меня все складно было посчитано на одно рабочее место в месяц, прикинут объем рынка, куда бежать и что делать, то сейчас - ¯\_(ツ)_/¯

This post closely examines the components of a Spark application, looks at how these components work together and look at how Spark applications run on the YARN cluster.

https://luminousmen.com/post/spark-anatomy-of-spark-application

Тут обещают апокалипсис с 13-го по 15-е января
https://xn--r1a.website/iv?url=https://medium.com/@jonathan.leitschuh/update-want-to-take-over-the-java-ecosystem-all-you-need-is-a-mitm-d069d253fe23&rhash=f5b2f9872995e4

Видосики с REdeploy Conference, которая проходила в середине октября в Сан- Франциско

#slides

🛠 На самом деле, в 2020 веке, даже с повсеместным приходом облаков, bare-metal инсталляции никуда не делись, и процесс работы с ними так же нужно совершенствовать. Вот, например, есть QUADS - система для управления инфраструктурой и процессами в ней. Подготовка bare-metal серверов и сетей, ввод их в работу и вот это вот всё. Используется QUADS в Red Hat Performance Engineering R&D labs, как раз таки для управления всяческим железом, там же, он и разрабатывается. Подробнее по ссылкам ниже:

https://quads.dev/about-quads/
https://github.com/redhat-performance/quads

#фидбечат #quads #redhat

​Посмотрите как можно контролировать инфраструктуру kubernetes с точки зрения сетевого взаимодействия при помощи анализа flow-трафика. Растислав (да, именно через «а») говорит, что дропы пакетов между подами, бутылочные горлышки, распределение трафика в кластере и подозрительную активность по-другому выявить не получится.

Flow-трафик извлекается при помощи CNI-плагина Contiv-VPP.

В качестве дополнительного инструмента диагностики — почему бы и нет?

📋 Вместо jq можно попробовать jql для работы с JSON. https://github.com/cube2222/jql

#json #jq #jql

Дмитрий Комаров из Яндекс-денег рассказывает как они у себя делали MaaC — мониторинг как код. К приложению в виде зависимости добавляется дополнительный артефакт, который генерит новые дашборды в Grafana и порождает соответствующий сбор метрик через StatsD и Heka. Говорит, что Heka это хорошо из-за бестродействия в силу приёма метрик от приложений по протоколу UDP.

Ещё одна важная часть его выступления — это алертинг. Алертинг в Grafana оказался недостаточно гибким и они использовали Moira, которая позволила гибко создавать триггеры и использует собственное хранилище на базе Redis.

Ниже ссылки на соответствующие репозитории на Github:

→ moira-trigger-plugin
→ moira-kotlin-dsl
→ grafana-dashboard-dsl
→ moira-kotlin-client
→ grafana-dashboard-plugin