самое время напомнить про https://noyaml.com

Я еще не рассказывал о поездке на highload 2019 2 недели назад.

Т.к. любой желающий, купивший билет, мог заявить свой митап, я решил попробовать.

Мне выделили зал с несколькими рядами кресел, огромным телеком и звукоусиливающим оборудованием. При этом более уважаемым людям дали маленькие будки вместимостью 10 человек. За что мне были такие почести, я понял не очень, но энивей, спасибо, @HighLoadChannel 🙂

В итоге зал забился полностью, что меня тоже очень удивило 🙂
Запись, если что, вот: https://www.youtube.com/watch?v=g0vhMNh_4tg&t=8s

Теперь про саму конференцию.
Я езжу на нее много лет, и каждый раз привожу оттуда много инсайтов. В этом году лайнап мне показался довольно странным. Большую часть, как мне показалось, занимали базы данных и k8s, поэтому большую часть докладов я пропустил.

Зато получилось много пообщаться с разными компаниями.

И вот что я вам хочу сказать.
Сингулярности не будет 😟

Абсолютному большинству компаний, которые там были представлены, наплевать на качество того, что они делают. Причем такая история и в avito, и в lamoda и в других крупных компаниях.

Концепция, как говорят киношники - "добьем на посте". Т.е. когда исходный материал так себе, на постпродакшене это можно поправить.

Так же и тут - все поголовно используют ORM (есть и страшнее, но об этом в следующих выпусках), а разбираться с этим будут потом DBA (если они есть, конечно) уже на проде.

Честно - я расстроился. И пока я расстраивался, я пропустил важную вещь, которая догнала меня через несколько дней.

Вы, наверное, все знаете, что я делаю инструмент, проверяющий качество того кода, который работает с базой данных. Я искренне надеялся, что этот инструмент сэкономит много человеко-часов не самой творческой работы backend инженеров. Но оказалось экономить нечего, потому что никто по-человечески не пишет.

Но при этом абсолютно все, кто связан с Ops - DevOps и DBA сказали - "дай нам этот инструмент, мы будем этих безруких мудаков макать в их поделки аргументированно".

Я это все осознал не сразу. Но когда осознал, стало понятно, что внезапно в моем стартапе случился pivot (смена направления).
Мой инструмент нужен, но просто другой целевой аудитории.

Я знал, что больше 90% стартапов делают не то что они задумывали с самого начала. Но я-то думал, что я не такой 🙃

С одной стороны - хорошо что это произошло довольно рано и я не потратил усилия на инструменты для разработчиков, с другой - обидно, блин 😟

Кроме того, теперь не очень понятно что делать со стратегией монетизации. Если раньше у меня все складно было посчитано на одно рабочее место в месяц, прикинут объем рынка, куда бежать и что делать, то сейчас - ¯\_(ツ)_/¯

This post closely examines the components of a Spark application, looks at how these components work together and look at how Spark applications run on the YARN cluster.

https://luminousmen.com/post/spark-anatomy-of-spark-application

Тут обещают апокалипсис с 13-го по 15-е января
https://xn--r1a.website/iv?url=https://medium.com/@jonathan.leitschuh/update-want-to-take-over-the-java-ecosystem-all-you-need-is-a-mitm-d069d253fe23&rhash=f5b2f9872995e4

Видосики с REdeploy Conference, которая проходила в середине октября в Сан- Франциско

#slides

🛠 На самом деле, в 2020 веке, даже с повсеместным приходом облаков, bare-metal инсталляции никуда не делись, и процесс работы с ними так же нужно совершенствовать. Вот, например, есть QUADS - система для управления инфраструктурой и процессами в ней. Подготовка bare-metal серверов и сетей, ввод их в работу и вот это вот всё. Используется QUADS в Red Hat Performance Engineering R&D labs, как раз таки для управления всяческим железом, там же, он и разрабатывается. Подробнее по ссылкам ниже:

https://quads.dev/about-quads/
https://github.com/redhat-performance/quads

#фидбечат #quads #redhat

​Посмотрите как можно контролировать инфраструктуру kubernetes с точки зрения сетевого взаимодействия при помощи анализа flow-трафика. Растислав (да, именно через «а») говорит, что дропы пакетов между подами, бутылочные горлышки, распределение трафика в кластере и подозрительную активность по-другому выявить не получится.

Flow-трафик извлекается при помощи CNI-плагина Contiv-VPP.

В качестве дополнительного инструмента диагностики — почему бы и нет?

📋 Вместо jq можно попробовать jql для работы с JSON. https://github.com/cube2222/jql

#json #jq #jql

Дмитрий Комаров из Яндекс-денег рассказывает как они у себя делали MaaC — мониторинг как код. К приложению в виде зависимости добавляется дополнительный артефакт, который генерит новые дашборды в Grafana и порождает соответствующий сбор метрик через StatsD и Heka. Говорит, что Heka это хорошо из-за бестродействия в силу приёма метрик от приложений по протоколу UDP.

Ещё одна важная часть его выступления — это алертинг. Алертинг в Grafana оказался недостаточно гибким и они использовали Moira, которая позволила гибко создавать триггеры и использует собственное хранилище на базе Redis.

Ниже ссылки на соответствующие репозитории на Github:

→ moira-trigger-plugin
→ moira-kotlin-dsl
→ grafana-dashboard-dsl
→ moira-kotlin-client
→ grafana-dashboard-plugin

Мастер-класс "Эффективная Selenium-инфраструктура"

Moscow Python Conf++ 2018

Используете Selenium для автоматического тестирования? Устали бороться с его тормозами и падениями? Не спите по ночам от количества памяти, потребляемой Java? Приходите на мастер-класс по эффективной инфраструктуре Selenium!

Смотреть

@itlecture

​Хоум Кредит унд Финанс банк пишет как они прикрутили к своему мониторингу на Zabbix и ELK машинное обучение. Вот теперь дежурные могут расслабиться 🙂

​Если не знаешь о чём написать — напиши как настроить Заббикс. Х5 пишет как они сделали мониторинг складских помещений. Интересно почитать, если вы видите Заббикс в первый раз. Ну хотя бы узнали как выглядит их склад.

В бытность работы в Евросети я как-то подрабатывал под новый год на складе компании, когда там проводилась инветаризация и требовались люди. Самый кайф — это разогнаться как следует на рохле и прокатиться между стеллажами. Электрическую технику работники склада пришлым не доверяли. А зря! Так веселья было бы ещё больше.

Неделя Spinnaker - еще одна презентация о том, как управляют развертыванием в JP Morgan Chase
https://www.infoq.com/presentations/spinnaker-jpmorgan-chase/

Cindy Sridharan пишет про lsof и его полезные флаги с точки зрения разработчиков.

Тулза действительно полезная, но всё же, если система уже хорошо нагружена, лучше напрямую по /proc шариться, чтобы не усугублять.

#toolz

История о том, как можно эффективно использовать JFR для анализа сетевого взаимодействия
https://xn--r1a.website/iv?url=https://dzone.com/articles/analyzing-tcp-socket-with-java-flight-recorder&rhash=775adb2e4f5e36

Подробный рассказ о новой фишке из последних версий git - частичный checkout репозитория
https://xn--r1a.website/iv?url=https://github.blog/2020-01-17-bring-your-monorepo-down-to-size-with-sparse-checkout/&rhash=5b7adbb17b8a19

Еще одна альтернатива для GitLab, и прям с симпатичным UI
https://github.com/theonedev/onedev

Большая статья с описанием best practices по разным направлениям.

What is API Security, and how can this guide help?

https://expeditedsecurity.com/api-security-best-practices-megaguide/

📊 Смотрите какая интересная штука для нагрузочного тестирования. Написан на go'шечке, с заявленными возможностями встраиваться в CI и пушить метрики в Prometheus PushGateway. Просто скачиваем бинарник и начинаем работать. https://github.com/rogerwelin/cassowary

#github #cassowary #нагрузочное