Небольшая статья о том, как впилить proemtheus метрики в ваш любимый ML, на самом деле подойдет в качестве примера для любого batch приложения на python https://medium.com/under-the-microscope/prometheus-metrics-for-batch-jobs-on-kubernetes-b06ec3b620bc #python #prometheus #k8s

Расшифровка доклада Алексея Миловидова (Яндекс) на HighLoad++ 2018.

(Не)тривиальные факты о том, какие устройства и ресурсы есть в серверах.

https://habr.com/ru/company/yandex/blog/459198/

Вики: https://gitlab.com/mikler/glaber/wikis/
Сайт: https://glaber.io

Всю информацию, включая ссылку на репозитории, можно найти в вики. При отсутствии таковой - смело пишите 😉

Ещё одна статья про chaos engineering, в этот раз больше про практику #chaos #sre https://blog.acolyer.org/2019/07/05/automating-chaos-experiments-in-production/

Отличная статья How Complex Systems Fail
https://web.mit.edu/2.75/resources/random/How%20Complex%20Systems%20Fail.pdf

Простите, неделя Баз Данных прошла, а линк только сейчас попался на глаза

https://github.com/shlomi-noach/awesome-mysql

#mysql

нашел интересную python-балалайку для построение ML и ETL пайплайнов: https://github.com/dagster-io/dagster. Один из авторов Nick Schrock, автор GraphQL. Более подробно что это за штука можно почитать в его блоге: https://medium.com/@schrockn/introducing-dagster-dbd28442b2b7. Выглядит интересно.

Внеплановый пост о том, что вчера я зарелизил Dephell -- инструмент для управления Python проектами с целой коллекцией фич: работа с зависимостями в любом формате, умный резолвер, аудит безопаности, поиск устаревших пакетов, просмотр лицензий зависимостей, управление виртуальными окружениями, бамп версии проекта, сборка пакетов, установка CLI инструментов в изолированное окружение и ещё много-много всего. Работал я над этим больше полугода, причем последние 2 месяца full-time, по 12 часов в день. Всё для вас ❤️

A High-Performance, Logs, Metrics, & Events Router
https://github.com/timberio/vector

Сегодня о линтерах не для Python-кода, но для того, что вы наверняка пишете.

hadolint -- линтер для докерфайла. Правила довольно умные, с анализом передаваемых shell-команд. Причем это не о консистентности или красивости, а именно о best practice как сделать образ стабильнее, меньше и быстрее. Но главное, у проекта офигенный логотип.

shellcheck -- линтер для bash (и sh) скриптов. Правил очень много и они довольно толковые: переносимость, распространенные ошибки, безопасность, консистентность.

markdownlint-cli -- линтер для markdown. Штука довольно важная, потому что markdown толком не стандартизован, и каждый движок рендерит его по-своему. Поэтому если Github всё показывает отлично, это не значит, что Sphinx, Gitlab, Bitbucket или что-то ещё тоже справится. Например, если перед списком не поставить пустую строку, с этим справится только Github. Так что этот линтер не только про консистентность и читаемость, но и про такие вот тонкие моменты.

yamllint -- для yaml-программистов. Это уже больше только про читаемость, за исключением всего нескольких правил, типа поиска повторяющихся ключей.

editorconfig-checker -- небольшой быстрый линтер, который проверит соблюдение .editorconfig. Штука такая, опциональная: отловит отсутствие переноса строки в конце файла и trailing-whitespace.

vale -- линтер для английского текста с поддержкой markdown. Ну знаете, типа "не пиши really, слишком экспрессивно" и "не используй passive voice". Аггрегирует в себя проверки из proselint и write-good, поэтому если с этой поделкой на Go не сложилось, можно просто использовать вот эти два линтера. Vale используется у меня на articles.life4web.ru, внизу некоторых статей можно увидет его предупреждения.

Тут ещё стоит упомянуть grammarly.com, который отлично проверяет различные ошибки в английском тексте. Отличное web-приложение, отличный плагин для браузера. Я через него стараюсь всё прогонять: сообщения, письма, резюме. Жалко, что не понимает значки в markdown и из-за них замалчивает некоторые проблемы.

Бааааааанк! Взгляните ка на эту либу. 😱😳🤭

Чуваки, делающие CockroachDB, заопенсорсили библиотеку для работы с ошибками. С уклоном на распределенные системы и сеть.

https://github.com/cockroachdb/errors

Прикольное расследование перформанса JVM 8 vs 9 (и с Azul, Graal).

Спойлер - гц поел наши запасы, милорд. В коментах даже Шипилёв отметился.

http://psy-lob-saw.blogspot.com/2018/01/what-difference-jvm-makes.html

​​Hashi UI - awesome UI for Consul & Nomad

It combines all best features from old and new view and add much more really needed stuff.

For more information and tools such as:
- hashi-helper
- nomad-helper
- ReSec
- Libra

see SeatGeek and the HashiStack: A Tooling and Automation Love Story by @burdandrei

(when it will be on Hashicorp youtube channel)

#nomad #consul #hashicorp

🐍 И вот вам ещё утилита pipx, которая позволяет питонобинарники изолировать в песочнице и запускать их оттуда - https://github.com/pipxproject/pipx

#python #pipx #github

Мы на Марсе сделали свой собственный менеджер git-хуков — быстрый, настраиваемый, надёжный. Но про него мы ещё расскажем отдельно. А сейчас мы хотим рассказать, как в процессе его внедрения в один из наших проектов мы пытались затянуть гайки, не давая коду, не проходящему линтеры, попасть в репозиторий, а в итоге получилось сделать процесс разработки удобнее — с автоматической установкой библиотек и откатом/применением миграций баз данных при переключении между ветками. Магия!

Разработчик Андрей Новиков делится своим опытом в марсианском канале на devto: http://amp.gs/OQO9

Вот это сильно 😱

Koa routing middleware allowing you to expose a sqlite database via RESTful CRUD

https://github.com/olsonpm/sqlite-to-rest