Расшифровка доклада Алексея Миловидова (Яндекс) на HighLoad++ 2018.

(Не)тривиальные факты о том, какие устройства и ресурсы есть в серверах.

https://habr.com/ru/company/yandex/blog/459198/

Вики: https://gitlab.com/mikler/glaber/wikis/
Сайт: https://glaber.io

Всю информацию, включая ссылку на репозитории, можно найти в вики. При отсутствии таковой - смело пишите 😉

Ещё одна статья про chaos engineering, в этот раз больше про практику #chaos #sre https://blog.acolyer.org/2019/07/05/automating-chaos-experiments-in-production/

Отличная статья How Complex Systems Fail
https://web.mit.edu/2.75/resources/random/How%20Complex%20Systems%20Fail.pdf

Простите, неделя Баз Данных прошла, а линк только сейчас попался на глаза

https://github.com/shlomi-noach/awesome-mysql

#mysql

нашел интересную python-балалайку для построение ML и ETL пайплайнов: https://github.com/dagster-io/dagster. Один из авторов Nick Schrock, автор GraphQL. Более подробно что это за штука можно почитать в его блоге: https://medium.com/@schrockn/introducing-dagster-dbd28442b2b7. Выглядит интересно.

Внеплановый пост о том, что вчера я зарелизил Dephell -- инструмент для управления Python проектами с целой коллекцией фич: работа с зависимостями в любом формате, умный резолвер, аудит безопаности, поиск устаревших пакетов, просмотр лицензий зависимостей, управление виртуальными окружениями, бамп версии проекта, сборка пакетов, установка CLI инструментов в изолированное окружение и ещё много-много всего. Работал я над этим больше полугода, причем последние 2 месяца full-time, по 12 часов в день. Всё для вас ❤️

A High-Performance, Logs, Metrics, & Events Router
https://github.com/timberio/vector

Сегодня о линтерах не для Python-кода, но для того, что вы наверняка пишете.

hadolint -- линтер для докерфайла. Правила довольно умные, с анализом передаваемых shell-команд. Причем это не о консистентности или красивости, а именно о best practice как сделать образ стабильнее, меньше и быстрее. Но главное, у проекта офигенный логотип.

shellcheck -- линтер для bash (и sh) скриптов. Правил очень много и они довольно толковые: переносимость, распространенные ошибки, безопасность, консистентность.

markdownlint-cli -- линтер для markdown. Штука довольно важная, потому что markdown толком не стандартизован, и каждый движок рендерит его по-своему. Поэтому если Github всё показывает отлично, это не значит, что Sphinx, Gitlab, Bitbucket или что-то ещё тоже справится. Например, если перед списком не поставить пустую строку, с этим справится только Github. Так что этот линтер не только про консистентность и читаемость, но и про такие вот тонкие моменты.

yamllint -- для yaml-программистов. Это уже больше только про читаемость, за исключением всего нескольких правил, типа поиска повторяющихся ключей.

editorconfig-checker -- небольшой быстрый линтер, который проверит соблюдение .editorconfig. Штука такая, опциональная: отловит отсутствие переноса строки в конце файла и trailing-whitespace.

vale -- линтер для английского текста с поддержкой markdown. Ну знаете, типа "не пиши really, слишком экспрессивно" и "не используй passive voice". Аггрегирует в себя проверки из proselint и write-good, поэтому если с этой поделкой на Go не сложилось, можно просто использовать вот эти два линтера. Vale используется у меня на articles.life4web.ru, внизу некоторых статей можно увидет его предупреждения.

Тут ещё стоит упомянуть grammarly.com, который отлично проверяет различные ошибки в английском тексте. Отличное web-приложение, отличный плагин для браузера. Я через него стараюсь всё прогонять: сообщения, письма, резюме. Жалко, что не понимает значки в markdown и из-за них замалчивает некоторые проблемы.

Бааааааанк! Взгляните ка на эту либу. 😱😳🤭

Чуваки, делающие CockroachDB, заопенсорсили библиотеку для работы с ошибками. С уклоном на распределенные системы и сеть.

https://github.com/cockroachdb/errors

Прикольное расследование перформанса JVM 8 vs 9 (и с Azul, Graal).

Спойлер - гц поел наши запасы, милорд. В коментах даже Шипилёв отметился.

http://psy-lob-saw.blogspot.com/2018/01/what-difference-jvm-makes.html

​​Hashi UI - awesome UI for Consul & Nomad

It combines all best features from old and new view and add much more really needed stuff.

For more information and tools such as:
- hashi-helper
- nomad-helper
- ReSec
- Libra

see SeatGeek and the HashiStack: A Tooling and Automation Love Story by @burdandrei

(when it will be on Hashicorp youtube channel)

#nomad #consul #hashicorp

🐍 И вот вам ещё утилита pipx, которая позволяет питонобинарники изолировать в песочнице и запускать их оттуда - https://github.com/pipxproject/pipx

#python #pipx #github

Мы на Марсе сделали свой собственный менеджер git-хуков — быстрый, настраиваемый, надёжный. Но про него мы ещё расскажем отдельно. А сейчас мы хотим рассказать, как в процессе его внедрения в один из наших проектов мы пытались затянуть гайки, не давая коду, не проходящему линтеры, попасть в репозиторий, а в итоге получилось сделать процесс разработки удобнее — с автоматической установкой библиотек и откатом/применением миграций баз данных при переключении между ветками. Магия!

Разработчик Андрей Новиков делится своим опытом в марсианском канале на devto: http://amp.gs/OQO9

Вот это сильно 😱

Koa routing middleware allowing you to expose a sqlite database via RESTful CRUD

https://github.com/olsonpm/sqlite-to-rest

Свежая статья Антипаттерны микросервисов https://microservices.io/microservices/antipatterns/-/the/series/2019/06/18/microservices-adoption-antipatterns.html

@xShazx here it is.
Starter Kit:
0. DevOps manifest
1. SRE implments DevOps \ 30 минутное интервью, дополняет 1 сезон
Tip: В данном плейлисте сотрудники Google расскажут базовые различия между SRE и DevOps, а также основные концепции и принципы построения рабочего процесса
2. CI\CD\CDP \ Patterns and anti-patterns of CI/CD
Tip: Расшифровка абревиатур, а также паттерны/антипаттерны построения и работы с этими методиками
3. How To Become a DevOps Engineer In Six Months or Less (part 1 \ part 2 \ part 3 \ part 4 \ part 5 \ part 6 \ part 7)
Tip: В своем роде roadmap для становления SRE специалиста с примерами. Достаточно абстрактный для того, чтобы замена инструментов не привела к потери большого куска смысла
4. DevOps Toolkit 2.0 (и далее всю серию) Стоит понимать, что 2.0/1 морально устарели и читать их нужно только для изучения концепций
Tip: Детально рассказывает про инструменты, а также учит когда, как и для каких целей использовать те или иные инструменты
5. SRE books
Tip: книги от Google, думаю комментарии излишне) Просто нужно прочесть)
6. Kubernetes best practice (актуально для любой разработки в контейнерах)
Tip: небольшой плейлист по мировым практикам работы с контейнерами на примере Kubernetes и GCP
7. Designing Distributed Systems
Tip: Данная книга расскажет про паттерны построения расрпделенной системы. Достаточно абстрактно, чтобы можно было применить к большому количеству кейсов с определенными купюрами
8. Building Evolutionary Architectures
Tip: In progress
9. The DevOps Handbook: How to Create World-Class Agility, Reliability, and Security in Technology Organizations
Tip: In progress
10. The Twelve-Factor App
Tip: Данная книга позволяет понять как лучше писать приложения, для того, чтобы потом их можно было легко использовать

#обучение #DevOps #SK

If you feel force in yourself look into list for middle level