Классная статья о том как инженер парсил 25 терабайт данных.
https://livefreeordichotomize.com/2019/06/04/using_awk_and_r_to_parse_25tb/

Оказывается к демону docker можно по ssh ходить https://medium.com/better-programming/docker-tips-access-the-docker-daemon-via-ssh-97cd6b44a53

@olegkovalov тут подкинул годноты вам в ленту

https://medium.com/@copyconstruct/distributed-tracing-weve-been-doing-it-wrong-39fc92a857df

How to write idempotent Bash scripts

Как писать идемпотентные скрипты на баше.

https://arslan.io/2019/07/03/how-to-write-idempotent-bash-scripts

The history of infrastructure at Zendesk

Как развивалась инфраструктура в компании Zendesk.

Part 1: Constant tradeoffs
https://medium.com/zendesk-engineering/the-history-of-infrastructure-at-zendesk-constant-tradeoffs-bdfa916ff4c3

Part 2: The messy middle
https://medium.com/zendesk-engineering/the-history-of-infrastructure-at-zendesk-part-2-the-messy-middle-59f16a959b7f

Part 3: Foundation team forming and evolving
https://medium.com/zendesk-engineering/the-history-of-infrastructure-at-zendesk-part-3-foundation-team-forming-and-evolving-9859e40f5390

Небольшая статья о том, как впилить proemtheus метрики в ваш любимый ML, на самом деле подойдет в качестве примера для любого batch приложения на python https://medium.com/under-the-microscope/prometheus-metrics-for-batch-jobs-on-kubernetes-b06ec3b620bc #python #prometheus #k8s

​🆙 9-11 сентября в Питере пройдет пятый Слёрм: интенсив по Kubernetes для тех, кто только осваивает Кубернетес или хочет систематизировать свои знания.
📘 На Слёрме после лекции идет практическое занятие. Выполняя практику, каждый участник создаст свой учебный кластер и развернет в нем приложение.
Selectel спонсирует все Слёрмы, предоставляя стенды для практики. В этот раз Selectel пригласил Слёрм в свой конференц-зал.
🛠 За год через Слёрмы прошло 435 человек. IT-компании отправляют на Слёрм администраторов и разработчиков, даже если те уже работают с k8s. Одна предотвращенная ошибка в настройках кластера может окупить обучение всего отдела.

Регистрация по ссылке
https://clck.ru/GnDYo
#реклама

https://habr.com/ru/company/yandex/blog/459198/ #clickhouse

Ещё одна статья про chaos engineering, в этот раз больше про практику #chaos #sre https://blog.acolyer.org/2019/07/05/automating-chaos-experiments-in-production/

Terraform: Up & Running, 2nd edition Early Release is now available!

Отличный пост от Yevgeniy Brikman (компания Gruntwork) анонсирующий его новую книгу Terraform: Up & Running, 2nd edition и изменения в Terraform за последние 2 года, которые прошли с выпуска первого издания книги.

https://blog.gruntwork.io/terraform-up-running-2nd-edition-early-release-is-now-available-b104fc29783f

Компания Siemens выпустила гипервизор Jailhouse 0.11
http://www.opennet.ru/opennews/art.shtml?num=51057
Компания Siemens опубликовала релиз свободного гипервизора Jailhouse 0.11, компоненты для гостевых систем которого уже включены в состав основного ядра Linux. Гипервизор поддерживает работу на системах x86_64 с расширениями VMX+EPT или SVM+NPT (AMD-V), а также на процессорах ARMv7 (Banana Pi, NVIDIA Jetson TK1, Versatile Express с Cortex-A15 или A7) и ARMv8/ARM64 (AMD Seattle, LeMaker HiKey, NVIDIA Jetson TX1, Xilinx ZCU102 ) с расширениями для виртуализации. Код проекта распространяется под лицензией GPLv2. #opennet

Простите, неделя Баз Данных прошла, а линк только сейчас попался на глаза

https://github.com/shlomi-noach/awesome-mysql

#mysql

Consul OSS with Mesh Gateway and Level 7 features

Wiil be released later today

More from HashiConfEU will be in https://twitter.com/MaxymVlasov

#consul #HashiConfEU

Things I Learnt The Hard Way (in 30 Years of Software Development)

Очень качественный список известных вещей. Немного лонгрид, но очень много вещей правда.

(с)читайте что это кэп-лист. Хотя было приятно пролистать.

https://blog.juliobiason.net/thoughts/things-i-learnt-the-hard-way/

Внеплановый пост о том, что вчера я зарелизил Dephell -- инструмент для управления Python проектами с целой коллекцией фич: работа с зависимостями в любом формате, умный резолвер, аудит безопаности, поиск устаревших пакетов, просмотр лицензий зависимостей, управление виртуальными окружениями, бамп версии проекта, сборка пакетов, установка CLI инструментов в изолированное окружение и ещё много-много всего. Работал я над этим больше полугода, причем последние 2 месяца full-time, по 12 часов в день. Всё для вас ❤️

Бааааааанк! Взгляните ка на эту либу. 😱😳🤭

Чуваки, делающие CockroachDB, заопенсорсили библиотеку для работы с ошибками. С уклоном на распределенные системы и сеть.

https://github.com/cockroachdb/errors

Настало время выложить наши девтолки >

1) [RUS] #DevTalkRu at #LinuxPiter with Aleksandr Tobol' (Ok.ru)
https://www.youtube.com/watch?v=ikbHUbMeQ58&feature=youtu.be

2) [RUS] #DevTalkRu at #LinuxPiter with Alexander Kanevskiy (Intel)
https://www.youtube.com/watch?v=6fHhiQN1BiE&feature=youtu.be

3) [ENG] #DevTalkRu at #LinuxPiter with SVA (pEp foundation)
https://www.youtube.com/watch?v=9wYrBaCi_Gs&feature=youtu.be


4) [ENG] #DevTalkRu at #LinuxPiter with Lennart Poettering (Red Hat)
https://www.youtube.com/watch?v=fhPJvEF1TQE&feature=youtu.be

Сегодня о линтерах не для Python-кода, но для того, что вы наверняка пишете.

hadolint -- линтер для докерфайла. Правила довольно умные, с анализом передаваемых shell-команд. Причем это не о консистентности или красивости, а именно о best practice как сделать образ стабильнее, меньше и быстрее. Но главное, у проекта офигенный логотип.

shellcheck -- линтер для bash (и sh) скриптов. Правил очень много и они довольно толковые: переносимость, распространенные ошибки, безопасность, консистентность.

markdownlint-cli -- линтер для markdown. Штука довольно важная, потому что markdown толком не стандартизован, и каждый движок рендерит его по-своему. Поэтому если Github всё показывает отлично, это не значит, что Sphinx, Gitlab, Bitbucket или что-то ещё тоже справится. Например, если перед списком не поставить пустую строку, с этим справится только Github. Так что этот линтер не только про консистентность и читаемость, но и про такие вот тонкие моменты.

yamllint -- для yaml-программистов. Это уже больше только про читаемость, за исключением всего нескольких правил, типа поиска повторяющихся ключей.

editorconfig-checker -- небольшой быстрый линтер, который проверит соблюдение .editorconfig. Штука такая, опциональная: отловит отсутствие переноса строки в конце файла и trailing-whitespace.

vale -- линтер для английского текста с поддержкой markdown. Ну знаете, типа "не пиши really, слишком экспрессивно" и "не используй passive voice". Аггрегирует в себя проверки из proselint и write-good, поэтому если с этой поделкой на Go не сложилось, можно просто использовать вот эти два линтера. Vale используется у меня на articles.life4web.ru, внизу некоторых статей можно увидет его предупреждения.

Тут ещё стоит упомянуть grammarly.com, который отлично проверяет различные ошибки в английском тексте. Отличное web-приложение, отличный плагин для браузера. Я через него стараюсь всё прогонять: сообщения, письма, резюме. Жалко, что не понимает значки в markdown и из-за них замалчивает некоторые проблемы.

Прикольное расследование перформанса JVM 8 vs 9 (и с Azul, Graal).

Спойлер - гц поел наши запасы, милорд. В коментах даже Шипилёв отметился.

http://psy-lob-saw.blogspot.com/2018/01/what-difference-jvm-makes.html

Уже в следующий понедельник произойдет повышение цен на билеты конференцию IT Nights, которая пройдет в Иннополисе с 1 по 3 августа🔥 Не стоит откладывать покупку в долгий ящик. Иначе как же ты попадешь на ночную конфу для разрабов, devops-инженеров, дата-сайентистов, дизайнеров и менеджеров.

Эти две ночи не будем спать уже не из-за горящих дедлайнов, а ради докладов от крутых спикеров. Днем у тебя будет время выспаться и отдохнуть на природе в формате летнего лагеря для взрослых — спортивные игры, иммерсивные экскурсии и кино на свежем воздухе🕺

Промокод на скидку 15% для участника нашего канала: tg_it_nights

Билеты (пока еще по прежней цене) тут: http://it-nights.ru/
#реклама