Cheat sheet: awk

До DevOops 2019 остаётся несколько месяцев, и мы традиционно публикуем десятку лучших докладов с предыдущей конференции:
https://habr.com/ru/company/jugru/blog/461765/

А докер-то оказывается не загнил и не умер. Недавно наткнулся на "новые" фичи, которые мы когда-то делали в grammarly/rocker, которые позволяют монтировать неймспейсы на этапе build.

Теперь мои docker файлы для разного go кода выглядят так:

# syntax = docker/dockerfile:experimental
FROM golang AS build
WORKDIR /go/prom/scrabbler
ADD go.mod go.sum ./
RUN --mount=type=cache,target=/go/pkg/mod/ go mod download
ADD . /go/prom/scrabbler
RUN --mount=type=cache,target=/go/cache GOCACHE=/go/cache go build

FROM ubuntu
RUN --mount=type=cache,target=/var/cache/apt apt-get update && apt-get install -y ca-certificates
COPY --from=build /go/prom/scrabbler/prom-scrabbler /bin/scrabbler
ENTRYPOINT ["/bin/scrabbler"]

Большая стать от DataDog об уроках использования Kafka

В статье описывают:
- пути безболезненного изменения максимального размера сообщения
- unclean leader election: плюсы, минусы, подводные камни
- конфигурацию retention period для топиков с низкой частотой записи и на что стоит обращать внимание + настройку retention для такого типа топиков

Кроме того, DataDog заопернсорсили свой Kafka-kit - набор утилит понятно для чего. Ну и статейка про эти утилиты

#kafka

​​How to deploy highly available SQL Server 2017 on Linux on GKE для #sql k8s

#mssql #sql #gke #google #ha

Как делать autoscale для ProxySQL в облаке

Завезли Support for JSON output 😱 в bftrace

https://github.com/iovisor/bpftrace/blob/master/CHANGELOG.md#092-2019-07-31

Артемий Рябинков — фанат Go и Postgres. На апрельской Saint HighLoad++ он рассказал об особенностях работы с Postgres в Go. Работая над статьёй, Артемий существенно дополнил материал. Получился концентрат опыта, добытого кровью и потерянными деньгами.

Читайте, учитесь на чужих ошибках, рассказывайте о своём опыте в комментариях.

Давайте уже писать все bulletproof'но! #golang #sre #reliability
https://medium.com/free-code-camp/how-to-write-bulletproof-code-in-go-a-workflow-for-servers-that-cant-fail-10a14a765f22

• В плане сборке можно начать с использования Dockerfile + werf (https://werf.io/documentation/reference/build_process.html) если нет желания завязываться на кастомный синтаксис сборки. Но кастомный сборщик дает свои плюсы: инкрементальный гит и ансибл.
• В плане деплоя и отслеживанию состояний задеплоенных ресурсов до готовности с информативным выводом аналогов чтобы все работало из коробки нету. (https://werf.io/documentation/reference/deploy_process/deploy_into_kubernetes.html)
• Werf это тулза, которая объединяет все низкоуровневые отдельные средства для сборки, деплоя, очистки в единую систему, которая легко интегрируется в любую CI/CD систему за счет того, что использует устоявшиеся общие для всех CI/CD концепции (https://werf.io/documentation/reference/plugging_into_cicd/overview.html). Это позволяет унифицировать процесс. Таких тулов тоже не видать пока в изобилии.
• По поводу откатов релизов: работает точно не хуже чистого хельма. Плюс совместимо с хельмом в обе стороны с минимальными изменениями в конфиге и без изменений в рантайме (релизы можно подхватить уже существующие). И есть всякие другие фичи, вроде автодобавления аннотаций. (https://werf.io/documentation/reference/deploy_process/differences_with_helm.html )

cloud-custodian - инструмент автоматизации работы с облаками
http://github.com/cloud-custodian/cloud-custodian

Amazon анонсировал унифицированный язык запросов PartiQL

https://aws.amazon.com/blogs/opensource/announcing-partiql-one-query-language-for-all-your-data/