Как-то мимо всех прошел выпуск в свет clear containers 3.0 от Intel. Из интересного - поддержка virtio-blk в качестве сторэдж бекенда и возможность запуска CC без модификаций на VMware и HyperV. Ну и да, переписали на гошечке, потому что никто не хочет писать на C, а камьюнити нужно 🙂

P.S. на русском можно почитать, прастихоспади, на opennet

Вчера вышел третий пост о том как работает дисковый IO в linux (первый, второй). В этом посте автор достаточно неплохо и базово расказывает о LSM деревьях, а в следующем будет расказывать о B деревьях.

Кстати, если пропустили, то в первых двух постах достаточно неплохо сгрупированы бызовые знания о файловом IO в linux. Советую всем, у кого ещё не доходили до него руки 🙂

Вы любите датапроцессинг? Если нет, то ой, а если да, то вот тут (https://blog.wallaroolabs.com/2017/09/open-sourcing-wallaroo/) заопенсорсили тулу для event-by-event процессинга данных.

Не помню, может, и кидал уже эту статью

В ней быстро и доступно объясняется, что такое распределенный трейсинг и зачем он нужен на примере Opentracing

#visibility

Ну и сразу же вдогонку статья (точнее GitHub подборка) из цикла "Awesome-%{something}" про Serverless

Дополнения, как обычно, приветствуются!

#serverless

Устроим ка небольшой serverless-weekend.

Статья про AWS Lambda: как, когда и зачем использовать.

Ну и не лямбдой единой: заметка на Medium с кратким сравнением некоторых провайдеров FaaS (Function as a Service)

Ну и не только большие провайдеры. Например, есть Kubeless — фреймворк, который позволяет сделать FaaS поверх Kubernetes, а где разворачивать Kubernetes — уже ваша личная боль. Вот кратенькая статья-обзор сего действа

И сразу же 5 других open source фреймворков

Ну и к вопросу, почему это стало модным. Ответ банаен — бабло. Статья-разбор почему Serverless — это в первую очередь про $$$

+ одна success-story сокращения костов

+ ещё одна

#serverless

Я недавно кидал интерактивный туториал по Ansible, но если вам вдруг мало, вот ещё целый список 🙃

Пока одни выбирают, подписаться на PagerDuty или VictorOPS, или следят за PagerTree, другие пилят своё решение на коленке.

Вот, например, статья о системе звонков при проблеме, собранной из -говна-и-палок- Twilio, AWS CloudWatch, SNS и AWS Lambda

#monitoring #aws

Вот ещё подумал, что иногда неплохо делиться какими-то мелкими лайфхаками, а то каждый раз на что-то большое замахиваемся.

Вот, например, небольшая функция, которая возвращает IP по AWS Instance-ID. У тех, кто активно AWS пользуется что-то подобное уже, скорее всего есть. А вот тем, кто только ничинает, может быть полезно.

Просто добавляешь кусок кода в bash profile (или, как в моём случае в zshrc) и радуешься жизни:

 pubip {
  if [ $# -ge 1 ] ; then
    if [ $# -lt 2 ] ; then region=us-east-1 ; else region=$2 ; fi
      if [ $# -lt 3 ] ; then profile=default ; else profile=$3 ; fi
        aws ec2 describe-instances --query 'Reservations[].Instances[].PublicIpAddress' --output text --instance-ids $1 --region $region --profile $profile
  fi
}

Дефолтный регион и профайл, ессесно (sic!), можно поставить свои. Да и вообще, саму функцию можно улучшать. Но зачем?)

#lifehacks #shell

Статья в блоге Facebook о миграции с InnoDB в MyRocks (это их собственная разработка, но в open source)

Я лично с MyRocks никогда не стыкался, так что рекомендовать её права не имею.

Но вот пункт "Lessons learned" статьи полезен вне вопроса о движке БД

#database

На Reddit, например, день назад начали обсуждать метрики, по которым можно оценить эффективность внедрения методологии DevOps в команде.

Интересно почитать, кроме того, там есть ссылки на другие ресурсы по тематике.

Также, если вам есть самим что добавить — welcome!

#culture

Красивая презентация о том, как и что тестировать в мире микросервисов и на что обращать внимание.

Тем временем зарелизился PostgreSQL 10!

C чем DBA-ев и поздравляем

Ну и чтобы не оставлять эту новость совсем уж постной, добавлю старую, как копыто мамонта, статью о миграции Яндекс Почты на PostgreSQL

#postgresql

Google и Facebook хранят свой код в монорепе. Как бы это не было парадоксально на таких объемах, компании утверждают об очевидных выгодах такого решения.

Точка зрения Google

Точка зрения Facebook (даже с графиками!)

При этом обе компании оговариваются, что такой подход не подойдёт абсолютно всем. Даже внутри компаний есть те, кому он не нравится. Например, как в этом вопросе на Quora

#monorepo

Подъехали видео со Strange Loop 2017

Это технологическая конференция на разнообразную тематику: разработка, базы данных, распределенные системы т.д

Мне же тут остаётся разве что добавить слова Cindy Sridharan:

"Catching up on videos/blog posts on Strangeloop and feeling utterly sad for not going to it. Definitely attending in 2018!!"

#event

Антон Кошевой запостил в слак интересную статью о том как тестировать чатботы. Если коротко, то пожалуйста, тестируйте возможные ответы, а в сообщениях об ошибке оставляйте какие-то подсказки и варианты дальнейших действий. Всё как в обычных интерфейсах, кстати.

В полку юникернелов пополнение: atmanos для golang. Решение достаточно интересное хотя бы тем, что не требует от программиста почти ничего, кроме как запустить команду билда.

kubesh это маленький и очень полезный скрипт, который позволит вам более-менее удобно работать с несколькими кластерами кубернетиса.

Вышла неплохая статья от разработчиков ScyllaDB о разных типах дискового IO в линуксе. В самой статье в сжатом виде достаточно неплохо описаны основные различия read\write, mmap и DIO/AIO.

Если коротко: используйте всегда read\write или mmap, потому что чаще всего это будет работать очень неплохо. Но если вы крутые перцы которые сами хотят инвалидировать кеш и готовы писать кучу кода ради производительности, то есть смысл посмотреть в сторону direct\async IO.

Ну и + небольшая табличка. В общем, смело рекомендую прочитать 🙂

Позавчера анонсировали systemd 235, в котором помимо прочего значительно улучшили обвязку для создания пользователя сразу под процесс. Типа чтобы у каждого процесса\группы процессов был свой уникальный UID.

Собственно, об динамическом создании пользователей и вышла эта статья: http://0pointer.net/blog/dynamic-users-with-systemd.html