В блоге компании Contino вышла отличная статья про стратегии тестирования Terraform кода.

https://goo.gl/JoKDjz

Подробный разбор load average (LA) в linux от Brendan Gregg, инженера Netflix и автора прекрасной книги «Systems Performance, Enterprise and the Cloud»



https://goo.gl/uHznHV

Как обрабатывается таблица маршрутизации IPv6 в Linux - большая техническая статья https://vincent.bernat.im/en/blog/2017-ipv6-route-lookup-linux. В ссылках есть статья на ту же тему для IPv4.

На образовательной платформе Coursera вчера стартанул курс уровня Intermediate для изучения языка Python от Mail.RU (на русском языке) — https://goo.gl/JXNfrQ. Для получения сертификата необходимо курс купить ($79, дорого), но если он вам не нужен, а нужны знания, то курс можно пройти абсолютно бесплатно. К слову, в курсе есть материал как для новичков, так и для более продвинутых программистов на Python, а именно тема с многопроцессорной и многопоточной обработкой, асинхронное программирование (asyncio), метаклассы, дескрипторы, сопрограммы и многое другое. Преподаётся Python3.

Вчера в блоге Dropbox появилась статья про тюнинг Nginx от Dropbox SRE Алексея Иванова — https://goo.gl/RoViDm. Пост может смело претендовать на небольшую книгу, т.к. автор детально разбирает все уровни абстракции: начиная от железа и заканчивая прикладным уровнем.

Дополнение от Heartless'а.

Для MacOS timeout это -G, для Linux -w
Но они разные, для MacOS тоже есть -w, который работает после подключения.

Проверка наличия открытого TCP-порта 12345

MacOS $ nc -v -G2 192.168.1.100 12345
Linux $ nc -v -w2 192.168.1.100 12345

Сканирование TCP-портов с помощью netcat:

MacOS $ nc -G2 -vz 192.168.1.100 20-24
Linux $ nc -w2 -vz 192.168.1.100 20-24

Отправка UDP:

$ echo -n "foo" | nc -u -w1 192.168.1.100 161

Прием данных на UDP-порту и вывод принятых данных:

$ nc -v -u localhost 7777

После первого сообщения вывод будет остановлен. Если необходимо принять несколько сообщений, то необходимо использовать nc -lkv 0 7777

Если по каким-то причинам не работают шеллы через nc -e, то стоит проверить следующий вариант:

rm -f /tmp/f; mkfifo /tmp/f; cat /tmp/f | /bin/sh -i 2>&1 | nc -l 0 1234 > /tmp/f 

А также "ncat -e"

Перенаправление портов

MacOS $ nc 127.0.0.1 22 <&1 | nc -lvk 3333 >&0
Linux $ mkfifo /tmp/bp; nc -lvk 12345 0</tmp/bp | nc 127.0.0.1 22 1>/tmp/bp

И еще немного: https://habrahabr.ru/company/pentestit/blog/336596/

В блоге Container Solutions началась серия статей, объясняющих туториал «Kubernetes The Hard Way» от Kelsey Hightower.

https://goo.gl/s98g3W

Интересная статья про настройку HashiCorp Vault для хранения секретов в LDAP.

https://goo.gl/FhHk6M

Ark — утилита от Heptio для Kubernetes кластеров.

Позволяет создавать/восстанавливать бекапы текущего состояния кластера, создавать идентичные окружения, переносить конфигурацию между различными облачными провайдерами.

https://goo.gl/6JLkjY

Еще одна точка зрения на Observability в блоге VividCortex.

https://goo.gl/om7Ary

Небольшая статья от Aymen El Amri про типы инстансов в AWS и для чего они лучше подходят.

https://goo.gl/kGqZFM

Ребята из облачного мониторинга Okmeter написали статью как они адаптировались к работе в Docker энвайронменте.

https://goo.gl/JbWJkd

Перевод на русский язык статьи Алексея Иванова (Dropbox) про оптимизацию веб-сервера. Для тех кому проще все же на великом и могучем. Напомню, что статья полезна в принципе подходом к оптимизации и большая часть советов может быть перенесена на произвольное сетевое (и не только) приложение.

https://habrahabr.ru/company/badoo/blog/338226/

#nginx #performance #tuning #dropbox

Facebook в своем блоге опубликовал статью про миграцию с InnoDB на MyRocks. Даннный пост является текстовой версией их презентации на SRECon 2017 Asia. В посте рассказано про выигрышь от перехода в плане утилизации железа, а также показан сам процесс миграции.

Пост: https://code.facebook.com/posts/1478526992216557/migrating-a-database-from-innodb-to-myrocks/
Доклад с SRECon для тех, кто больше любит видео и презентацию: https://www.usenix.org/conference/srecon17asia/program/presentation/matsunobu

#facebook #mysql #innodb #rocksdb #myrocks

Интересная статья о использование kubernetes helm в реальном мире. Очень советую почитать перед тем как ввязываться :)

Интерактивный туториал по Ansible. По факту является интерактивной адаптацией Ansible tutorial от Leucos

Всё, что надо для прохождения — установленный Docker

Видео-демо есть тут

Содержание:

1. Getting Started
2. Basic inventory
3. First modules and facts
4. Groups and variables
5. Playbooks
6. Playbooks, pushing files on nodes
7. Playbooks and failures
8. Playbook conditionals
9. Git module
10. Extending to several hosts
11. Templates
12. Variables again
13. Migrating to roles!
14. Using roles from Ansible Galaxy - Install a Jenkins server
15. Free play

#ansible

Как-то мимо всех прошел выпуск в свет clear containers 3.0 от Intel. Из интересного - поддержка virtio-blk в качестве сторэдж бекенда и возможность запуска CC без модификаций на VMware и HyperV. Ну и да, переписали на гошечке, потому что никто не хочет писать на C, а камьюнити нужно 🙂

P.S. на русском можно почитать, прастихоспади, на opennet

Вчера вышел третий пост о том как работает дисковый IO в linux (первый, второй). В этом посте автор достаточно неплохо и базово расказывает о LSM деревьях, а в следующем будет расказывать о B деревьях.

Кстати, если пропустили, то в первых двух постах достаточно неплохо сгрупированы бызовые знания о файловом IO в linux. Советую всем, у кого ещё не доходили до него руки 🙂

Вы любите датапроцессинг? Если нет, то ой, а если да, то вот тут (https://blog.wallaroolabs.com/2017/09/open-sourcing-wallaroo/) заопенсорсили тулу для event-by-event процессинга данных.