Не так давно компания Lyft выпустила свой инструмент для Data Discovery - Amundsen. Задача этой тулзы - собрать в одном месте всю информацию о данных внутри компании. На Strata Data Confence разработчики выступили с рассказом о ней - Disrupting Data Discovery at Lyft (Amundsen).

Помимо доклада есть пост в техническом блоге Lyft - Amundsen — Lyft’s data discovery & metadata engine

Интересный доклад про построение дата-инжиниринг культуры: Creating a Data Engineering Culture

Стали появляться видео с прошедшей конференции Data Council (бывшая DataEng Conf)

- Running Apache Airflow Reliably with Kubernetes
- Amundsen: A Data Discovery Platform From Lyft
- Notebooks as Functions with Papermill
- Operating Multi-Tenant Kafka Services for Developers on Heroku
- How Data is Transforming Politics

трезвая статья про кафку: https://vicki.substack.com/p/you-dont-need-kafka

«Клуб скучных технологий». Классная презентация о том, что важна конечная польза технологий, а не не «красота кода». «Скучные» технологии часто полезнее, чем модные и хайповые. Внимание ограничено и тратить его на технологии вместо идеи продукта — ошибка.

Форма подачи 🔥 и на десктопе и в мобиле.

http://boringtechnology.club

☙

Прагматичные программисты — соль земли. С ними кайф работать. Они не разглагольствуют о рефакторинге, масштабируемости, паттернах программирования, процессах и микросервисах. Эти слова вместо вопросов про продукт — тревожный звоночек.

Мне посчастливилось работать с прагматичным программистом Лешей Гусевым в самом начале моей карьеры. Леша мало говорил о технологиях, но задавал трудные вопросы про продукт. Леша занимался рефакторингом, но делал так, что мобильные разработчики получали нужное апи максимально быстро. Леша не выступал на конференциях про масштабируемость, но при этом сервис не падал под нагрузкой.

Ищите таких программистов, говорите с ними на равных и будет вам счастье.

С днём рождения, Лёша!

🛠 А вот здесь доступна большая подборка консольных сервисов, которые могут упростить жизнь - быстро узнать IP, быстро отправить файл, сгенерировать qr код, сократить ссылку и всё вот это вот: https://github.com/chubin/awesome-console-services

#фидбечат #будничное #cli

🗂 Наткнулся тут на очередную разработку для бекапа данных - Shield (Github). Написано на GO, заявлена поддержка облачных сервисов, плагины для популярных БД, ну и сам по себе файловый бекап. Вряд ли это нужно тащить на прод, но присмотреться, стоит.

#backup #cloud #shield

​​Framework for an Observability Maturity Model

Observability is on the minds of just about every modern dev team running a production service, and it’s time everyone spoke the same language, so we can build something greater on the top of our shared understanding. Access to observable systems is the path toward less frustration and more happiness—both for those responsible for production, and the customers they serve.

For this propose, Honeycomb was created white paper, where they sharing own vision of observability based on goals instead of tools.

P.S. Monitoring is only little part of this Framework.
P.P.S. If you earlier skiped Achieving Observability guide, it's time to read it.

#books #observability

Ребята из http://amp.gs/Oyqt зарелизили TerraCognita — утилиту для импорта текущего состояния инфраструктуры в Terraform 👽
Пока что в бете и поддерживается только AWS, но планируются и остальные.

GitHub: https://github.com/cycloidio/terracognita

Кстати уже есть несколько похожих решений — Terraformer http://amp.gs/OyqT и Terraforming http://amp.gs/Oyq1

Главное не забывайте, что после импорта инфраструктуры в тераформ нужно перестать ее тыкать руками 😸
#terraform #newsteaser

Статья про таймауты https://vorpus.org/blog/timeouts-and-cancellation-for-humans/ #sre #timeouts

Вот вам списочег инфы по Базам данных

Courses and books :
1) MySQL 8 for Administrators
2) CBT Nuggets - Database Fundamentals
3) Introduction to MongoDB
4) O'Reilly - Berglund and McCullough on Mastering Cassandra for Architects
5) The Ultimate MySQL Bootcamp: Go from SQL Beginner to Expert
6) Udemy - The Complete SQL Bootcamp

Tools & Tips :
1) SQLPad - A web app for running SQL queries and visualizing the results
2) NOSQL Databases
3) Adminer - Database management in a single PHP file
4) Dbeaver - Free Universal Database Tool
5) Planet PostgreSQL - articles star
6) Awesome Postgres - A curated list of awesome PostgreSQL software, libraries, tools and resources
7) BaRMan - Backup and Recovery Manager for PostgreSQL
8) Planet MySQL - articles star
9) Percona Database Performance Blog top
10) MySQL Tutorial - Learn MySQL Fast, Easy and Fun. star
11) Orchestrator - MySQL replication topology management and HA
12) Awesome Mysql - A curated list of awesome MySQL software, libraries, tools and resources
13) phpMyAdmin star
14) mycli - MyCLI is a command line interface for MySQL, MariaDB, and Percona with auto-completion and syntax highlighting. star
15) dbkoda - is a modern, open source IDE for MongoDB. It has features to support development, administration and performance tuning on MongoDB databases top
16) Free MongoDB Course with Python

YouTube channels :
1) Percona Database Performance - contains technical videos, webinars and screencasts about everything related to MySQL and MongoDB top
2) Postgres Open - is a non-profit, community-run conference series in the United States focused on business users, database professionals and developers of PostgreSQL, the open source database. top
3) PGCon - PostgreSQL Conference for Users and Developers star
4) MongoDB

Продолжая неделю БД, которую, видимо, внезапно обьявили астрологи, вот вам еще каналы интересные (спасибо подписчикам)
[PostgreSQL]
https://www.youtube.com/channel/UC6gJN4hEmnPHZ53HP2r7zhA
https://www.youtube.com/channel/UCawnwMqZ6JeoSiEhrS6X69A
[InfluxDB]
https://www.youtube.com/channel/UCnrgOD6G0y0_rcubQuICpTQ
[Redis]
https://www.youtube.com/channel/UCD78lHSwYqMlyetR0_P4Vig
[VictoriaMetrics]
- Документация по бесплатной single-node версии: https://github.com/VictoriaMetrics/VictoriaMetrics/wiki/Single-server-VictoriaMetrics
- Статьи - https://github.com/VictoriaMetrics/VictoriaMetrics/wiki/Articles
- Релизы с changelog'ами - https://github.com/VictoriaMetrics/VictoriaMetrics/releases
- Docker images - https://hub.docker.com/r/victoriametrics/victoria-metrics/tags
#db #redis #pgsql #influx #victoriametrics

Неплохая статья по лучшим практикам Настройки openssh
https://www.cyberciti.biz/tips/linux-unix-bsd-openssh-server-best-practices.html

Make Your Company Data Driven. Connect to any data source, easily visualize, dashboard and share your data.
#visualization #analytics #bi
https://github.com/getredash/redash

Было было, но такого я еще не видел... ну и конечно же, собранная на нашем любимом Electron

https://habr.com/ru/post/458372/

К слову гугл выдал еще такой бесплатный
И еще один бесплатный

Вот списочег таких тулз

Real-World SRE
The Survival Guide for Responding to a System Outage and Maximizing Uptime

Nat Welch

2018

Fast, lightweight & schema-less search backend. An alternative to Elasticsearch that runs on a few MBs of RAM.
#rust #search #db
https://github.com/valeriansaliou/sonic

3-я глава про IAM

- Что происходит, когда контейнер стучится на S3
- Почему Condition не умеет проверять только время
- Как перестать бездумно копировать политики и начать жить
- Как ограничить доступ к роли только для определенной Lambda функции

На эти и другие вопросы я отвечаю здесь: https://bit.ly/2XotGs9

От High Ceph Latency к Kernel Patch с помощью eBPF/BCC - русская версия, ранее написанной ребятами из Selectel'а статьи.

#ebpf #bcc #напочитать.

Классная статья о том как инженер парсил 25 терабайт данных.
https://livefreeordichotomize.com/2019/06/04/using_awk_and_r_to_parse_25tb/