OTUS IT News
7.28K subscribers
4.34K photos
308 videos
5 files
4.32K links
Экспертный контент по востребованным технологиям 2025 года: от разработки и аналитики до искусственного интеллекта и облачных решений.

Более 170 курсов+

🗓 Расписание бесплатных ОУ: https://otus.pw/24Da/
🦉 Голосуй за канал: https://xn--r1a.website/boost/Otusjava
Download Telegram
#expert

Мы рекомендуем много книг по архитектуре ПО и по подходам к разработке. Часто задаемся вопросом: "а зачем это всё надо, зачем так сложно?". Но потом начинаем получать проблемы и сложный неуправляемый код.

Преподаватель курсов Java Developer и Разработчик на Spring Framework - Куценко Виталий на митапе Сбера и jug.ru рассмотрел на примерах некоторые проблемы, с которыми мы сталкиваемся. А также дал полезные архитектурные советы, как их избежать.

🎬Предлагаем посмотреть послание Виталия про архитектуру приложений самому себе в прошлое.


***

💬 Мы ищем гостей для новых выпусков рубрики.

Пиши мне, если есть, что рассказать.

Обсудить
#expert

🧠Всем привет! Сегодня у нас в гостях Борис Цейтлин - выпускник магистратуры "Науки о данных" ФКН ВШЭ, работал machine learning инженером в Mindsdb, в настоящее время преподаёт в OTUS на курсах по машинному обучению.

Поговорили с Борисом о том, как усваивать информацию и не забывать её по прошествии времени.

***

Вы проходите курс, сдаете экзамен, а через месяц с трудом вспоминаете название предмета, не говоря уже о материале. Было такое?

В университете мне говорили, что так должно быть: “Зато остается интуиция, и ты знаешь, где посмотреть!” Теперь я уверен: всё это чушь. На первом курсе бакалавриата я изучал линейную алгебру, а на четвертом курсе я уже не помнил как перемножать матрицы и вдруг обнаружил, что нужно изучать всё заново. Очень глупое чувство. Тогда я заинтересовался: может быть есть способ изучить всё один раз, и потом не переучиваться? Я нашел решение и спустя пару лет уже преподавал линейную алгебру в ВШЭ.

Сейчас я вам
расскажу в чем секрет.
#expert

⚡️ Всем привет! Сегодня в гостях у OTUS News Артемий Козырь — Analytics Engineer в компании Wheely, автор телеграмм-канала Technology Enthusiast, а также преподаватель курсов Data Engineer, Hadoop Ecosystem в OTUS.

Поговорили с Артемием про демократизацию аналитики. Подробнее о том, почему Большие Данные никогда не были ближе и доступнее, в посте ниже⬇️

***

Данные и результаты их обработки используются повсеместно. Взрывной спрос на специалистов по работе с данными и рост их зарплат – яркое тому подтверждение.

В то же время реализация востребованного data-проекта никогда не была доступнее, в том числе и для ниндзя-одиночки. Судите сами:

▪️Облака. Готовый MPP движок или Hadoop кластер за 3 минуты – посчитал, сохранил результат – погасил. Zero administration. При этом каждый вендор стремится создать лУчший по функционалу и удобству продукт.

▪️Фреймворки типа dbt элегантно абстрагируют рутинную часть работы и boilerplate code, фокусируя внимание на написании бизнес-логики и лучших практиках разработки. То, для чего раньше создавались целые отделы в компаниях, теперь может быть реализовано усилиями 1-2 людей.

▪️Экспертные сообщества, культура обмена знаниями, open source – это обеспечивает быстрый старт и снижает порог входа. Slack, discourse, telegram channels – места концентрации идей, мнений и крупиц золота. Взгляните на топ аналитических задач на SQL с интерактивными примерами / решениями на sqlfiddle.com

И, конечно, публикуйте свои открытия. Сегодня каждый может стать героем.

Несколько идей проектов, которыми делюсь с вами:

Парсинг телеграм-каналов. Перепосты и кластеры «либеральных» и «патриотических» медиа

Мониторинг блогосферы: «снова в школу» по воскресеньям и «наконец-то пятница»

Граф социальных связей и интересов. Начните с подписок своего Instagram

Тем временем я упорно работаю над содержанием нового курса Data Warehouse Analyst. Именно вы можете повлиять на структуру и акценты, высказав своё мнение. Запуск запланирован уже на май!

***

💬 Мы ищем гостей для новых выпусков рубрики.

Пиши мне, если есть, что рассказать.

Обсудить
#expert

⚡️ Всем привет! Сегодня у нас в гостях Мария Котляревская — DevOps инженер во Wrike, а также преподаватель курса «Инфраструктурная платформа на основе Kubernetes» в OTUS.

Маша поделилась с нами своим топом неочевидных функций в Kubernetes.

⎈Читать в OTUS Journal⎈
#expert

⚡️Всем привет! Сегодня у нас в гостях Аня Подображных — Ведущий менеджер продукта в Авито и автор телеграм-канала @product_weekdays.

Поговорили с Аней про важность продуктового мышления.

***

С чего начинать, если хочешь стать продактом: с инструментов или мышления? Я верю, что с мышления. И чтобы объяснить, что это, зачем и, самое главное, как его развивать, я придумала небольшую историю (прямо как школьное сочинение)!

Наслаждайтесь 🙂


***

💬 Мы ищем гостей для новых выпусков рубрики.

Пиши мне, если есть, что рассказать.

Обсудить
#expert

⚡️ Всем привет! Сегодня в гостях у OTUS News Артемий Козырь — Analytics Engineer в компании Wheely, автор телеграмм-канала Technology Enthusiast, а также преподаватель курсов Data Engineer, Hadoop Ecosystem в OTUS.

Поговорили с Артемием про принципы, лежащие в основе решений, работающих с Big Data ⬇️

***

Большие данные, кластерные вычисления, MPP базы данных – всё это может звучать так сложно и загадочно не только для обывателя, но и для ИТ-специалистов.
Однако, принципы, лежащие в основе решений, работающих с Big Data, логичны и интуитивно понятны. Они одинаково применимы и к инструментам экосистемы Hadoop (Hive, Spark, HBase, Kafka), и к аналитическим движкам корпоративного уровня (Teradata, Vertica, Oracle, Exasol), и к современным облачным решениям (Snowflake, Databricks, Redshift, BigQuery).

Параллелизация вычислений. Распределение большого объема данных на ноды кластера и обеспечение независимой параллельной обработки каждой из частей. MapReduce – классический пример.

Структурирование данных. Сегментация пользователей и их транзакций по идентичному ключу, например, по user_id. А также партиционирование – деление данных на логические части, например, в зависимости от даты транзакции (горячие, теплые, холодные)

Оптимизация физического хранения. Запись данных на диск в колоночном формате, применение алгоритмов кодирования и сжатия. Предварительная сортировка данных.

Актуализация статистических данных (метаданные). Это гистограммы распределения, количество уникальных значений, минимумы, максимумы, наличие NULL. Такая метаинформация критически важна для построения оптимального плана выполнения и выбора алгоритмов.

Управление ресурсами и мониторинг. Выделение ресурсных пулов, квот на использование мощностей, разграничение прав доступа и полномочий. Мониторинг поможет со своевременным реагированием на инциденты и проблемные места.

Новый запуск курса Data Engineer, стартующий 31 мая, приобретает кейс-ориентированный подход. Каждый модуль посвящен разбору отдельного сценария: Architecture, Data Lake, DWH, NoSQL, MLOps.

На подходе курс DWH Analyst, в котором основной фокус делается на направление Analytics Engineering: углубленная аналитика, моделирование данных, Business Intelligence, Data Quality.

***

💬 Мы ищем гостей для новых выпусков рубрики.

Пиши мне, если есть, что рассказать.

Обсудить
#expert

Всем привет! Сегодня в гостях у OTUS News Михаил Альфа — Ведущий разработчик в РСХБ-ИНТЕХ и преподаватель курса Flutter Mobile Developer в OTUS.

Поговорили с Михаилом о том, как помогать сообществу, решая свои задачи. Передаем ему слово.

﹏﹏﹏

💭Все разработчики пользуются чужим умственным трудом каждый день и воспринимают это как должное — хочешь получить некий функционал — скачиваешь «зависимость» — он у тебя есть. Хочешь что-то посложнее — пара зависимостей. Что-то ну совсем сложное — придется написать код.

Речь идет про Open Source-решения, которые экономят всем нам десятки тысяч человеко-часов разработки, миллиарды долларов денег и избавляют нас от миллионов багов. Вы только представьте: вы начинаете новый проект и вам придется с 0 переизобретать Backend-фреймворк для того, чтобы написать простой CRUD. Читать продолжение в Otus Journal.

﹏﹏﹏

💬 Мы ищем гостей для новых выпусков рубрики.

Пиши мне, если есть, что рассказать.

Обсудить
#expert

⚡️ Всем привет! Сегодня в гостях у OTUS News Артемий Козырь — Analytics Engineer в компании Wheely, автор телеграмм-канала Technology Enthusiast, а также преподаватель курсов Data Engineer, Hadoop Ecosystem в OTUS.

Поговорили с Артемием про Data Build Tool – Мультитул для построения Аналитического Хранилища⬇️


***

DBT — это всё о букве T в акрониме ELT (Extract — Load — Transform). Сегодня это бурно развивающийся Open Source проект, который используют уже в 2,100+ компаний. Что делает это решение таким востребованным?

Фокус инженеров и аналитиков на создании ценности и результатах, а не написании boilerplate code
Лучшие практики из мира Software Engineering – Version Control, Unit Testing, Continuous Integration
SQL на стероидах с языком шаблонизации Jinja – больше никакого хардкода
Модульная структура – импортируйте готовые библиотеки, от утилит и календаря до facebook & google ads. А в случае необходимости – напишите свою
Граф зависимостей (Data Lineage) и автоматически генерируемая документаця (Static Website) из коробки
7 official + 7 community адаптеров для СУБД, среди которых: Snowflake, Clickhouse, Redshift, BigQuery, Databricks, SQL Server

После 2 лет работы с dbt и преподавания на курсе Data Engineer мне есть чем поделиться в области DWH / Analytics Engineering. Детальная программа на 35+ занятий сайте курса Data Warehouse Analyst.

Я верю в то, что у dbt большое будущее. Изучая современные подходы и практики Analytics Engineering сегодня, вы делаете большую инвестицию в свое развитие. Напоследок несколько фактов в подтверждение:

November 11, 2020 – Fishtown Analytics raises $29.5M Series B
June 30, 2021 – Dbt Labs raises $150M Series C
15.000+ участников в Slack community
42 доклада за 2020 год на ежегодной конференции Coalesce

***

💬 Мы ищем гостей для новых выпусков рубрики.

Пиши мне, если есть, что рассказать.

Обсудить
#expert

⚡️ Всем привет! Сегодня в гостях у OTUS News адепт менторства и коучинга Георгий Могелашвили — Lead Developer в Booking.com, а также преподаватель курса Team Lead в OTUS.

На уровне руководителя важно развивать не только себя, но и свою команду. Поговорили с Георгием о том, как сделать это наиболее эффективно.⬇️


***

Я веду два урока: Разговоры 1-на-1 и Развитие. А ещё когда-то предложил ввести публичные сессии коучинга, и с тех пор они включены в курс.

Для собственного роста советую следовать следующим шагам:

Понять, куда именно вы хотите расти. Тут как раз поможет коучинг и рефлексия, чтобы определиться с целью.
Оценить свои текущие знания и умения, чтобы затем сформировать список того, чего вам не хватает (дельта).
Сделать план развития, исходя из дельты. Обязательные атрибуты плана: SMART цель и контрольные точки.
Заручиться поддержкой руководителя или ментора. Этот человек поможет вам пройти путь развития наиболее оптимальным путем.

Как раз для того, чтобы работа с ментором была проще, Георгий cоздал стартап GetMentor.dev — сообщество наставников, готовых делиться знанием и опытом. Через его сервис можно найти подходящего ментора и получить совет — или наоборот, стать ментором и поделиться с другими своей экспертизой. Это некоммерческий проект — сервис не берёт деньги за услуги, а многие менторы готовы помогать бесплатно.

В своём
Телеграме @getmentor_dev команда публикует интервью менторов, истории и советы от наставников — советуем подписаться.

***

💬 Мы ищем гостей для новых выпусков рубрики.

Пиши мне, если есть, что рассказать.

Обсудить
#expert

⚡️ Всем привет! Сегодня в гостях у OTUS News Евгений Аристов, преподаватель многочисленных курсов в OTUS.

***

Евгений выпустил новую книгу «PostgreSQL 14. Оптимизация, Kubernetes, кластера, облака».

В книге подробно изучается внутреннее устройство PostgreSQL 14, начиная с вариантов установки, физического устройства этой системы управления базами данных, заканчивая современными бэкапами и репликацией, а также разбираются кластерные и облачные решения на основе PostgreSQL. Книга написана понятным языком с использованием подробных примеров; а исходные коды и ссылки, используемые в книге, выложены на github.

Главы логически выстроены по пути усложнения материала и позволяют разобраться, как правильно развернуть кластер PostgreSQL с нуля на отдельных серверах, в виртуальном и облачном исполнении. Подробно рассматриваются настройки, отвечающие за производительность, безопасность и варианты их тюнинга. Отдельно выделены несколько глав, где рассматриваются варианты оптимизации с использованием различных механизмов: индексы, секционирование, джойны и другое.

Книга будет интересна и полезна разработчикам, администраторам баз данных, архитекторам программного обеспечения, в том числе микросервисной архитектуры.

На сайте автора можно бесплатно прочитать первые 5 глав, а также заказать печатный вариант с доставкой по России или электронную версию в pdf.

***

💬 Мы ищем гостей для новых выпусков рубрики.

Пиши мне, если есть, что рассказать.

Обсудить