✍️ Условная конструкция match case в Python

https://life.bigdatateam.org/praktichieskoie-primienieniie-uslovnoi-konstruktsii-match-case-v-python/

Как и обещали, продолжаем делиться интересными находками. Для тех кто пропустил (вангуем - почти все 😊), в Python 3.10 (What's New) появился оператор match-case. Антон, член нашего профессионального сообщества, осветил этот вопрос на блог-платформе: условная конструкция match case в Python.

Немного про Антона
Должность: Junior Software Engineer
Компания: Ozon Tech

Достижения:
🔹 Участвовал в разработке нескольких аналитических сервисов на Golang и Python. Совместно с командой довел их до стадии MVP, настроив интеграции с Airflow, Spark, Keycloak и другими внутренними сервисами через GRPC;
🔹 Оптимизировал процессы взаимодействия с базами данных (Postgres, Clickhouse), улучшив производительность и надежность.

Предыдущие статьи:
— Конвертируем PDF под вашу читалку в Python

Поддержите пробу пера автора, накидайте Антону лайков.

BigData Team: the way your learn best
#life #study #python

Мы не повышали цены для клиентов в России уже несколько лет. Тем самым мы поддерживали специалистов, которые могли столкнуться с трудностями найма в сфере IT. За время действия скидки несколько сотен человек смогли повысить свою квалификацию: кто-то устроился в Яндекс, а кто-то, проживая за рубежом, сменил профиль деятельности на Data Engineer.

Однако, с учетом волатильности рубля и роста стоимости инфраструктуры (e.g. Hadoop кластер), в РФ мы достигли нуля операционной деятельности. В связи с этим, вынуждены подкрутить гайки социальной миссии в сторону бизнесовой. Это необходимо, чтобы продолжить предоставлять конкурентные знания и поддерживать высокое качество наших программ.

🎁 По стечению обстоятельств, ровно сейчас к нам пришли друзья с социальной миссией и финансовой поддержкой, которая будет доступна гражданам любых стран. Мы согласовали ключевые цели и идеологию грантовой поддержки. В ближайшие недели, будем заниматься автоматизацией и проводить тестирование внутренних процессов.

BigData Team: the way your learn best
#work #study

📚📝 Head of IT Products делится опытом развития

В 2021 году Андрей Симкин, Head of IT Products в МТS Digital, проходил курсы Big Data и Python, в ходе которых он набрал “отл”, таким образом войдя в 5-10% самородков ИТ-индустрии. В 2022 году он уже присоединился к нашему профессиональному сообществу BigData Team. Андрей — частый гость наших митапов, где делится своей экспертизой и помогает слушателям осваивать сложный материал.

Со слов Андрея:

Курса по Machine Learning я ждал полтора года. Среди курсов BigData Team это один из самых нагруженных. У меня сложилось ощущение, что начинать выполнение ДЗ нужно на следующий день после того как его выложили. А так вообще всё круто, не только про этот курс. Преподавателям огромное спасибо.

💭 Кстати в следующем месяце грантники Tech Orda будут проходить последнюю часть программы Big Data / Machine Learning Engineer (BDMLE). Обратите внимание, что на курс можно записаться отдельно от полугодовой программы BDMLE и до 3 февраля действуют скидки.

#alumni #study

😅 Углубился в аналитику: вылезай, как знаешь

Мы пятнично иронизируем с чем приходится сталкиваться продуктовым аналитикам 😇 Лайки и комментарии, приветствуются.

#meme

⭐️ Мини-quiz по Spark

Ранее, мы делились с вами темами для подготовки к собеседованию на роль Data Engineer'а. Предлагаем новичкам узнать, а практикам вспомнить базовые концепты Spark:
1. Партиция (RDD partition) является единицей параллелизма X
2. Task является единицей параллелизма Y

Правильный ответ (emoji-голосование):
🔥 X - вычислений, Y - данных
👏 X - данных, Y - вычислений
❤️ если хочешь узнать в каких Spark терминах путается 40% IT-специалистов

За обсуждениями - под кат. За обучением по ссылке: практический курс по Big Data.

BigData Team: the way your learn best
#study #quiz

😎 Опыт, гибрид человека и LLM ==> скорость работы 5x

Пока китайцы дизраптят рынок и все остальные пытаются понять, правда ли это, что state-of-the-art LLM можно обучить не за 60 млн $, а всего за $5.5M (подробности). Нам, землянам, приходится привыкать и делиться друг с другом опытом использования этих достижений.

От лирики к опыту
На прошлой неделе, в связи с подготовкой к конкурсу на гранты, нам нужно было проанализировать многолетний опыт отбора на гранты (внутренняя кухня CRM) и пользовательский опыт сдачи тестирований. Я просто в восторге афиге от современной скорости исследований и экспериментов в IT.

Если раньше нужен был толковый IT специалист и целый день, чтобы обработать данные, обучить несколько моделей машинного обучения с целью проверить гипотезы, выдвинуть новые (и повторить). То сейчас, весь цикл до получения результата умещается в несколько часов. Мне только пришлось помочь* GPT построить график по значимости факторов на основе Shapley values.

*к сожалению, библиотека SHAP в Python не всегда легко устанавливается. Например, на виртуалке, где крутился GPT агент, это сделать не удалось.

Last, but not least
Кстати, кто не в курсе, кто такой Lloyd Shapley и за что ему дали нобелевку по экономике в 2012 (видео с вручения), посмотрите очень доступное (без шуток) видео с его выступлением на 7.5 минут по ссылке (про то, как сделать максимально "справедливые", с точки зрения общества, союзы мальчиков и девочек).

Call to action
👉 те, кто хочет получить серьезный бекграунд в сфере ML - вы знаете, где нас искать 😉
👇 поделитись вашими лайфхаками оптимизации работы с помощью LLM / GPT

#work

📚 Как подготовиться к техническому собеседованию

⭐️ Продолжаем делиться советами для подготовки к интервью в Big Tech. Сегодня обратим внимание на книгу, которую рекомендуют даже топовые специалисты: Cracking the Coding Interview.

Книга помогает научиться грамотно доносить свои идеи на интервью и подготовиться к его технической части, а 189 задач с разбором помогут «набить руку». Cracking the Coding Interview также предлагает закулисный взгляд автора на то, как крупные компании, вроде Meta или Google нанимают специалистов.

😊 Книга вкупе с постоянной практикой поможет подготовиться к техническому собеседованию.

BigData Team: the way your learn best
#study

😱🤖 Китайский ИИ отбирает работу

Что дальше?!

Благодарности за находку руководителю инфраструктуры BigData Team (прошлые находки)

BigData Team: the way you learn best
#meme

✍️ Интересный кейс при работе с множествами

Вы знали, что операнды Python &= и |= работают в формате _update или, как еще принято говорить в разработке, in-place? Пример кейса на скриншоте.

Emoji-голосование:
🔥 — знали
🤔 — узнали
💔 — поясните в комментариях, что за дичь со словарем творится

Полезные ссылки:
— официальная документация Python
— обсуждение на stackoverflow
— ликбез по Computer Science (Python, Unix, Docker, ...)

BigData Team: the way you learn best
#study #python

😳 Анализ обратной связи

Разбирая обратную связь от слушателей, у нас сложилось ощущение, что мы иногда чересчур... "мотивируем" в период обучения. Посмотрели на наши тесты - неужто давление? 😄

P.S. подготовка тестирований к конкурсу идем полным ходом.

#work

👩‍🏫👨‍🏫 Осталось 5-10 мест на курсах BD и ML 🔥

У нас параллельно запускаются две учебные группы по направлениям Big Data (BD) и Machine Learning (ML). До запуска осталось меньше 2х недель:
🗓 1 поток: 24.02.2025 — 04.05.2025

Практический курс по Machine Learning
👉 полное описание + запись
💫 список инструкторов с международным опытом
👨‍🎓 рекомендации от выпускников + отзывы: Зинура
❗️ На курс по ML осталось меньше 5 мест, но можем набрать еще одну группу. Ннннадо?

Практический курс по Big Data
👉 полное описание + запись
🧑‍🎓 отзывы выпускников: Сергей
▶️ пример видеоролика с курса (5 min)

Истории успеха для вдохновения:
— Жанбулат, Big Data Engineer, KZ
— Ердаулет, Big Data Engineer, FAANG/MANGA
— Целые группы Tech Orda одни скрином: раз и два

BigData Team: the way you learn best
#study #ml #bigdata

🔥 Менеджер, который мыслит как Data Scientist

Machine Learning — это не только для программистов и математиков. Изучать машинное обучение можно и для того, чтобы повысить эффективность управления и взаимодействия с командой.

В прошлом году на курсе обучался Евгений С. (БКС, директор по персонализации):

Супер-круто, очень интересно. Мне больше всего запомнилось занятие про ансамбли и деревья. Я очень далёк от ML, обычный менеджер, и мне это прям мозг порвало: "Ничего себе, как это оказывается круто работает, интересно". И, конечно, спасибо, что видосики доступны безлимитно. Из тех 400 просмотров кажется, что половина моя, потому что я смотрю кусочками: полчаса, и через пару дней ещё полчаса. Кажется, там скоро будет 4000 просмотров. Курс классный, преподы супер крутые. Желаю только успеха, Алексей, тебе и всей школе, всем преподавателям и ученикам.

Что может дать прохождение курса по ML менеджеру? 🤔
✅ Эффективное управление командой: зная, как работают алгоритмы, вы станете лучше понимать, как оптимизировать процессы в своей команде.
✅Уверенность в принятии решений: вы сможете предвидеть будущее! ваши стратегии будут основаны не на интуиции, а на данных и аналитике.

Практический курс по Machine Learning стартует уже на следующей неделе, самое время прокачать свои знания и навыки:
👉 полное описание + запись
💫 список инструкторов с международным опытом
👨‍🎓 рекомендации от выпускников + отзывы: Зинура

P.S. у нас существуют курсы исключительно для менеджеров в формате 2-х-дневного интенсива. В этом случае - см. Big Data Workshop.

BigData Team: the way you learn best
#study #ml #feedback

🔥 Несколько способов сделать вашу жизнь чуточку ярче

На этой неделе мы запустили Практический курс по Machine Learning, поэтому будет правильно поделиться небольшими лайфхаками из мира ML и командной работы.

#meme

🚀 Big Data - новый формат обучения

На прошлой неделе прошла организационная встреча практического курса по Big Data, и учащиеся начали погружение в распределенные файловые системы. На этой неделе, мы уже приступили к разработке. Если вы опоздали, но очень хотели попасть на курс, напишите нам:
👉 в последний вагон - study@bigdatateam.org

🤔 Сложно начать сейчас, а ждать следующего курса слишком долго? В декабре прошлого года мы ввели новые форматы обучения для курса промышленной разработки на Python. И сейчас мы собираемся запустить курс в форматах Lite | Medium | Full для Big Data!

✨ С этими форматами вы сможете начать обучение в любое время и по своему графику. Например, формат Medium будет включать:
✔️ Ежемесячные старты
✔️ Доступ к видео на год
✔️ Возможность использовать Grader для проверки своих решений
✔️ Чат сообщества
✔️ Сертификат об окончании курса

BigData Team: the way you learn best
#study #BigData

Все говорят, что нас заменит ИИ… но в то же время, транскрибация созвонов выглядит как-то так 👆

А какими инструментами для работы с русским (или может быть казахским) языком вы пользуетесь? Напишите в обсуждении под постом. 🧐

#meme

🌟 От идеи к идеалу: как мы создали футболку нашей мечты

Идея создания мерча возникла у нас давно, но жизнь внесла свои коррективы: сначала COVID-19, затем переезд. В мае 2024 года по совету знакомых мы отправились в Кыргызстан и заказали там первую партию. Производство оказалось индийским, в Индии прекрасный пошив и многие заказывают текстиль именно оттуда. Однако был один нюанс: футболки, которые мы выбрали, отличались от привычных нам европейских стандартов. Используемые лекала оказались широкие и короткие, так что получились скорее топы, а цвет печати не соответствовал требуемому. Пришлось погрузиться в тему и узнать что такое лекала и пантоны. 😅

Мы вернулись в Казахстан и продолжили поиски, но, к сожалению, нам не удалось найти хлопок нужного качества. В результате нам даже пришлось связаться с производством во Франции, чтобы найти дистрибьютора в Казахстане.
Кажется, осталось совсем немного. Однако, чтобы найти устойчивую и яркую печать, пришлось перепробовать несколько вариантов. В сентябре того же года была заказана пробная партия, но качество печати оказалось не на высоте: уже после третьей стирки она начала отслаиваться. Однако мы не сдались.

Наконец, в ноябре мы нашли идеальный вариант! 🎉 Мягкая, удобная и плотная футболка с нашим логотипом. Премиальное качество! Бонусом яркая и стойкая печать!

✨Футболка, которая прошла через множество изменений, чтобы стать идеальной:
✔️ Воротник футболки защищен от деформации, что позволит сохранить идеальную форму даже после многочисленных стирок
✔️ 100% Хлопок - сохранит тепло в холодное время года и, наоборот, изолирует, когда жарко
✔️ Правильные пантоны Яркий и стильный дизайн
✔️ Экологичные стандарты производства: органический и перерабатываемый хлопок, Global Recycled Standart, Organic Textile Standart

Хотели бы себе такую футболку? Отмечайтесь под постом комментариями или ❤️

BigData Team: the way you learn best
#BigDataTeam #life

📝 Математические основы машинного обучения

Для успешной карьеры в Data Science нужно уметь не только программировать, но и использовать аппарат высшей математики (работа с матрицами, производные и интегралы). Понимание основополагающих математических концепций помогает лучше разбираться в алгоритмах Machine Learning (ML), особенностях этих алгоритмов и их ограничениях.

Преподаватели Практического курса по Machine Learning (ML) поделились своими любимыми рекомендациями для погружения в основы ML. Также хотим поблагодарить за рекомендацию Арсения Ашуху. Выбирайте любую из следующей тройки:
1️⃣ Первые три главы Data Mining and Machine Learning: Fundamental Concepts and Algorithms by Mohammed J. Zaki and Wagner Meira, Jr. Cambridge University Press
2️⃣ Mathematics for Machine Learning by Marc Peter Deisenroth, A. Aldo Faisal, and Cheng Soon Ong. Cambridge University Press
3️⃣ Первая глава книги Deep Learning Book by Ian Goodfellow and Yoshua Bengio and Aaron Courville. MIT Press

В целом, для саморазвития советуем освежить (или изучить 😁) теорию вероятностей и математическую статистику. Наш выбор:
✔️ учебник Теория вероятностей. Математическая статистика. Бочаров П. П., Печинкин А. В.

Было полезно? Не забудьте поставить лайк, сохранить этот пост и поделиться им с друзьями! ❤️

P.S. А если вы хотите углубить свои знания и получить практические навыки, записывайтесь на наш курс по Machine Learning.

BigData Team: the way you learn best
#study #ML