BigData Team (BDT)
756 subscribers
413 photos
13 videos
298 links
BigData Team: the way you learn best

Практико-ориентированное обучение по Big Data, Machine Learning, промышленной разработке на Python.

https://bigdatateam.org/ru

Чтобы бустнуть: https://xn--r1a.website/boost/bigdatateam
Download Telegram
😱🤖 Китайский ИИ отбирает работу

Что дальше?!

Благодарности за находку руководителю инфраструктуры BigData Team (прошлые находки)

BigData Team: the way you learn best
#meme
6🔥4😁4
✍️ Интересный кейс при работе с множествами

Вы знали, что операнды Python &= и |= работают в формате _update или, как еще принято говорить в разработке, in-place? Пример кейса на скриншоте.

Emoji-голосование:
🔥 — знали
🤔 — узнали
💔 — поясните в комментариях, что за дичь со словарем творится

Полезные ссылки:
официальная документация Python
обсуждение на stackoverflow
ликбез по Computer Science (Python, Unix, Docker, ...)

BigData Team: the way you learn best
#study #python
🔥9🤔8💔32
😳 Анализ обратной связи

Разбирая обратную связь от слушателей, у нас сложилось ощущение, что мы иногда чересчур... "мотивируем" в период обучения. Посмотрели на наши тесты - неужто давление? 😄

P.S. подготовка тестирований к конкурсу идем полным ходом.

#work
🔥54😁3
👩‍🏫👨‍🏫 Осталось 5-10 мест на курсах BD и ML 🔥

У нас параллельно запускаются две учебные группы по направлениям Big Data (BD) и Machine Learning (ML). До запуска осталось меньше 2х недель:
🗓 1 поток: 24.02.2025 — 04.05.2025

Практический курс по Machine Learning
👉 полное описание + запись
💫 список инструкторов с международным опытом
👨‍🎓 рекомендации от выпускников + отзывы: Зинура
❗️ На курс по ML осталось меньше 5 мест, но можем набрать еще одну группу. Ннннадо?

Практический курс по Big Data
👉 полное описание + запись
🧑‍🎓 отзывы выпускников: Сергей
▶️ пример видеоролика с курса (5 min)

Истории успеха для вдохновения:
— Жанбулат, Big Data Engineer, KZ
— Ердаулет, Big Data Engineer, FAANG/MANGA
— Целые группы Tech Orda одни скрином: раз и два

BigData Team: the way you learn best
#study #ml #bigdata
4🔥3
🔥 Менеджер, который мыслит как Data Scientist

Machine Learning — это не только для программистов и математиков. Изучать машинное обучение можно и для того, чтобы повысить эффективность управления и взаимодействия с командой.

В прошлом году на курсе обучался Евгений С. (БКС, директор по персонализации):
Супер-круто, очень интересно. Мне больше всего запомнилось занятие про ансамбли и деревья. Я очень далёк от ML, обычный менеджер, и мне это прям мозг порвало: "Ничего себе, как это оказывается круто работает, интересно". И, конечно, спасибо, что видосики доступны безлимитно. Из тех 400 просмотров кажется, что половина моя, потому что я смотрю кусочками: полчаса, и через пару дней ещё полчаса. Кажется, там скоро будет 4000 просмотров. Курс классный, преподы супер крутые. Желаю только успеха, Алексей, тебе и всей школе, всем преподавателям и ученикам.


Что может дать прохождение курса по ML менеджеру? 🤔
Эффективное управление командой: зная, как работают алгоритмы, вы станете лучше понимать, как оптимизировать процессы в своей команде.
Уверенность в принятии решений: вы сможете предвидеть будущее! ваши стратегии будут основаны не на интуиции, а на данных и аналитике.

Практический курс по Machine Learning стартует уже на следующей неделе, самое время прокачать свои знания и навыки:
👉 полное описание + запись
💫 список инструкторов с международным опытом
👨‍🎓 рекомендации от выпускников + отзывы: Зинура

P.S. у нас существуют курсы исключительно для менеджеров в формате 2-х-дневного интенсива. В этом случае - см. Big Data Workshop.

BigData Team: the way you learn best
#study #ml #feedback
🔥81
🔥 Несколько способов сделать вашу жизнь чуточку ярче

На этой неделе мы запустили Практический курс по Machine Learning, поэтому будет правильно поделиться небольшими лайфхаками из мира ML и командной работы.

#meme
😁4🔥2
🚀 Big Data - новый формат обучения

На прошлой неделе прошла организационная встреча практического курса по Big Data, и учащиеся начали погружение в распределенные файловые системы. На этой неделе, мы уже приступили к разработке. Если вы опоздали, но очень хотели попасть на курс, напишите нам:
👉 в последний вагон - study@bigdatateam.org

🤔 Сложно начать сейчас, а ждать следующего курса слишком долго? В декабре прошлого года мы ввели новые форматы обучения для курса промышленной разработки на Python. И сейчас мы собираемся запустить курс в форматах Lite | Medium | Full для Big Data!

С этими форматами вы сможете начать обучение в любое время и по своему графику. Например, формат Medium будет включать:
✔️ Ежемесячные старты
✔️ Доступ к видео на год
✔️ Возможность использовать Grader для проверки своих решений
✔️ Чат сообщества
✔️ Сертификат об окончании курса

BigData Team: the way you learn best
#study #BigData
🔥9
🤔 Заменит ли ИИ Data-инженеров?

Нет, но профессия изменится!

Об этом в своем выступлении на конференции WDS упоминал основатель BigData Team, Алексей Драль:
«Ключевая задача Data-инженера — решение вопроса консистентности данных. На заре развития компьютеров Data Engineer (DE) решал вопрос когерентности кэша. Затем появились первые базы данных и DE отвечали за настройку изолированности транзакций. Последние двадцать лет DE решали вопросы консистентности данных внутри одного кластера (intra-cluster consistency). И только последнюю пятилетку мы доросли до вопросов inter-cluster consistency.

Именно Data-инженеру важно понимать, где необходима 100% консистентность данных, а где можно ослабить требования. Так, при транзакциях в банке, данные должны быть всегда точными, а при подсчете просмотров приблизительная цифра мало на что повлияет.

Для решения поставленных вопросов появляются новые технологии, фреймворки, базы данных, парадигмы и языки программирования. Но средний срок жизни новой технологии в IT около 1.5 лет. Поэтому ключевая задача не уйдёт, но профессия действительно будет меняться.»


🎁 На наших курсах по Big Data мы совмещаем фундаментальные знания и новые технологии. Также обратите внимание на ранее опубликованные вопросы для подготовки к собеседованию на роль DE.

BigData Team: the way you learn best
#study #work #мнения
🔥103
Все говорят, что нас заменит ИИ… но в то же время, транскрибация созвонов выглядит как-то так 👆

А какими инструментами для работы с русским (или может быть казахским) языком вы пользуетесь? Напишите в обсуждении под постом. 🧐

#meme
😁4🔥1
🌟 От идеи к идеалу: как мы создали футболку нашей мечты

Идея создания мерча возникла у нас давно, но жизнь внесла свои коррективы: сначала COVID-19, затем переезд. В мае 2024 года по совету знакомых мы отправились в Кыргызстан и заказали там первую партию. Производство оказалось индийским, в Индии прекрасный пошив и многие заказывают текстиль именно оттуда. Однако был один нюанс: футболки, которые мы выбрали, отличались от привычных нам европейских стандартов. Используемые лекала оказались широкие и короткие, так что получились скорее топы, а цвет печати не соответствовал требуемому. Пришлось погрузиться в тему и узнать что такое лекала и пантоны. 😅

Мы вернулись в Казахстан и продолжили поиски, но, к сожалению, нам не удалось найти хлопок нужного качества. В результате нам даже пришлось связаться с производством во Франции, чтобы найти дистрибьютора в Казахстане.
Кажется, осталось совсем немного. Однако, чтобы найти устойчивую и яркую печать, пришлось перепробовать несколько вариантов. В сентябре того же года была заказана пробная партия, но качество печати оказалось не на высоте: уже после третьей стирки она начала отслаиваться. Однако мы не сдались.

Наконец, в ноябре мы нашли идеальный вариант! 🎉 Мягкая, удобная и плотная футболка с нашим логотипом. Премиальное качество! Бонусом яркая и стойкая печать!

Футболка, которая прошла через множество изменений, чтобы стать идеальной:
✔️ Воротник футболки защищен от деформации, что позволит сохранить идеальную форму даже после многочисленных стирок
✔️ 100% Хлопок - сохранит тепло в холодное время года и, наоборот, изолирует, когда жарко
✔️ Правильные пантоны Яркий и стильный дизайн
✔️ Экологичные стандарты производства: органический и перерабатываемый хлопок, Global Recycled Standart, Organic Textile Standart

Хотели бы себе такую футболку? Отмечайтесь под постом комментариями или ❤️

BigData Team: the way you learn best
#BigDataTeam #life
19🔥3👍1
😳 Варианты близости

Наши лекции — это как шкатулка с сюрпризами: открываешь, а там — полезные знания, интересные факты и щепотка юмора. Потому что знания лучше всего закрепляются положительными эмоциями!

📝 Если хотите больше узнать о близости, то записывайтесь на следующий поток курса по Machine Learning.

А если что-то упустили или хотите обсудить тему подробнее, пишите в комментариях! Мы всегда готовы и помочь, и посмеяться вместе с вами!

BigData Team: the way you learn best
#paparazzi #BigDataTeam #ML
🔥4😁3🥰2
📝 Математические основы машинного обучения

Для успешной карьеры в Data Science нужно уметь не только программировать, но и использовать аппарат высшей математики (работа с матрицами, производные и интегралы). Понимание основополагающих математических концепций помогает лучше разбираться в алгоритмах Machine Learning (ML), особенностях этих алгоритмов и их ограничениях.

Преподаватели Практического курса по Machine Learning (ML) поделились своими любимыми рекомендациями для погружения в основы ML. Также хотим поблагодарить за рекомендацию Арсения Ашуху. Выбирайте любую из следующей тройки:
1️⃣ Первые три главы Data Mining and Machine Learning: Fundamental Concepts and Algorithms by Mohammed J. Zaki and Wagner Meira, Jr. Cambridge University Press
2️⃣ Mathematics for Machine Learning by Marc Peter Deisenroth, A. Aldo Faisal, and Cheng Soon Ong. Cambridge University Press
3️⃣ Первая глава книги Deep Learning Book by Ian Goodfellow and Yoshua Bengio and Aaron Courville. MIT Press

В целом, для саморазвития советуем освежить (или изучить 😁) теорию вероятностей и математическую статистику. Наш выбор:
✔️ учебник Теория вероятностей. Математическая статистика. Бочаров П. П., Печинкин А. В.

Было полезно? Не забудьте поставить лайк, сохранить этот пост и поделиться им с друзьями! ❤️

P.S. А если вы хотите углубить свои знания и получить практические навыки, записывайтесь на наш курс по Machine Learning.

BigData Team: the way you learn best
#study #ML
9
👨‍🎓 Deep Learning с BigData Team

Первая половина курса по ML осталась позади, уже на следующей неделе (!) стартует вторая часть курса: Нейронные сети и Deep learning. Обучение идет полным ходом, но это может быть идеальный момент для старта, если у вас есть база по ML и вы хотите углубить знания без прохождения начальных модулей.

В период с 31.03 по 04.05 вас ждут лекции:
✔️ Нейронные сети и введение в глубокое обучение (Deep learning)
✔️ Deep Learning: CNN, RNN, Transformers, LLM
✔️ Обучение без учителя (Unsupervised learning)
✔️ Гостевые лекции с погружением в большие данные (Big Data)
✔️ Работа и защита проекта для желающих

👉 Записывайтесь!

BigData Team: the way you learn best
#study #ML
🔥51
✍️ Doxygen - анализируем проекты даже на 100k строчек кода

Совсем недавно у нас прошел выпускной на курсе Промышленной разработки на Python. Одним из выпускников, Алишером К., был задан прекрасный вопрос, ответ на который может пригодиться и в вашей рабочей деятельности:
Мне по работе необходимо погрузиться в новый проект с большой кодовой базой. Каким образом лучше всего это сделать?


Ответ на этот вопрос дал Алексей Драль, который, работая в крупных международных IT-компаниях, таких как Яндекс и Amazon AWS, неоднократно сталкивался с необходимостью погружения в масштабные проекты с нуля:
Когда мне приходилось погружаться в крупные проекты, независимо от наличия документации, в какой-то момент появляется необходимость связать все классы и функции в кодовой базе в удобный интерфейс, чтобы понять в какую именно часть кода тебе нужно залезть, чтобы добавить функциональность под требования Заказчика (клиента приложения). Моим любимым инструментом был Doxygen.


Doxygen
- это статический анализатор кода. Он позволяет автоматически выявить все функции, классы, их сигнатуру и связи. Инструмент позволяет автоматически сгенерировать документацию в заданном формате (HTML, PDF и др.).

Полезно? Ставьте ❤️
Расскажите в комментариях, какие инструменты вы используете для погружения в новые проекты?

Следующий запуск курса Промышленной разработки на Python будет 19 мая 2025 🔥:
👉 Жду старта 19.05
🏃 Хочу начать сейчас!

BigData Team: the way you learn best
#BigDataTeam #python #study
7👍4🔥1
😅 Термический шок у ноута из-за перегрузки домашкой

Заключение: Ноут перегрелся от усердной работы — значит, ты в деле! 🔥💻

Рекомендации:
1. Включить любимый плейлист - и процесс пошел веселее! 🎵
2. Дедлайн просто ориентир, а ты уже в движении!
3. Шепотом "Я сейчас просто начну…" и вот ты уже на пути к цели (даже маленький старт — уже победа. Вы-то знаете!) 😉

Эффективность: +100%. Душевное спокойствие: +200% 🎉

Как спасаете технику от перегрева? Советуйте лайфхаки!

BigData Team: the way you learn best
Py4BDA | Python | Machine Learning | Big Data | BD/ML Engineer

#study #ML #feedback
5😁3
🤡 П-продуктивность?

Вы выполняете домашнее задание сразу после получения, пока еще свежи знания с лекции, или оставляете его на «последнюю ночь»? 😏

Emoji голосование:
😎 - делаю сразу!
👀 - оставляю на потом

BigData Team: the way you learn best
Py4BDA | Python | Machine Learning | Big Data | BD/ML Engineer

#meme
👀11😎8😁4🤓1🤝1
👊 Python vs C++

Записывайтесь на наш курс Промышленная разработка на Python! Насладитесь увлекательным процессом обучения и программируйте с удовольствием. 😊🔥

credit за находку руководителю инфраструктуры BigData Team

BigData Team: the way you learn best
Py4BDA | Python | Machine Learning | Big Data | BD/ML Engineer

#meme
😁7🔥2
🚀 Знания, которые цепляют сильнее котиков

Сложно разобраться в нейронных сетях и глубоком обучении? Все страхи уйдут на второй план, если об этом вам расскажет Илья Сенаторов в рамках практического курса по Machine Learning. На занятии вы получите много полезной информации, а примеры на кошечках вызовут улыбку и помогут усвоению материала. 😸

“Зная, что все кошечки живут в одном микрорайоне, сэмплируя по этим координатам, мы сможем декодировать таких же кошечек. Sampled latent vector - это отдельно взятая за шкирку кошечка. Бэкпроп отдельно взятой за шкирку кошечки - дело гиблое (Гринпис не одобрит), поэтому мы делаем репараметризацию.”
P.S. Ни одна кошка в процессе обучения не пострадала! 🐈

Такие курсы мы проводим обычно раз в год, текущий запуск уже подходит к завершению, поэтому рекомендуем заранее записаться в “лист ожидания”, чтобы мы провели еще один запуск в ноябре-декабря этого года.

BigData Team: the way you learn best
Py4BDA | Python | Machine Learning | Big Data | BD/ML Engineer

#paparazzi #study #ML
6🔥3
🐈 Когда твои котики диффундируют

Совсем недавно мы рассказывали про нейросети и их “связь” с котиками. И вот вам пасхалка - кто угадает оригинал?

BigData Team: the way you learn best
Py4BDA | Python | Machine Learning | Big Data | BD/ML Engineer

#meme
🔥42😁2