BigData Team (BDT)
753 subscribers
413 photos
13 videos
298 links
BigData Team: the way you learn best

Практико-ориентированное обучение по Big Data, Machine Learning, промышленной разработке на Python.

https://bigdatateam.org/ru

Чтобы бустнуть: https://xn--r1a.website/boost/bigdatateam
Download Telegram
Представьте, что вы понятия не имеете ни что такое сводные таблицы в Excel, ни, тем более, как работать с данными на кластере.

Можно открыть Web-интерфейс, увидеть 1,000 значений в формате таблицы и накликать интересующую агрегацию данных. Пример:
- какой объем продаж совершен по конкретному товару в разрезе по месяцам со всех магазинов сети?

Все это будет посчитано на кластере, с учетом всех имеющихся данных. На скриншотах - пример агрегации синтетические логов посещений Web-портала с нашего учебного кластера.

Для технарей: пользуясь тем, что DE, DS и DA настраивают мету по работе с данными на кластере в рамках Hive, можно эту мету и сам Hive (Server 2) напрямую интегрировать по thrift протоколу с Metabase (пусть он там внутри и называется Spark SQL).

Плюшки: можно развернуть в любом закрытом контуре (все open source), настроить любые Dashboard’ы, регулярность обновления и политики доступа.

Достойный кейс и навыки для добавления в наш Big Data Workshop для обучения менеджеров и руководителей?
👍3
Результаты BigData Team, 2022, часть вторая

В мае появилась BigData Team KZ, в рамках которой мы начали интеграцию в Казахстане и планируем работать на международном рынке (соглашение об эксклюзивности наших материалов на Coursera больше не действует). На момент март-апрель я не был знаком с большим комьюнити предпринимателей в Казахстане, поэтому хочу сказать большое спасибо за onboarding коллегам из ПКБ - Асем и Руслану (следующий раунд кофе - с меня).

В июне мы стали частью Astana Hub - это специальная офшорная зона для тех, кто планирует развивать ИТ в Казахстане. На заметку: не все налоговые преференции проросли в налоговый кодекс РК, но тех, которые уже проросли, - более чем достаточно для мягкого старта компании.

⬇️ продолжение
👍1
В сентябре мы уже работали над интеграцией в государственные программы для взращивания ИТ потенциала Казахстана. В октябре подписали все документы по замечательной инициативе Tech Orda и во всю проводили отбор самых достойных кандидатов по направлению Big Data Engineer (наши новые 6+ месячные программы обучения).

Из 300+ кандидатов отобрали немного, всего 15. Верим, что в следующем году сможем отобрать больше, поскольку вырастет средний уровень благодаря обучению в других школах (по профилю Python) + мы предложим более широкую линейку учебных программ, понимая потребности.

В декабре, мы провели наш первый митап с грантниками и начали погружение в профессию. Пожелайте коллегам удачи.

// на фото - моя первая поездка в Astana Hub, спасибо за теплый прием и экскурсию по технопарку коллегам из Tech Orda, Марте и Азису
👍2
Делимся видео с курса промышленной разработки на Python

На вкус и цвет, как говорится, все фломастеры разные. Кому-то нравится изучать новый материал по книгам, кому-то - в аудитории на лекциях, кому-то - с помощью онлайн-курсов, которые тоже бывают очень разными.

Впервые в жизни выкладываем в публичный доступ пример видео с нашего курса промышленной разработки на Python, чтобы было понятно, каким языком мы разговариваем на курсе и в какие дебри погружаемся:
▶️ Что такое Unicode, code point, character (графема), glyph (глиф) и encoding (кодировка), b" " vs str (9 min)

Если вам это близко и интересно, то ставьте лайк, делитесь с друзьями и записывайтесь:
🗓1 поток: 23.01.2023 — 26.03.2023
⬆️🔥 осталось 5 мест, старт через 5 дней
🗓2 поток: 26.06.2023 — 13.08.2023
🗓3 поток: 16.10.2023 — 17.12.2023
страница курса (описание и запись на курс)

Если не близко и не интересно, то, пожалуйста, поделитесь с теми, кому это может быть полезно.

P.S. в случае сложностей с оплатой (по частям/целиком) пишите на study@bigdatateam.org, будем решать вопрос в личном порядке.
🔥51
Математике все возрасты покорны

Про образование и регулярное инвестирование в себя повторяться не буду, об этом кричат из каждого утюга. Поделюсь практическими рекомендациями для тех, кто хочет развиваться в сфере DS и иметь уникальный skillset, чтобы выделяться на рынке и быть востребованным.

Я верю (и верил 1.5 года назад, proof), что следующие достижения будут в сфере Reinforcement Learning (RL). В подтверждение этому InstructGPT, где в цикл обучения моделей встраивают людей и стараются сделать это максимально эффективно. Чтобы погрузиться в RL, хорошо бы изучить или вспомнить обычную оптимизацию. Открыл я классику, книгу по выпуклой оптимизации (Convex Optimization) товарищей Бойда и Ванденберга. В первых главах, смотрю - опечатка (на мой взгляд, еще не подтвержденная). Обсуждаем мы значит эту опечатку с Бойдом по почте и тут я замечаю, что у них на EdX запустился бесплатно их одноименный курс.

Если кто-то имеет 10-15 часов в неделю на обучение и хотел подтянуть полезную математику - бегом на курс.
👍2
🍷 первый запуск, 2023

Вчера запустили первый учебный курс 2023-го года (промышленная разработка на Python). На орг. встрече курса было много выпускников с 2018-го по 2022-й года, кто с курсов по ML, кто с курсов по Big Data, кто - добить практику с прошлого запуска. Все с теплотой вспоминали прошлые запуски и другие курсы. Не помню когда еще так лампово было. Одна из цитат:
>> когда я приходил на курс, я думал, что знаю 70% от его содержания, но оказалось, что сильно меньше 😊

Минутка рефлексии - спасибо за теплые слова, горят глаза развиваться дальше и делать больше интересного и полезного контента.

Ребятам и девчатам - удачи! Новенькие надеюсь тоже втянутся и придут на последующие повышение квалификации.

На фото мнение нейронки по запросу: the bright future of a Python developer
👍1
🎉 первый митап, 2023

Каждый день столько событий, что только и успевай рассказывать. Карьера в ИТ - это далеко не только ценный мех hard skills. Ровно поэтому мы решили организовать митап для слушателей из Казахстана (трек обучения Big Data Engineer, в рамках Tech Orda, об этом писали тут) по теме “soft vs hard skills, профессиональный рост”. Гости митапа:
- Алексей Казюлин, Senior Manager, Yandex.Лавка
- Дмитрий Рычагов, Tech Lead, МТС FinTech
- Илья Ткачев, DS/DE, Yandex.Поиск
- Николай Попов, Engineering Manager, InDrive
- (модератор) Алексей Драль, CEO BigData Team
1
Спасибо участникам за интересные вопросы и гостям за их точки зрения. Отметим, что каждый гость является по совместительству ментором практического курса по Big Data от BigData Team, а это значит, что в рамках обучения на наших курсах можно не только прокачать hard skills, но и узнать что-то полезное и интересное из опыта (в какой-то мере) старших товарищей.

Такие митапы проводим пока в закрытом формате. В будущем планируем организовать открытые мероприятия. Присылайте ваши предложения тем митапов в комментариях.
👍3🔥1
❤️ +1 в BigData Team KZ

Раушан, присоединилась к нам в качестве менеджера учебных курсов. Является нашей коллегой, по совместительству она преподает в университете Сатпаева.

Училась в Университете Назарбаева, также училась по обмену опытом и работала в штатах. Применяла прогнозные модели в ML и умеет моделировать в Mathcad.

🎉 накидайте emoji и стикеров к этому посту новому члену команды
🎉15👍1🔥1
🏔❤️🍎 Алматы притягивает и затягивает

+1 ментор в гостях

Обряд посвящения баурсаками пройден, на очереди кумыс и горы 😁
3
🎉 митап, 2023.02

Кулуарные посиделки с экспертами из индустрии и грантниками Tech Orda.
Тема встречи: Групповая работа (технологии, парадигмы, Agile)

- Андрей Симкин, Head of IT Products, МТS Digital
- Артём Выборнов, Head of Data Products, SberAds
- Евгений Адищев, CTO, rebels.ai
- (модератор) Алексей Драль, CEO BigData Team

предыдущие встречи:
- 2023.01, soft vs hard skills, профессиональный рост

⬇️ продолжение (рекомендации материалов)
Рекомендации материалов от наших спикеров

База (первое погружение):
Книга Джефа Сазерленда (один из 2х "основателей скрама", один из авторов Agile манифеста)

Дальнейшее погружение:
1️⃣ Майкл Кон, том по Agile разработке
2️⃣ Майкл Кон, сайт (сниппеты и лайфхаки)
3️⃣ Юрген Аппело, книга
4️⃣ scrum.org, ресурс Кен Швабера (2й основатель scrum, один из авторов Agile манифеста)
5️⃣ Scrum Guide, перевод на русский
6️⃣ age-of-product.com, паттерны и антипаттерны групповой работы
7️⃣ Майк Кон, пользовательские истории (user stories, story points, почему попугаи хорошо, а оценка в часах - плохо)
8️⃣ Статья про Каневин (Cynefin, scrum - для 3-го домена, иногда для 2-го)

// лайк за коллекцию, сохраняйте себе, делитесь с друзьями
🔥4👍2
Делимся видео с Практического курса по Big Data

Пользуясь опытом курса промышленной разработки на Python, впервые в жизни выкладываем в публичный доступ пример видео с практического курса по Big Data.

Надеемся, это позволит лучше понять каким языком мы разговариваем на курсе и в какие дебри погружаемся:
▶️ Знакомство с Kafka, зачем для Big Data свое решение? (5 min)

Если вам это близко и интересно, то ставьте лайк, делитесь с друзьями и записывайтесь:
🗓 Календарь обучения на 2025
👉 страница курса (описание и запись на курс)

Если не близко и не интересно, то, пожалуйста, поделитесь с теми, кому это может быть полезно.

P.S. также заявки на обучение можно оставить письмом на study@bigdatateam.org
🔥6👍3🤩1
🔥 BigDataTeam: Знакомство с командой

🙋‍♀️ В нашей компании есть много крутых специалистов, которые отвечают головой и сердцем за ваш образовательный процесс.

Сегодня, Оля поделится своей историей
⬇️ читать ниже
🔥41
Всем привет!

Меня зовут Оля, я работаю менеджером учебных курсов в BigData Team. Я из Владивостока, но последние несколько лет живу в Санкт-Петербурге.

🥂 До недавних пор, работала в совершенно другой сфере, а точнее в гостиничном бизнесе, в службе Food & Beverages, но приняла решение изменить свою жизнь. Отучилась на аналитика данных в «Яндекс Практикуме». После окончания, мне по счастливой случайности попалась вакансия в BDT 🙂

За эти полтора месяца, я многое узнала. Хотя частично я уже что-то знала😅 пробелов оказалось очень-очень много. Пришлось освоить большое количество информации, например, как правильно ставить задачи в Gitlab или что такое Confluence, а за это время мы уже успели переехать в новый для меня Youtrack. Кажется, обычный Telegram или Youtube, а все равно есть какие-то лайфхаки и секреты 🔑

Все полученные знания полезны не только для работы, но и для жизни. Очень нравится заводить новые знакомства: многие из разных городов и стран (так и географию можно вспомнить).

Надеюсь, что и я смогу привнести нечто новое в компанию и быть полезной😊
9
💻 BigData Team: новости в мире технологий.

➡️ OpenAI представила новую AI-модель GPT-4.
Вы слышали эту новость не один раз, но и мы хотим вам рассказать, где интересно, по нашему мнению о ней почитать😊

Для тех, кто любит почитать на FB, подписывайтесь на Григория Сапунова: пост про GPT-4

Для тех, кто не очень в теме и хочет понятным языком понять про что все эти ваши GPT, NLP и т.п. - см. ликбезный пост на VC.

Выход GPT-4, для тех, кто любит почитать (технический обзор) в телеграм: https://xn--r1a.website/gonzo_ML/1383

GPT-4 уже доступен платным пользователям OpenAI через ChatGPT Plus ($20 в месяц).

Делитесь в комментариях мнением, мыслями, может кто-то уже пробовал?)
3🔥1
🔉 BigData Team: рекомендации

1. Для тех кто ищет что-то интересное для своих детей.

ЗПШ открыли набор школьников:
ЗПШ-2023 пройдёт со 2 по 8 апреля в Филиале МГУ в Пущино.
Для участия в школе необходимо
1. Заполнить анкету 📝
2. Решить вступительное задание или написать мотивационное письмо 🗝️

Как обычно, учитывают дипломы олимпиад, конкурсов и каникулярных школ - прикладывайте их к своей анкете!

Заполнить анкету нужно до 20 марта, а решить заочку (или написать мотивационное письмо) - до 26 марта.

Так же как и в прошлом году набор школьников с 7 класса и старше.

Если у вас есть вопросы, пишите организаторам на zpsh.org@gmail.com

Анкету и заочное задание можно найти на официальном сайте ЗПШ
https://www.zpsh.ru/

2. Алексей Драль, директор BigData Team и KZ, делится рекомендациями школ из личного наблюдения:

- https://xn--r1a.website/alexdral/359
- https://xn--r1a.website/alexdral/361
- https://xn--r1a.website/alexdral/362
- https://xn--r1a.website/alexdral/363
🔥32
BigData Team (BDT) pinned «Календарь обучения на 2023 Если вы планируете инвестировать в свое образование, то ловите календарь обучения от BigData Team на 2023. Курс BigData Engineer++, 6 месяцев обучения 🗓24.01.2023 — 18.07.2023 прокачаем промышленную разработку на Python, практическую…»