BigData Team (BDT)
753 subscribers
413 photos
13 videos
298 links
BigData Team: the way you learn best

Практико-ориентированное обучение по Big Data, Machine Learning, промышленной разработке на Python.

https://bigdatateam.org/ru

Чтобы бустнуть: https://xn--r1a.website/boost/bigdatateam
Download Telegram
Конкурс Tech Orda продлили до конца недели (6 ноября)!

У нас есть 4 гранта от государства на программу Big Data Engineer от BigData Team в размере 600,000 тенге. Другими словами, государство оплатит четыре месяца вашего 6-месячного курса повышения квалификации. Следующий конкурс - только в следующем году.

Критерии:
1. Возраст от 18 до 45 лет;
2. Гражданин РК;
3. Первые, кто хорошо сдаст тестирование на знание Python и умение решать аналитические задачи, смогут получить грант;
4. Обучение платное (366,000 тенге с учетом гранта от государства), предоставляется рассрочка платежа.
Подробная программа по ссылке.

Для получения ссылки на тестирование оставляйте заявки менеджерам через:
а) WhatsApp компании
б) заявку на сайте
в) письмо на study@bigdatateam.org

Большая просьба репостнуть, чтобы гранты нашли своих соискателей (или наоборот 😊).
🔥3
Никогда такого не было и вот опять (c)

BigData Team ищет нового члена команды для реализации наших амбиций работы на международном рынке в 2023.

Описание вакансии менеджера по обучению по ссылке: раз или два.

История одного из наших менеджеров - тут.

Like и Share как всегда приветствуются.
3🤡1
29 ноября 2022г - пройдет бесплатная онлайн-конференция DataStart по Data Science, машинному обучению и нейросетям. Регистрация по ссылке - https://clck.ru/32gdpR

Более 1000 участников, крутой состав спикеров, возможность задавать вопросы, найти ментора и многое другое. 🔥

Для кого:
- Data Scientist, Data Analyst и Data Engineer
- Computer Vision Engineer и NLP Engineer
- Machine Learning Engineer
- Руководителям бизнеса
- Все, кто так или иначе связан с большими данными.

Мероприятие предназначено для обучения и вдохновения – создано для людей, увлеченных большими данными и исследованием данных. Ждем вас с нетерпением!

Что вас ждет на конференции?
— Только спикеры-практики, готовые делиться своими знаниями с вами.
— Подробные кейсы без воды с конкретными результатами.
— Обмен опытом, контактами и просто неформальное общение.
— Мощное открытое комьюнити, где люди говорят на одном языке

🔗 Встречаемся 29 ноября - https://clck.ru/32gdpR !
3
Результаты BigData Team, 2022, часть первая

Для нас 2022 оказался год 100k:
- более 101 тысячи человек записались на курсы BigData Team на Coursera (пока был доступ);
- более 100 тысяч просмотров закрытых видео на Youtube (в отличие от Coursera, данные курсы проходят на русском языке);
- 146 тысяч посылок домашних заданий обработал наш Grader, система проверки (не только) распределенных приложений;

Математики любят числа и закономерности, поэтому я взял фото из страны по следующим соображениям:
- это страна, с которой я познакомился в 2022 году;
- можно найти закономерность, близкую к 100-150k.

Уважаемые знатоки, в столице этой страны проживает немногим более 100 тысяч человек (будем честными - 150 тысяч). Что это за страна, какая у нее столица и кто сможет узнать город по одной фотографии?
👍1
Календарь обучения на 2023

Если вы планируете инвестировать в свое образование, то ловите календарь обучения от BigData Team на 2023.


Курс BigData Engineer++, 6 месяцев обучения
🗓24.01.2023 — 18.07.2023
прокачаем промышленную разработку на Python, практическую инженерию Big Data
эксклюзив: изучаем по Zoom 5 дополнительных тем по Big Data
полное описание + запись

Курс BigData Engineer, 6+ месяцев обучения
🗓11.04.2023 — 5.11.2023
эксклюзив: 10 недель предварительной прокачки по Zoom с преподавателями по темам работы с консолью, настройкой окружения, работой с файлами, Jupyter, простым анализом данных, алгоритмам и структурам данных
далее прокачаем промышленную разработку на Python и практическую инженерию Big Data
полное описание + запись

Курсы промышленной разработки на Python, 9 недель
🗓1 поток: 23.01.2023 — 26.03.2023
🗓2 поток: 26.06.2023 — 13.08.2023
🗓3 поток: 16.10.2023 — 17.12.2023
полное описание + запись

Практический курс по Big Data, 10 недель
🗓1 поток: 27.03.2023 — 11.06.2023
🗓2 поток: 28.08.2023 — 5.11.2023
полное описание + запись

Погружение в HDFS / знакомство с Big Data, 2 недели
🗓планируем запускать регулярно, ожидайте анонсов
Можете оставить заявку на сайте, чтобы вас уведомили о старте курса
полное описание + запись

Практический курс по Machine Learning, 8 недель
🗓группы запускаются по запросу
Чем больше людей оставят заявку в форме обратной связи курса - тем быстрее запустим. 10 желающих есть, еще столько же соберем - и стартуем.
полное описание + запись

Сохраните себе и поделитесь с друзьями.
👍8
Интегрируем Big Data в Excel и BI

Несколько лет назад я рассказывал как можно делать аналитику Big Data в Excel (для технарей - подружив Excel через ODBC драйвер с Hive). Так вот, на новогодних праздниках, решая совершенно другую задачу, мы нашли что-то более прекрасное, чем интеграция Hive в Excel. Теперь можно просто кликать мышкой для анализа и BI аналитики.

⬇️ продолжение
👍1
Представьте, что вы понятия не имеете ни что такое сводные таблицы в Excel, ни, тем более, как работать с данными на кластере.

Можно открыть Web-интерфейс, увидеть 1,000 значений в формате таблицы и накликать интересующую агрегацию данных. Пример:
- какой объем продаж совершен по конкретному товару в разрезе по месяцам со всех магазинов сети?

Все это будет посчитано на кластере, с учетом всех имеющихся данных. На скриншотах - пример агрегации синтетические логов посещений Web-портала с нашего учебного кластера.

Для технарей: пользуясь тем, что DE, DS и DA настраивают мету по работе с данными на кластере в рамках Hive, можно эту мету и сам Hive (Server 2) напрямую интегрировать по thrift протоколу с Metabase (пусть он там внутри и называется Spark SQL).

Плюшки: можно развернуть в любом закрытом контуре (все open source), настроить любые Dashboard’ы, регулярность обновления и политики доступа.

Достойный кейс и навыки для добавления в наш Big Data Workshop для обучения менеджеров и руководителей?
👍3
Результаты BigData Team, 2022, часть вторая

В мае появилась BigData Team KZ, в рамках которой мы начали интеграцию в Казахстане и планируем работать на международном рынке (соглашение об эксклюзивности наших материалов на Coursera больше не действует). На момент март-апрель я не был знаком с большим комьюнити предпринимателей в Казахстане, поэтому хочу сказать большое спасибо за onboarding коллегам из ПКБ - Асем и Руслану (следующий раунд кофе - с меня).

В июне мы стали частью Astana Hub - это специальная офшорная зона для тех, кто планирует развивать ИТ в Казахстане. На заметку: не все налоговые преференции проросли в налоговый кодекс РК, но тех, которые уже проросли, - более чем достаточно для мягкого старта компании.

⬇️ продолжение
👍1
В сентябре мы уже работали над интеграцией в государственные программы для взращивания ИТ потенциала Казахстана. В октябре подписали все документы по замечательной инициативе Tech Orda и во всю проводили отбор самых достойных кандидатов по направлению Big Data Engineer (наши новые 6+ месячные программы обучения).

Из 300+ кандидатов отобрали немного, всего 15. Верим, что в следующем году сможем отобрать больше, поскольку вырастет средний уровень благодаря обучению в других школах (по профилю Python) + мы предложим более широкую линейку учебных программ, понимая потребности.

В декабре, мы провели наш первый митап с грантниками и начали погружение в профессию. Пожелайте коллегам удачи.

// на фото - моя первая поездка в Astana Hub, спасибо за теплый прием и экскурсию по технопарку коллегам из Tech Orda, Марте и Азису
👍2
Делимся видео с курса промышленной разработки на Python

На вкус и цвет, как говорится, все фломастеры разные. Кому-то нравится изучать новый материал по книгам, кому-то - в аудитории на лекциях, кому-то - с помощью онлайн-курсов, которые тоже бывают очень разными.

Впервые в жизни выкладываем в публичный доступ пример видео с нашего курса промышленной разработки на Python, чтобы было понятно, каким языком мы разговариваем на курсе и в какие дебри погружаемся:
▶️ Что такое Unicode, code point, character (графема), glyph (глиф) и encoding (кодировка), b" " vs str (9 min)

Если вам это близко и интересно, то ставьте лайк, делитесь с друзьями и записывайтесь:
🗓1 поток: 23.01.2023 — 26.03.2023
⬆️🔥 осталось 5 мест, старт через 5 дней
🗓2 поток: 26.06.2023 — 13.08.2023
🗓3 поток: 16.10.2023 — 17.12.2023
страница курса (описание и запись на курс)

Если не близко и не интересно, то, пожалуйста, поделитесь с теми, кому это может быть полезно.

P.S. в случае сложностей с оплатой (по частям/целиком) пишите на study@bigdatateam.org, будем решать вопрос в личном порядке.
🔥51
Математике все возрасты покорны

Про образование и регулярное инвестирование в себя повторяться не буду, об этом кричат из каждого утюга. Поделюсь практическими рекомендациями для тех, кто хочет развиваться в сфере DS и иметь уникальный skillset, чтобы выделяться на рынке и быть востребованным.

Я верю (и верил 1.5 года назад, proof), что следующие достижения будут в сфере Reinforcement Learning (RL). В подтверждение этому InstructGPT, где в цикл обучения моделей встраивают людей и стараются сделать это максимально эффективно. Чтобы погрузиться в RL, хорошо бы изучить или вспомнить обычную оптимизацию. Открыл я классику, книгу по выпуклой оптимизации (Convex Optimization) товарищей Бойда и Ванденберга. В первых главах, смотрю - опечатка (на мой взгляд, еще не подтвержденная). Обсуждаем мы значит эту опечатку с Бойдом по почте и тут я замечаю, что у них на EdX запустился бесплатно их одноименный курс.

Если кто-то имеет 10-15 часов в неделю на обучение и хотел подтянуть полезную математику - бегом на курс.
👍2
🍷 первый запуск, 2023

Вчера запустили первый учебный курс 2023-го года (промышленная разработка на Python). На орг. встрече курса было много выпускников с 2018-го по 2022-й года, кто с курсов по ML, кто с курсов по Big Data, кто - добить практику с прошлого запуска. Все с теплотой вспоминали прошлые запуски и другие курсы. Не помню когда еще так лампово было. Одна из цитат:
>> когда я приходил на курс, я думал, что знаю 70% от его содержания, но оказалось, что сильно меньше 😊

Минутка рефлексии - спасибо за теплые слова, горят глаза развиваться дальше и делать больше интересного и полезного контента.

Ребятам и девчатам - удачи! Новенькие надеюсь тоже втянутся и придут на последующие повышение квалификации.

На фото мнение нейронки по запросу: the bright future of a Python developer
👍1
🎉 первый митап, 2023

Каждый день столько событий, что только и успевай рассказывать. Карьера в ИТ - это далеко не только ценный мех hard skills. Ровно поэтому мы решили организовать митап для слушателей из Казахстана (трек обучения Big Data Engineer, в рамках Tech Orda, об этом писали тут) по теме “soft vs hard skills, профессиональный рост”. Гости митапа:
- Алексей Казюлин, Senior Manager, Yandex.Лавка
- Дмитрий Рычагов, Tech Lead, МТС FinTech
- Илья Ткачев, DS/DE, Yandex.Поиск
- Николай Попов, Engineering Manager, InDrive
- (модератор) Алексей Драль, CEO BigData Team
1
Спасибо участникам за интересные вопросы и гостям за их точки зрения. Отметим, что каждый гость является по совместительству ментором практического курса по Big Data от BigData Team, а это значит, что в рамках обучения на наших курсах можно не только прокачать hard skills, но и узнать что-то полезное и интересное из опыта (в какой-то мере) старших товарищей.

Такие митапы проводим пока в закрытом формате. В будущем планируем организовать открытые мероприятия. Присылайте ваши предложения тем митапов в комментариях.
👍3🔥1
❤️ +1 в BigData Team KZ

Раушан, присоединилась к нам в качестве менеджера учебных курсов. Является нашей коллегой, по совместительству она преподает в университете Сатпаева.

Училась в Университете Назарбаева, также училась по обмену опытом и работала в штатах. Применяла прогнозные модели в ML и умеет моделировать в Mathcad.

🎉 накидайте emoji и стикеров к этому посту новому члену команды
🎉15👍1🔥1