BigData Team (BDT)
753 subscribers
413 photos
13 videos
298 links
BigData Team: the way you learn best

Практико-ориентированное обучение по Big Data, Machine Learning, промышленной разработке на Python.

https://bigdatateam.org/ru

Чтобы бустнуть: https://xn--r1a.website/boost/bigdatateam
Download Telegram
Условия для получения гранта:
1. Гражданин РК;
2. Возраст от 18 до 45 лет;
3. Пройти тестирование до 24-го октября (включительно), 23:59. По результатам тестирования будет построен Leaderboard и в порядке приоритета будут предложены ваучеры на обучение (все договора должны быть подписаны до конца октября).

🎁Доступно 11 грантов на обучение по программе Big Data Engineer и 7 грантов по программе Big Data Engineer++

Учебные программы имеют общие блоки:
- курс промышленной разработка на Python (практикуем навыки написания кода, который легко читать, тестировать, отлаживать, поддерживать и расширять)
- практический курс по Big Data (Hadoop экосистема от и до: HDFS, YARN, MapReduce, Hive, Spark RDD, Spark DataFrame, Spark SQL, Kafka, Spark Structured Streaming, NoSQL/Cassandra, Data Layout / ORC, Parquet, …)

Продвинутый курс имеет продолжение в дополнительные темы по Big Data, базовый курс дополнен “базой” по работе с консолью, алгоритмам и структурам данных, ключевым аспектам разработки на Python. Тестирование для отбора по гранту общее, на основе тестирования будет предложено учиться на продвинутом курсе, либо в обязательном порядке пройти подготовку по “базе” для последующего и плавного погружения в работу с большими данными.

Понедельное расписание, даты обучения, полная стоимость (при обучении по гранту и без) представлены на сайте (ссылки в комментариях). Подать заявку на обучение нужно на сайте.

❗️Важно: на текущий момент в приложении Jusan (раздел “Образование”) есть технические проблемы из-за которых мы можем не видеть вашу заявку на обучение, поэтому в обязательном порядке оставляйте заявку на нашем сайте.

#thanks программе Tech Orda и технопарку Astana Hub

#BigDataTeam #BigDataTeamKZ #KZ #BigData #BigDataEngineer #grant #study #free
#TechOrda #AstanaHub
❗️информация по грантам и тестированию

Сроки прохождения тестирования: до 24-го октября, 23:59
Сроки рассмотрения заявок, анализа тестов и подписания договоров: до 31-го октября, 23:59

Если вы оставляли заявку, но с вами не связались, пожалуйста, напишите в официальный WhatsApp аккаунт
https://wa.me/message/BYXGCHU4K63AA1

Информация по предварительным результатам - в комментариях
Результаты тестирования и следующие шаги (BDE/BDE++)

Наступило 25-е октября, а значит и время подводить итоги тестирования на обучение по грантам по программам Big Data Engineer от BigData Team KZ.

📊На 18 грантов было подано 305 заявок, из которых 63 человека прошли все стадии отбора. Интересные заметки по результатам тестирования оставим для другой публикации. В текущем посте согласуем план действий для кандидатов на грант.

🗓С 25-го по 31-е октября нужно согласовать кто на какой курс идет, кто отказывается от предложенного гранта (чтобы у людей из списка ожидания была возможность его получить), подписать договора, провести/согласовать оплаты до полной стоимости курса.

❗️Важно: по условиям гранта (Tech Orda), подпись договора должна произойти через приложение Jusan. В приложении наблюдаются технические проблемы. Поэтому подписать сможем по факту, когда получим отмашку “все заработало” от коллег из Jusan.

(продолжение в комментариях)
🔥5
Конкурс Tech Orda продлили до конца недели (6 ноября)!

У нас есть 4 гранта от государства на программу Big Data Engineer от BigData Team в размере 600,000 тенге. Другими словами, государство оплатит четыре месяца вашего 6-месячного курса повышения квалификации. Следующий конкурс - только в следующем году.

Критерии:
1. Возраст от 18 до 45 лет;
2. Гражданин РК;
3. Первые, кто хорошо сдаст тестирование на знание Python и умение решать аналитические задачи, смогут получить грант;
4. Обучение платное (366,000 тенге с учетом гранта от государства), предоставляется рассрочка платежа.
Подробная программа по ссылке.

Для получения ссылки на тестирование оставляйте заявки менеджерам через:
а) WhatsApp компании
б) заявку на сайте
в) письмо на study@bigdatateam.org

Большая просьба репостнуть, чтобы гранты нашли своих соискателей (или наоборот 😊).
🔥3
Никогда такого не было и вот опять (c)

BigData Team ищет нового члена команды для реализации наших амбиций работы на международном рынке в 2023.

Описание вакансии менеджера по обучению по ссылке: раз или два.

История одного из наших менеджеров - тут.

Like и Share как всегда приветствуются.
3🤡1
29 ноября 2022г - пройдет бесплатная онлайн-конференция DataStart по Data Science, машинному обучению и нейросетям. Регистрация по ссылке - https://clck.ru/32gdpR

Более 1000 участников, крутой состав спикеров, возможность задавать вопросы, найти ментора и многое другое. 🔥

Для кого:
- Data Scientist, Data Analyst и Data Engineer
- Computer Vision Engineer и NLP Engineer
- Machine Learning Engineer
- Руководителям бизнеса
- Все, кто так или иначе связан с большими данными.

Мероприятие предназначено для обучения и вдохновения – создано для людей, увлеченных большими данными и исследованием данных. Ждем вас с нетерпением!

Что вас ждет на конференции?
— Только спикеры-практики, готовые делиться своими знаниями с вами.
— Подробные кейсы без воды с конкретными результатами.
— Обмен опытом, контактами и просто неформальное общение.
— Мощное открытое комьюнити, где люди говорят на одном языке

🔗 Встречаемся 29 ноября - https://clck.ru/32gdpR !
3
Результаты BigData Team, 2022, часть первая

Для нас 2022 оказался год 100k:
- более 101 тысячи человек записались на курсы BigData Team на Coursera (пока был доступ);
- более 100 тысяч просмотров закрытых видео на Youtube (в отличие от Coursera, данные курсы проходят на русском языке);
- 146 тысяч посылок домашних заданий обработал наш Grader, система проверки (не только) распределенных приложений;

Математики любят числа и закономерности, поэтому я взял фото из страны по следующим соображениям:
- это страна, с которой я познакомился в 2022 году;
- можно найти закономерность, близкую к 100-150k.

Уважаемые знатоки, в столице этой страны проживает немногим более 100 тысяч человек (будем честными - 150 тысяч). Что это за страна, какая у нее столица и кто сможет узнать город по одной фотографии?
👍1
Календарь обучения на 2023

Если вы планируете инвестировать в свое образование, то ловите календарь обучения от BigData Team на 2023.


Курс BigData Engineer++, 6 месяцев обучения
🗓24.01.2023 — 18.07.2023
прокачаем промышленную разработку на Python, практическую инженерию Big Data
эксклюзив: изучаем по Zoom 5 дополнительных тем по Big Data
полное описание + запись

Курс BigData Engineer, 6+ месяцев обучения
🗓11.04.2023 — 5.11.2023
эксклюзив: 10 недель предварительной прокачки по Zoom с преподавателями по темам работы с консолью, настройкой окружения, работой с файлами, Jupyter, простым анализом данных, алгоритмам и структурам данных
далее прокачаем промышленную разработку на Python и практическую инженерию Big Data
полное описание + запись

Курсы промышленной разработки на Python, 9 недель
🗓1 поток: 23.01.2023 — 26.03.2023
🗓2 поток: 26.06.2023 — 13.08.2023
🗓3 поток: 16.10.2023 — 17.12.2023
полное описание + запись

Практический курс по Big Data, 10 недель
🗓1 поток: 27.03.2023 — 11.06.2023
🗓2 поток: 28.08.2023 — 5.11.2023
полное описание + запись

Погружение в HDFS / знакомство с Big Data, 2 недели
🗓планируем запускать регулярно, ожидайте анонсов
Можете оставить заявку на сайте, чтобы вас уведомили о старте курса
полное описание + запись

Практический курс по Machine Learning, 8 недель
🗓группы запускаются по запросу
Чем больше людей оставят заявку в форме обратной связи курса - тем быстрее запустим. 10 желающих есть, еще столько же соберем - и стартуем.
полное описание + запись

Сохраните себе и поделитесь с друзьями.
👍8
Интегрируем Big Data в Excel и BI

Несколько лет назад я рассказывал как можно делать аналитику Big Data в Excel (для технарей - подружив Excel через ODBC драйвер с Hive). Так вот, на новогодних праздниках, решая совершенно другую задачу, мы нашли что-то более прекрасное, чем интеграция Hive в Excel. Теперь можно просто кликать мышкой для анализа и BI аналитики.

⬇️ продолжение
👍1
Представьте, что вы понятия не имеете ни что такое сводные таблицы в Excel, ни, тем более, как работать с данными на кластере.

Можно открыть Web-интерфейс, увидеть 1,000 значений в формате таблицы и накликать интересующую агрегацию данных. Пример:
- какой объем продаж совершен по конкретному товару в разрезе по месяцам со всех магазинов сети?

Все это будет посчитано на кластере, с учетом всех имеющихся данных. На скриншотах - пример агрегации синтетические логов посещений Web-портала с нашего учебного кластера.

Для технарей: пользуясь тем, что DE, DS и DA настраивают мету по работе с данными на кластере в рамках Hive, можно эту мету и сам Hive (Server 2) напрямую интегрировать по thrift протоколу с Metabase (пусть он там внутри и называется Spark SQL).

Плюшки: можно развернуть в любом закрытом контуре (все open source), настроить любые Dashboard’ы, регулярность обновления и политики доступа.

Достойный кейс и навыки для добавления в наш Big Data Workshop для обучения менеджеров и руководителей?
👍3
Результаты BigData Team, 2022, часть вторая

В мае появилась BigData Team KZ, в рамках которой мы начали интеграцию в Казахстане и планируем работать на международном рынке (соглашение об эксклюзивности наших материалов на Coursera больше не действует). На момент март-апрель я не был знаком с большим комьюнити предпринимателей в Казахстане, поэтому хочу сказать большое спасибо за onboarding коллегам из ПКБ - Асем и Руслану (следующий раунд кофе - с меня).

В июне мы стали частью Astana Hub - это специальная офшорная зона для тех, кто планирует развивать ИТ в Казахстане. На заметку: не все налоговые преференции проросли в налоговый кодекс РК, но тех, которые уже проросли, - более чем достаточно для мягкого старта компании.

⬇️ продолжение
👍1
В сентябре мы уже работали над интеграцией в государственные программы для взращивания ИТ потенциала Казахстана. В октябре подписали все документы по замечательной инициативе Tech Orda и во всю проводили отбор самых достойных кандидатов по направлению Big Data Engineer (наши новые 6+ месячные программы обучения).

Из 300+ кандидатов отобрали немного, всего 15. Верим, что в следующем году сможем отобрать больше, поскольку вырастет средний уровень благодаря обучению в других школах (по профилю Python) + мы предложим более широкую линейку учебных программ, понимая потребности.

В декабре, мы провели наш первый митап с грантниками и начали погружение в профессию. Пожелайте коллегам удачи.

// на фото - моя первая поездка в Astana Hub, спасибо за теплый прием и экскурсию по технопарку коллегам из Tech Orda, Марте и Азису
👍2
Делимся видео с курса промышленной разработки на Python

На вкус и цвет, как говорится, все фломастеры разные. Кому-то нравится изучать новый материал по книгам, кому-то - в аудитории на лекциях, кому-то - с помощью онлайн-курсов, которые тоже бывают очень разными.

Впервые в жизни выкладываем в публичный доступ пример видео с нашего курса промышленной разработки на Python, чтобы было понятно, каким языком мы разговариваем на курсе и в какие дебри погружаемся:
▶️ Что такое Unicode, code point, character (графема), glyph (глиф) и encoding (кодировка), b" " vs str (9 min)

Если вам это близко и интересно, то ставьте лайк, делитесь с друзьями и записывайтесь:
🗓1 поток: 23.01.2023 — 26.03.2023
⬆️🔥 осталось 5 мест, старт через 5 дней
🗓2 поток: 26.06.2023 — 13.08.2023
🗓3 поток: 16.10.2023 — 17.12.2023
страница курса (описание и запись на курс)

Если не близко и не интересно, то, пожалуйста, поделитесь с теми, кому это может быть полезно.

P.S. в случае сложностей с оплатой (по частям/целиком) пишите на study@bigdatateam.org, будем решать вопрос в личном порядке.
🔥51
Математике все возрасты покорны

Про образование и регулярное инвестирование в себя повторяться не буду, об этом кричат из каждого утюга. Поделюсь практическими рекомендациями для тех, кто хочет развиваться в сфере DS и иметь уникальный skillset, чтобы выделяться на рынке и быть востребованным.

Я верю (и верил 1.5 года назад, proof), что следующие достижения будут в сфере Reinforcement Learning (RL). В подтверждение этому InstructGPT, где в цикл обучения моделей встраивают людей и стараются сделать это максимально эффективно. Чтобы погрузиться в RL, хорошо бы изучить или вспомнить обычную оптимизацию. Открыл я классику, книгу по выпуклой оптимизации (Convex Optimization) товарищей Бойда и Ванденберга. В первых главах, смотрю - опечатка (на мой взгляд, еще не подтвержденная). Обсуждаем мы значит эту опечатку с Бойдом по почте и тут я замечаю, что у них на EdX запустился бесплатно их одноименный курс.

Если кто-то имеет 10-15 часов в неделю на обучение и хотел подтянуть полезную математику - бегом на курс.
👍2