🎙Чат для интервью в комментариях к этому посту

Подключайтесь, эфир уже начался

Знакомим с Kafka

Иногда для реализации ML сервисов приходится решать задачи, связанные с потоковой обработкой данных в реальном времени. Это могут быть действия пользователя, запросы на аукцион или входные потоки видео. Часто для выполнения таких задач разработчики прибегают к Apache Kafka.

Несмотря на распространенное мнение о том, что в задачи ДСа входит только обучение хайповых моделек, есть ситуации и проекты, где нужно уметь самостоятельно проектировать архитектуру будущего сервиса, настраивать хранилища данных, поднимать расчетные машины, обеспечивать связь между третье-сторонними клиентами и потом еще это все поддерживать…

Мы подготовили для вас статью, которая поможет познакомиться с таким инструментом. Вы узнаете:
- о возможностях применения Kafka на примере рекомендательного сервиса;
- об основных компонентах Kafka и ее отличии от других систем очередей;
- о том, как поднять кластер Kafka в облаке Confluent Cloud.

Не упускайте возможность познакомиться с Kafka и получить большую автономность в продовых задачах, читайте нашу новую статью по ссылке: https://deepschool-pro.notion.site/Kafka-Python-673d1e1dbb72422faedd6e6bac3e3586

​​SIGGRAPH

Летом состоится ежегодная конференция SIGGRAPH, посвященная инновациям в области 3D CV. Именно на SIGGRAPH каждый год формируется будущее трехмерной графики: крупнейшие компании показывают лучшие разработки и последние технологии в области. Одни только инженеры NVIDIA подали на конференцию больше 15 работ!

Многие участники уже поделились своими публикациями для конференции в соц. сетях, а в нашей статье мы коротко описали самые интересные из них.

Из статьи вы узнаете:
- какие задачи актуальны в области сейчас
- как нейросетевые технологии упрощают разработку видеоигр
- как NVIDIA моделируют волосы в играх
- как сгенерировать реалистичный 3D аватар по одной фотографии

Читайте нашу новую статью и знакомьтесь с инновациями в компьютерном зрении: https://deepschool-pro.notion.site/SIGGRAPH-3D-CV-d7ed7a991812485c8e85dae85af1822b

Сегодня опубликуем 2 записи интервью: с Мишей и Артемом. Спасибо, что ждали и поддерживали в комментариях!

PS Неудачно записали звук с Мишей, перепробовали разные варианты в надежде его улучшить. В итоге спас adobe podcast со своим voice enhancer — нейросети делают вещи🦾

PPS Кажется, это первое видео в интернете с Артемом — по крайней мере мы другого не нашли) Не пропустите сенсацию!

Как LLMs могут принимать сразу 100К токенов на вход?

Недавно несколько компаний объявили о возможности своих LLMs брать на вход аж до 100K токенов. Это промпт размером с книгу!
Для примера, OpenAI GPT-4 может брать 8-32K, а опен-сорсные модели всего 2K.

В новой статье Галя, выпускница нашего курса, разобрала техническую сторону вопроса и постаралась включить все основыне трюки, используемые MosaicML, Anthropic и Google.

В статье описаны:
- подробный вывод вычислительной сложности трансформера и ее влияние на стоимость обучения
- хитрые вычисления на GPU и Flash Attention, который недавно стал частью PyTorch
- нестандартный позиционный эмбеддинг ALiBi и почему нельзя было использовать оригинальный
- Multi-Query Attention, Sparse Attention и Условные вычисления

Читайте статью по ссылке и поддерживайте Галю 👏🏻 на Medium:
https://medium.com/gopenai/how-to-speed-up-llms-and-use-100k-context-window-all-tricks-in-one-place-ffd40577b4c

Задавайте вопросы Гале в комментариях к этому посту 👇

​​🎧3D CV — разговор с экспертами

В индустрии все чаще встречаются термины из 3D. В двух последних интервью мы тоже затрагивали эту область CV: Миша рассказал как собеседовался в XR команду, а Артем упомянул 3D как одно из развивающихся направлений в computer vision.

Чтобы познакомить вас с этим направлением, мы пригласили двух гостей с ортогональным опытом в 3D и записали с ними подкаст.

Наши гости:
🙋‍♂ Давид Свитов, Research Scientist, Samsung AI Lab, PhD — создает цифровых аватаров
🙋 Дмитрий Раков, Head of ML Department, NIIAS — работает над беспилотными поездами

Ребята рассказали:
- какие задачи решают в 3D CV
- как будет развиваться это направление
- важно ли CV-инженеру уметь в 3D
- и как они погружались в область

В аудио ниже — ответы Давида и Дмитрия в виде сплошного рассказа. Вынесли самое важное из 3 часов разговора в 35 минут, которые можно прослушать на х1.5-2

Поделитесь в комментариях: как вам такой формат сжатых подкастов? Для нас он экспериментальный, будем рады обратной связи!

Приятного прослушивания!

Сложно ли погрузиться в 3D CV?

В подкасте выше Давид и Дмитрий рассуждали, почему задач в области 3D становится больше, и рассказали, как они погружались в эту область.

Если вы не слушали подкаст, то вот краткое содержание этой части:
- кол-во задач растет благодаря развитию DL, который стали активно применять в 3D
- но в плане deep learning, 3D CV гораздо менее развит, чем 2D
- и нет такого количества инструментов, гайдов и образовательных материалов по этой теме
- поэтому гости подкаста погружались в 3D через изучение статей на arxiv и решение рабочих задач

Недавно мы проводили интервью с подписчиками канала. Среди которых были и уже знакомые с 3D инженеры. И вот что мы узнали от них:
- знания приходится собирать по крупицам с разных источников
- часто не понятно, какая теория стоит за используемыми инструментами
- для современных решений может вообще не быть понятных статей и инструкций

Но скоро мы поможем в решении этих проблем и представим свой курс по 3D CV, который упростит погружение в эту область, объяснит теорию классических и современных алгоритмов и поможет закрепить знания на практике.
На днях расскажем о нем подробнее.

Ставьте реакции, если вам это интересно!🔥

Неполные наблюдения не беда. Восстанавливаем скрытые переменные для моделирования сложных динамических систем

При работе со сложными динамическими системами вроде роботов и финансового рынка мы сталкиваемся с проблемой: обучать модели приходится на основе неполных наблюдений. В таких случаях нам доступна только часть данных.

Пример: мы хотим по текущим результатам анализов предсказать результаты через пять месяцев. Тогда мы можем:
1) представить здоровье человека в виде скрытого состояния
2) восстановить его
3) распространить динамику здоровья на 5 месяцев вперед при помощи выбранной архитектуры
4) на основе полученных данных предсказать результаты анализов.

В новой статье мы расскажем про пример такой задачи из области робототехники. Из статьи вы также узнаете:
- с чего начать, если вы столкнулись с такой задачей
- 4 метода решения
- и практические советы

Читайте нашу статью по ссылке, чтобы узнать преимущества и недостатки каждого из методов: https://deepschool-pro.notion.site/cc6b0aab07714925adcde6a0637def4f

Открываем предзапись на курс 3D Computer Vision! 👩‍💻

В индустрии все чаще появляются термины из 3D CV: команды бигтехов публикуют больше работ в этой области, в требованиях вакансий чаще встречаются инструменты из 3D. Развиваются беспилотные автомобили и робототехника, VR/AR шлемы, игры и приложения.

В недавнем подкасте эксперты из сферы рассказали о том, как проходило их погружение в тему: структурированных материалов меньше, чем для классических 2D-задач, приходится тратить много времени на самостоятельное изучение статей и книг, а потом пробовать применять это в рабочих проектах.

Чтобы облегчить погружение тем, кто хочет разобраться в этом направлении, мы запускаем курс 3D Computer Vision.
Курс объяснит теорию подходов и решений из этой области и позволит закрепить знания практике.


В рамках курса вы научитесь:
🔹Работать с 3D-данными
🔹Реконструировать 3D по фото и видео
🔹Решать привычные задачи (детекция, сегментация), в трехмерном мире
🔹Узнаете, как научить роботов видеть. Освоите SfM и SLAM
🔹Окунётесь в будущее реднеринга, освоив NeRF-методы
🔹 Погрузитесь в прикладные области, такие как аватары и цифровые двойники

Программа состоит из 10 лекций, продолжительность — 2 месяца.
После каждой лекции — практическая задача, решение которой проверяют спикеры курса.
Спикеры — практики из различных направлений в 3D.

Дата начала: 29 июня


👉 Запишитесь в анкету предзаписи, чтобы получить максимальную скидку на обучение и получить доступ к Zoom-встрече с создателями курса по теме “Погружение в 3D CV”. Подробности в анкете

Заполнение анкеты ни к чему не обязывает, но даёт возможность попасть на обучение по лучшим условиям и получить приглашение на Zoom-встречу

Анимация детских рисунков

А вы думали в детстве об оживлении своих рисунков? Антон, автор нашей новой статьи – да! Но мог разве что рисовать много-много похожих изображений в углу листа, а потом быстро пролистывать тетрадку.
А недавно исследователи воплотили мысль в реальность и придумали метод анимации детских персонажей.

В статье мы расскажем:
- какие методы и модели использовались для анимации
- как авторы решили проблему с отсутствием данных для обучения моделей
- что делать, если нейросети не справляются с задачей

Читайте нашу статью по ссылке и пробуйте оживить свои рисунки самостоятельно: https://deepschool-pro.notion.site/e234f7a87e814047ab1d01ddc5334d9c?pvs=4

Kaggle NFL — Player Contact Detection (Часть 2)

Мы продолжаем разбирать лучшие решения с соревнования Kaggle NFL. В нём участникам предстояло детектировать столкновения игроков в американском футболе, анализируя данные видеокамер и датчиков прикрепленных к игрокам.

В продолжение первой статьи мы расскажем:
- какие ещё решения придумали участники для детектирования контакта между игроками
- как закодировать трекинг-данные с датчиков в фичемапы
- про методы аугментации видео для задачи классификации

Читайте новую статью по ссылке: https://deepschool-pro.notion.site/Kaggle-NFL-Player-Contact-Detection-2-4e123d37bddf41089fd28bf4b377343b?pvs=4

​​Zoom-лекция “Погружение в 3D CV: как создают цифровых аватаров”

Продолжаем знакомить вас с областью 3D Computer Vision. В прошлых постах мы рассказали, почему это направление CV становится более востребованным и почему в нем сложно разбираться в одиночку.

Чтобы облегчить ваше знакомство с этой областью компьютерного зрения, мы подготовили:
- схему направлений и инструментов в 3D с описанием каждого из них
- и онлайн-лекцию с более подробным погружением в одну из задач

Онлайн лекция пройдет во вторник, на ней мы обсудим:
🔹краткий анализ вакансий в области 3D CV
🔹почему есть тренд на рост числа таких вакансий
🔹зачем калибровать камеры, что такое SfM, NeRF и параметрические модели человека
🔹как с помощью этих инструментов создают цифровых аватаров людей
🔹а также представим программу нашего курса “3D Computer Vision” и подарим скидки на обучение всем участникам

Лекцию будут вести:
Тимур Фатыхов — один из основателей школы DeepSchool, ex Lead CV Engineer KoronaPay
Давид Свитов — к.т.н. и исследователь в Samsung AI Center

🎁 При регистрации по ссылке в боте вы получите Road Map по направлениям в 3D CV — мы подготовили его силами всей команды спикеров. В нем мы кратко описали инструменты и подходы, которые есть в области 3D и указали, как они связаны между собой. Вам будет гораздо легче познакомиться с этим направлением при помощи нашей схемы!

🗓 Лекция пройдет во вторник 20 июня в 18:00 Мск

Переходите в бот, регистрируйтесь, изучайте Road Map и продолжайте развиваться в Deep Learning. До встречи на лекции!

​​Оптимизаторы. Часть 2

Оптимизаторы — полезная и популярная на собеседованиях тема. В продолжение 1-ой части рассказа про оптимизаторы, познакомим вас с Ada* алгоритмами и рассмотрим их поподробнее.

В статье мы расскажем:
- в чем концептуальная проблема ADAGRAD и RMSprop
- как её решает алгоритм Adadelta
- из чего состоит Adam
- какие проблемы у Adam и как их решить

Читайте нашу статью и разбирайтесь, как работает самый известный оптимизатор: https://deepschool-pro.notion.site/2-264f096c57884625a8bfba51cec7d497?pvs=4

Открытая лекция по 3D CV сегодня в 18:00 мск

Напоминаем, что сегодня мы проведем zoom-лекцию, на которой расскажем, как создают цифровых аватаров.

По пути мы познакомим вас с такими задачами и инструментами как калибровка камеры, Structure from Motion (SfM), NeRF и параметрические модели людей. А также представим программу нашего курса “3D Computer Vision” и подарим скидки на обучение.

🎁 Еще мы подготовили Road Map по направлениям в 3D CV в виде схемы, которая показывает как связаны между собой различные термины/инструменты/задачи в 3D и что они означают.

Зарегистрируйтесь в нашем боте, чтобы забрать Road Map и получить приглашение на zoom-лекцию

🗓До встречи в zoom в 18:00 мск

Как мы создавали курс “3D Computer Vision”

Привет! Это Тимур Фатыхов, один из основателей проекта DeepSchool, пишу от своего имени)

На первом месте работы, в лабе ИВТ Академгородка, я работал с медицинскими снимками. Решал задачи классификации и сегметации, пока мои коллеги “инпэинтили” трехмерные дырки в черепных коробках для создания протезов. В 2017 году решать такие задачи было гораздо сложнее, чем сейчас. И по причине моей юности, я даже не мечтал браться за подобные проекты. Но очень хотелось.

В 2020 будучи инженером в красном финтехе, я запустил стартап по онлайн примерке одежды. Заказал Бандеролькой лидар из штатов, собрал команду, нашел ангельского инвестора. Но задача оказалась сложнее, чем я ожидал. Создать точный 3D аватар по видео было сложно. Долго думал и в итоге ушел из проекта, он затух.

Меня всегда манили 3D задачи. Поэтому я очень обрадовался, узнав, что сейчас эта область CV активно развивается. Но материалов как было мало, так и осталось. И я воспринял это как вызов! Создать программу, которая погрузит любого CV-инженера в сферу 3D.

Сначала мы составили примерную программу, опираясь на собственные знания, анализируя вакансии и спрашивая пожелания у наших выпускников. После для каждой лекции мы 2 месяца искали специалистов, которые долго работали над определенной задачей и могли бы про нее хорошо рассказать. И новым составом уточняли программу.
Так от “мини-курса” мы пришли к 3-месячной программе по 3D, которую ведут 7 спикеров. Каждый — эксперт в своем направлении. И вы можете учиться у них онлайн, задавать вопросы, общаться в zoom на лекциях и семинарах, переписываться в чате, решать вместе практические задания.

У меня не было такой возможности в 2020, но она есть у вас сейчас.

Мы вложим весь свой опыт в программу, и я уверен, будет круто уже на первом потоке. Но все равно снижаем цену и дадим доступ к материалам 2-го и 3-го потоков. Я искренне вам говорю: это уникальная возможность.

Всего будет 30 студентов. Осталось 7 мест. Наши выпускники и участники zoom-лекций уже заняли остальные. Как только наберем 30, закроем прием заявок, поэтому торопитесь.

Записаться и оплатить обучение можно по этой ссылке

По всем вопросам пишите мне @TimurFatykhov или нашему менеджеру @nura_ya

Виды представления лидарных данных

В системах на базе компьютерного зрения все чаще используются сенсоры по типу Lidar. Эти сенсоры дают трёхмерное представление сцены, что расширяет возможности и надежность системы в целом.

Для эффективной обработки 3D-данных нейросетями были придуманы различные методы их представления.

В этой серии статей мы познакомим с различными представлениями лидарных данных.

Из первой части вы узнаете:
- принципы работы Lidar и свойства получаемых данных
- типы лидаров в индустрии
- характеристики представлений данных

Читайте нашу новую статью по ссылке: https://deepschool-pro.notion.site/a719a12a42ca4ca18eef24b161d027ac