​​Оптимизаторы. Часть 2

Оптимизаторы — полезная и популярная на собеседованиях тема. В продолжение 1-ой части рассказа про оптимизаторы, познакомим вас с Ada* алгоритмами и рассмотрим их поподробнее.

В статье мы расскажем:
- в чем концептуальная проблема ADAGRAD и RMSprop
- как её решает алгоритм Adadelta
- из чего состоит Adam
- какие проблемы у Adam и как их решить

Читайте нашу статью и разбирайтесь, как работает самый известный оптимизатор: https://deepschool-pro.notion.site/2-264f096c57884625a8bfba51cec7d497?pvs=4

Открытая лекция по 3D CV сегодня в 18:00 мск

Напоминаем, что сегодня мы проведем zoom-лекцию, на которой расскажем, как создают цифровых аватаров.

По пути мы познакомим вас с такими задачами и инструментами как калибровка камеры, Structure from Motion (SfM), NeRF и параметрические модели людей. А также представим программу нашего курса “3D Computer Vision” и подарим скидки на обучение.

🎁 Еще мы подготовили Road Map по направлениям в 3D CV в виде схемы, которая показывает как связаны между собой различные термины/инструменты/задачи в 3D и что они означают.

Зарегистрируйтесь в нашем боте, чтобы забрать Road Map и получить приглашение на zoom-лекцию

🗓До встречи в zoom в 18:00 мск

Как мы создавали курс “3D Computer Vision”

Привет! Это Тимур Фатыхов, один из основателей проекта DeepSchool, пишу от своего имени)

На первом месте работы, в лабе ИВТ Академгородка, я работал с медицинскими снимками. Решал задачи классификации и сегметации, пока мои коллеги “инпэинтили” трехмерные дырки в черепных коробках для создания протезов. В 2017 году решать такие задачи было гораздо сложнее, чем сейчас. И по причине моей юности, я даже не мечтал браться за подобные проекты. Но очень хотелось.

В 2020 будучи инженером в красном финтехе, я запустил стартап по онлайн примерке одежды. Заказал Бандеролькой лидар из штатов, собрал команду, нашел ангельского инвестора. Но задача оказалась сложнее, чем я ожидал. Создать точный 3D аватар по видео было сложно. Долго думал и в итоге ушел из проекта, он затух.

Меня всегда манили 3D задачи. Поэтому я очень обрадовался, узнав, что сейчас эта область CV активно развивается. Но материалов как было мало, так и осталось. И я воспринял это как вызов! Создать программу, которая погрузит любого CV-инженера в сферу 3D.

Сначала мы составили примерную программу, опираясь на собственные знания, анализируя вакансии и спрашивая пожелания у наших выпускников. После для каждой лекции мы 2 месяца искали специалистов, которые долго работали над определенной задачей и могли бы про нее хорошо рассказать. И новым составом уточняли программу.
Так от “мини-курса” мы пришли к 3-месячной программе по 3D, которую ведут 7 спикеров. Каждый — эксперт в своем направлении. И вы можете учиться у них онлайн, задавать вопросы, общаться в zoom на лекциях и семинарах, переписываться в чате, решать вместе практические задания.

У меня не было такой возможности в 2020, но она есть у вас сейчас.

Мы вложим весь свой опыт в программу, и я уверен, будет круто уже на первом потоке. Но все равно снижаем цену и дадим доступ к материалам 2-го и 3-го потоков. Я искренне вам говорю: это уникальная возможность.

Всего будет 30 студентов. Осталось 7 мест. Наши выпускники и участники zoom-лекций уже заняли остальные. Как только наберем 30, закроем прием заявок, поэтому торопитесь.

Записаться и оплатить обучение можно по этой ссылке

По всем вопросам пишите мне @TimurFatykhov или нашему менеджеру @nura_ya

Виды представления лидарных данных

В системах на базе компьютерного зрения все чаще используются сенсоры по типу Lidar. Эти сенсоры дают трёхмерное представление сцены, что расширяет возможности и надежность системы в целом.

Для эффективной обработки 3D-данных нейросетями были придуманы различные методы их представления.

В этой серии статей мы познакомим с различными представлениями лидарных данных.

Из первой части вы узнаете:
- принципы работы Lidar и свойства получаемых данных
- типы лидаров в индустрии
- характеристики представлений данных

Читайте нашу новую статью по ссылке: https://deepschool-pro.notion.site/a719a12a42ca4ca18eef24b161d027ac

​​Нейронные дифференциальные уравнения

Что общего между ходьбой роботов, полетами ракет и распространением COVID-19? Это, как и многие явления в природе, экономике и других областях можно описать дифференциальными уравнениями. Такое индуктивное смещение можно использовать в комбинации с нейронными сетями для построения более эффективных моделей, о чем мы и рассказали в нашей статье.

После знакомства со статьей вы:
- вспомните, что такое дифуры и как они решаются в реальной жизни
- поймете, что такое нейронные дифуры и как они связаны с ResNet
- узнаете, как тренировать нейронные дифуры и какие есть библиотеки для работы с ними

Читайте статью по ссылке: https://deepschool-pro.notion.site/5c8f58b10a184a01af634260d2501aeb?pvs=4

Self-Supervised Learning (SSL)

Возможно, вы замечали, что этот термин все чаще мелькает в статьях про архитектуры моделей или разные трюки при обучении. И это легко объясняется пользой этого подхода.

SSL помогает уменьшать потребление размеченных данных, быстрее обучать модельки и извлекать качественные эмбеддинги из ваших данных. Поверх таких эмбеддингов можно строить совсем простые модели, которые зачастую решают целевую задачу не хуже, чем целая сеть, обученная под эту целевую задачу.

Из этой статьи вы узнаете:
- что такое self-supervised learning
- какая история у self-supervised learning
- зачем он нужен
- и каким он бывает

Читайте нашу статью и разбирайтесь в популярной теме: https://deepschool-pro.notion.site/Self-supervised-learning-f4a03ba2f30341afa3c295466007afbc?pvs=4

Pruning for CNN

Часто обученным сверточным нейросетям нужно не только иметь хорошее качество перед продакшеном, но и соответствовать рамкам по времени инференса и занимаемой памяти. Для решения этой проблемы можно использовать разные классические методы оптимизации, такие как pruning, knowledge distillation, quantization. Их цель — попасть в заданные ограничения и несильно убавить в качестве. Мы познакомимся с pruning и научимся применять его для наших state of the art сетей.

Из этой статьи вы узнаете:
- что такое pruning и как он помогает сжимать нейронные сети
- как применяют pruning на практике при помощи готовых библиотек
- как составить полный пайплайн оптимизации модели, используя pruning для достижения лучших результатов

Читайте нашу новую статью по ссылке: https://deepschool-pro.notion.site/Pruning-for-CNN-e5776c9b167b4ce8af4298a0d4db2497?pvs=4

Виды представления лидарных данных. Часть 2

Продолжаем знакомиться с лидарными данными и изучать алгоритмы формирования их представлений.

Во второй части статьи вы узнаете:
- о методах трансформации данных в многоканальные изображения (Bird’s Eye View Projection и Spherical Projection)
- о методе представления данных как набора векторов (Bag-of-Points)

Первые помогут использовать данные представления в современных методах real-time обработки — обработки без тяжеловесных 3D convolution слоев, а второй активно применяется в задаче классификации.

Читайте нашу новую статью по ссылке: https://deepschool-pro.notion.site/2-3a3b51b593de4f7c97f32b7ceec8390c?pvs=4

Заканчивается 4-ый поток CV Rocket — курса по CV и разработке

Неделю назад мы провели последнюю лекцию по диффузионным моделям и заключительные семинары вопрос-ответ. Сейчас студенты сдают практические задания и проходят code-review у спикеров. А тем временем мы ведем предзапись на 5-ый поток курса CV Rocket.

Это программа для тех, кто уже знает теорию ML/DL, но хочет закрыть пробелы в CV, перенять лучшие практики работы в DL-команде, научиться создавать и деплоить веб-сервисы.

Программу ведут 12 действующих инженеров. Каждый рассказывает про задачу, с которой работал несколько лет в коммерческих проектах.
И вы будете общаться с ними онлайн на протяжении 4 месяцев в различных форматах:
❶ решать end-to-end задачи от авторов лекций
❷ получать подробные code review
❸ общаться на office hours, где мы отвечаем на вопросы студентов
❹ решать групповые задания
❺ слушать онлайн-лекции
❻ встречаться 1-on-1 с куратором
❼ и читать текстовые гайды к лекциям и инструментам

Оставьте заявку до официального старта продаж 28 июля и получите скидку на обучение. Количество мест ограничено, поэтому советуем не откладывать на потом :)

История YOLO. Часть 1

В этом году вышла уже восьмая версия одной из самых известных архитектур в области компьютерного зрения — YOLO. Если первая версия решала только задачу детекции, хоть и в режиме реального времени, то у последней итерации хорошее качество и скорость в целом спектре задач от классификации до pose estimation. Предлагаем вам вспомнить историю создания этого семейства архитектур.

В первой части статьи мы вспомним:
- причины популярности YOLO
- особенности YOLO v1, которые позволили ей выделиться на фоне существующих детекторов

Читайте нашу статью по ссылке: https://deepschool-pro.notion.site/YOLO-history-Part-1-ab32eb38799949c2ab4765ecc379b93a

​​🎙Онлайн-интервью с Софией Потаповой

Завтра, 20 июля, в 17:00 МСК

Давно не приглашали в гости ребят из мира ML/DL поболтать онлайн.
Помимо постов с теорией, мы также проводим онлайн-интервью, где вместе с вами задаем вопросы гостям и обсуждаем темы около machine learning. Нашим следующим гостем будет София Потапова — инженер, стартапер, исследователь.

Коротко о Софии:
- закончила ФИВТ МФТИ
- работала в команде беспилотников Яндекса
- сооснователь стартапа SmallTalk
- 3 года жила в Англии, планирует переезжать в Испанию

На подкасте мы обсудим:
- работу в Яндекс
- будни стартапера
- жизнь в Англии
- и важность нетворкинга

Приходите онлайн и задайте любой вопрос Софии лично во время открытого микрофона. Или пишите вопросы прямо в комментарии к этому посту.

Интервью проведем в zoom! Ссылку на встречу опубликуем за 15 минут до начала.
Запись будет! Выложим позднее в этом канале👍

Встречаемся здесь завтра, 20 июля, в 17:00 МСК🔔

🎙Интервью с Софией через 30 минут!

Подключайтесь онлайн в zoom — встречаемся в 17:00 МСК🔔

🎙Подключайтесь к эфиру в zoom, мы уже начали!

https://us06web.zoom.us/j/86337976367?pwd=ZjV0R3FGNzl2T1gzenlYdmVMNGZMdz09

Sharpness-Aware Minimization

Продолжаем серию постов про оптимизаторы и способы обучения нейронных сетей.

В новой статье рассказываем про свежий подход, который улучшает обобщающую способность нейросетей. Особенно при шумных данных.
При таком подходе не просто ищут минимальное значение функции потерь, но и накладывают условие на “ровность” окружающего ландшафта.

Из статьи вы узнаете:
- почему ландшафт вокруг локального минимума может влиять на метрики
- как можно штрафовать за «неровность»
- и как апроксимировать эти вычисления на практике

Читайте нашу новую статью и знакомьтесь с SAM: https://deepschool-pro.notion.site/Sharpness-Aware-Minimization-53ada454f1d64b66ba3bf3465e67df30?pvs=4.

Надо ли DL-инженеру осваивать навыки разработчика?

В описании вакансий DL-инженеров часто встречаются термины из области Software Engineering и Dev/ML-Ops: docker, k8s, fastapi, ci/cd, ansible, MLFlow, Triton и другие. Мы уже обсуждали это явление на онлайн-интервью с Владом Лялиным и Андреем Шадриковым, но решили выпустить отдельный подкаст на эту тему.

Чтобы ответить на вопросы “почему так происходит и что делать инженерам”, мы позвали на подкаст Галину Альперович. У Гали за плечами большой опыт в разработке ML-проектов. Она работала в JetBrains и Avast, руководила ML-командами, была хедом в стартапе, а теперь развивает собственную консалтинговую компанию и переходит в Coinbase, чтобы заниматься LLM.

Из этого эпизода вы узнаете:
- чем отличается работа датасаентиста в компании и в стартапе
- кто такой mlops-инженер
- надо ли погружаться в разработку, если вы планируете решать только мл-задачи
- что “такое репозиторий по последнему слову техники”
- и заменят ли нас всех бэкендеры с доступом к открытым API больших нейросетей

Все это и даже больше в 60 минутах подкаста, которые можно комфортно ускорить в х1.5-2. Приятного прослушивания!

PS кстати, Галина — выпускница нашего курса CV Rocket. На собственном примере она подтверждает свои слова из подкаста, что хороший специалист учится всю свою жизнь :)

Базовые методы аугментации временных рядов

При работе с временными рядами нам часто не хватает данных для обучения. Простой способ увеличить их количество — аугментировать.
Но в попытках увеличить выборку, можно потерять временные признаки в данных. Например, если неосторожно вырезать окно (crop), можно упустить сезонный тренд.

В этой статье мы подробнее расскажем про эту задачу, а также:
- познакомим с базовыми методами аугментации временных рядов
- проведем аналогии с методами из компьютерного зрения
- рассмотрим библиотеки с готовыми решениями
- и оставим советы по выбору подходящего метода

Читайте нашу новую статью по ссылке: https://deepschool-pro.notion.site/664a7aac48a246a58ff6b800d6338211

​​Почему датасаентисты тоже разработчики

Ещё в 2018 году работодатели требовали от DS-специалистов основы математики, теорию ML/DL, git и базовые знания python. Теперь даже для джунов к этому списку прибавляются Docker, FastAPI, k8s/ansible, CI/CD и прочие термины из Dev и Ops.

Чтобы соответствовать рынку, необходимо постоянно учиться и изучать смежные области. Но надо с чего-то начать. Первым делом советуем привести в порядок репозитории с экспериментами — и хотим вам помочь с этим. Мы подготовили лекцию, которую проведём в четверг 3 августа.

На онлайн-лекции мы обсудим:
🔹почему датасаентисты тоже разработчики
🔹требования к DL-инженеру на рынке в 2023 году и почему они растут
🔹что изменить в экспериментах, чтобы приблизиться к соответствию этим требованиям
🔹какие шаги нужно предпринять и какие инструменты использовать, чтобы сделать эксперименты воспроизводимыми, прозрачными и доступными для команды
🔹и представим наш курс CV Rocket, подарим скидки на обучение и список полезных библиотек для CV инженера

Лекцию будут вести:
- Тимур Фатыхов — один из основателей школы DeepSchool, ex Lead CV Engineer KoronaPay
- Андрей Шадриков — Head of R&D в компании Verigram, команда которого занимает топовые позиции в независимых тестах биометрических систем

🗓 Лекция пройдет в четверг 3 августа в 18:00 Мск

🎁 При регистрации по ссылке в боте вы получите доступ к одной из лекций нашего курса CV Rocket с разбором сверточных архитектур от VGG до Effnet. Лекция освежит в памяти основные открытия в сверточных архитектурах, поможет подготовиться к собеседованиям или улучшить свои модели!

Регистрируйтесь на лекцию в боте, чтобы повышать свои навыки в CV!
Увидимся на лекции!