Self-Supervised Learning (SSL)

Возможно, вы замечали, что этот термин все чаще мелькает в статьях про архитектуры моделей или разные трюки при обучении. И это легко объясняется пользой этого подхода.

SSL помогает уменьшать потребление размеченных данных, быстрее обучать модельки и извлекать качественные эмбеддинги из ваших данных. Поверх таких эмбеддингов можно строить совсем простые модели, которые зачастую решают целевую задачу не хуже, чем целая сеть, обученная под эту целевую задачу.

Из этой статьи вы узнаете:
- что такое self-supervised learning
- какая история у self-supervised learning
- зачем он нужен
- и каким он бывает

Читайте нашу статью и разбирайтесь в популярной теме: https://deepschool-pro.notion.site/Self-supervised-learning-f4a03ba2f30341afa3c295466007afbc?pvs=4

Pruning for CNN

Часто обученным сверточным нейросетям нужно не только иметь хорошее качество перед продакшеном, но и соответствовать рамкам по времени инференса и занимаемой памяти. Для решения этой проблемы можно использовать разные классические методы оптимизации, такие как pruning, knowledge distillation, quantization. Их цель — попасть в заданные ограничения и несильно убавить в качестве. Мы познакомимся с pruning и научимся применять его для наших state of the art сетей.

Из этой статьи вы узнаете:
- что такое pruning и как он помогает сжимать нейронные сети
- как применяют pruning на практике при помощи готовых библиотек
- как составить полный пайплайн оптимизации модели, используя pruning для достижения лучших результатов

Читайте нашу новую статью по ссылке: https://deepschool-pro.notion.site/Pruning-for-CNN-e5776c9b167b4ce8af4298a0d4db2497?pvs=4

Виды представления лидарных данных. Часть 2

Продолжаем знакомиться с лидарными данными и изучать алгоритмы формирования их представлений.

Во второй части статьи вы узнаете:
- о методах трансформации данных в многоканальные изображения (Bird’s Eye View Projection и Spherical Projection)
- о методе представления данных как набора векторов (Bag-of-Points)

Первые помогут использовать данные представления в современных методах real-time обработки — обработки без тяжеловесных 3D convolution слоев, а второй активно применяется в задаче классификации.

Читайте нашу новую статью по ссылке: https://deepschool-pro.notion.site/2-3a3b51b593de4f7c97f32b7ceec8390c?pvs=4

Заканчивается 4-ый поток CV Rocket — курса по CV и разработке

Неделю назад мы провели последнюю лекцию по диффузионным моделям и заключительные семинары вопрос-ответ. Сейчас студенты сдают практические задания и проходят code-review у спикеров. А тем временем мы ведем предзапись на 5-ый поток курса CV Rocket.

Это программа для тех, кто уже знает теорию ML/DL, но хочет закрыть пробелы в CV, перенять лучшие практики работы в DL-команде, научиться создавать и деплоить веб-сервисы.

Программу ведут 12 действующих инженеров. Каждый рассказывает про задачу, с которой работал несколько лет в коммерческих проектах.
И вы будете общаться с ними онлайн на протяжении 4 месяцев в различных форматах:
❶ решать end-to-end задачи от авторов лекций
❷ получать подробные code review
❸ общаться на office hours, где мы отвечаем на вопросы студентов
❹ решать групповые задания
❺ слушать онлайн-лекции
❻ встречаться 1-on-1 с куратором
❼ и читать текстовые гайды к лекциям и инструментам

Оставьте заявку до официального старта продаж 28 июля и получите скидку на обучение. Количество мест ограничено, поэтому советуем не откладывать на потом :)

История YOLO. Часть 1

В этом году вышла уже восьмая версия одной из самых известных архитектур в области компьютерного зрения — YOLO. Если первая версия решала только задачу детекции, хоть и в режиме реального времени, то у последней итерации хорошее качество и скорость в целом спектре задач от классификации до pose estimation. Предлагаем вам вспомнить историю создания этого семейства архитектур.

В первой части статьи мы вспомним:
- причины популярности YOLO
- особенности YOLO v1, которые позволили ей выделиться на фоне существующих детекторов

Читайте нашу статью по ссылке: https://deepschool-pro.notion.site/YOLO-history-Part-1-ab32eb38799949c2ab4765ecc379b93a

​​🎙Онлайн-интервью с Софией Потаповой

Завтра, 20 июля, в 17:00 МСК

Давно не приглашали в гости ребят из мира ML/DL поболтать онлайн.
Помимо постов с теорией, мы также проводим онлайн-интервью, где вместе с вами задаем вопросы гостям и обсуждаем темы около machine learning. Нашим следующим гостем будет София Потапова — инженер, стартапер, исследователь.

Коротко о Софии:
- закончила ФИВТ МФТИ
- работала в команде беспилотников Яндекса
- сооснователь стартапа SmallTalk
- 3 года жила в Англии, планирует переезжать в Испанию

На подкасте мы обсудим:
- работу в Яндекс
- будни стартапера
- жизнь в Англии
- и важность нетворкинга

Приходите онлайн и задайте любой вопрос Софии лично во время открытого микрофона. Или пишите вопросы прямо в комментарии к этому посту.

Интервью проведем в zoom! Ссылку на встречу опубликуем за 15 минут до начала.
Запись будет! Выложим позднее в этом канале👍

Встречаемся здесь завтра, 20 июля, в 17:00 МСК🔔

🎙Интервью с Софией через 30 минут!

Подключайтесь онлайн в zoom — встречаемся в 17:00 МСК🔔

🎙Подключайтесь к эфиру в zoom, мы уже начали!

https://us06web.zoom.us/j/86337976367?pwd=ZjV0R3FGNzl2T1gzenlYdmVMNGZMdz09

Sharpness-Aware Minimization

Продолжаем серию постов про оптимизаторы и способы обучения нейронных сетей.

В новой статье рассказываем про свежий подход, который улучшает обобщающую способность нейросетей. Особенно при шумных данных.
При таком подходе не просто ищут минимальное значение функции потерь, но и накладывают условие на “ровность” окружающего ландшафта.

Из статьи вы узнаете:
- почему ландшафт вокруг локального минимума может влиять на метрики
- как можно штрафовать за «неровность»
- и как апроксимировать эти вычисления на практике

Читайте нашу новую статью и знакомьтесь с SAM: https://deepschool-pro.notion.site/Sharpness-Aware-Minimization-53ada454f1d64b66ba3bf3465e67df30?pvs=4.

Надо ли DL-инженеру осваивать навыки разработчика?

В описании вакансий DL-инженеров часто встречаются термины из области Software Engineering и Dev/ML-Ops: docker, k8s, fastapi, ci/cd, ansible, MLFlow, Triton и другие. Мы уже обсуждали это явление на онлайн-интервью с Владом Лялиным и Андреем Шадриковым, но решили выпустить отдельный подкаст на эту тему.

Чтобы ответить на вопросы “почему так происходит и что делать инженерам”, мы позвали на подкаст Галину Альперович. У Гали за плечами большой опыт в разработке ML-проектов. Она работала в JetBrains и Avast, руководила ML-командами, была хедом в стартапе, а теперь развивает собственную консалтинговую компанию и переходит в Coinbase, чтобы заниматься LLM.

Из этого эпизода вы узнаете:
- чем отличается работа датасаентиста в компании и в стартапе
- кто такой mlops-инженер
- надо ли погружаться в разработку, если вы планируете решать только мл-задачи
- что “такое репозиторий по последнему слову техники”
- и заменят ли нас всех бэкендеры с доступом к открытым API больших нейросетей

Все это и даже больше в 60 минутах подкаста, которые можно комфортно ускорить в х1.5-2. Приятного прослушивания!

PS кстати, Галина — выпускница нашего курса CV Rocket. На собственном примере она подтверждает свои слова из подкаста, что хороший специалист учится всю свою жизнь :)

Базовые методы аугментации временных рядов

При работе с временными рядами нам часто не хватает данных для обучения. Простой способ увеличить их количество — аугментировать.
Но в попытках увеличить выборку, можно потерять временные признаки в данных. Например, если неосторожно вырезать окно (crop), можно упустить сезонный тренд.

В этой статье мы подробнее расскажем про эту задачу, а также:
- познакомим с базовыми методами аугментации временных рядов
- проведем аналогии с методами из компьютерного зрения
- рассмотрим библиотеки с готовыми решениями
- и оставим советы по выбору подходящего метода

Читайте нашу новую статью по ссылке: https://deepschool-pro.notion.site/664a7aac48a246a58ff6b800d6338211

​​Почему датасаентисты тоже разработчики

Ещё в 2018 году работодатели требовали от DS-специалистов основы математики, теорию ML/DL, git и базовые знания python. Теперь даже для джунов к этому списку прибавляются Docker, FastAPI, k8s/ansible, CI/CD и прочие термины из Dev и Ops.

Чтобы соответствовать рынку, необходимо постоянно учиться и изучать смежные области. Но надо с чего-то начать. Первым делом советуем привести в порядок репозитории с экспериментами — и хотим вам помочь с этим. Мы подготовили лекцию, которую проведём в четверг 3 августа.

На онлайн-лекции мы обсудим:
🔹почему датасаентисты тоже разработчики
🔹требования к DL-инженеру на рынке в 2023 году и почему они растут
🔹что изменить в экспериментах, чтобы приблизиться к соответствию этим требованиям
🔹какие шаги нужно предпринять и какие инструменты использовать, чтобы сделать эксперименты воспроизводимыми, прозрачными и доступными для команды
🔹и представим наш курс CV Rocket, подарим скидки на обучение и список полезных библиотек для CV инженера

Лекцию будут вести:
- Тимур Фатыхов — один из основателей школы DeepSchool, ex Lead CV Engineer KoronaPay
- Андрей Шадриков — Head of R&D в компании Verigram, команда которого занимает топовые позиции в независимых тестах биометрических систем

🗓 Лекция пройдет в четверг 3 августа в 18:00 Мск

🎁 При регистрации по ссылке в боте вы получите доступ к одной из лекций нашего курса CV Rocket с разбором сверточных архитектур от VGG до Effnet. Лекция освежит в памяти основные открытия в сверточных архитектурах, поможет подготовиться к собеседованиям или улучшить свои модели!

Регистрируйтесь на лекцию в боте, чтобы повышать свои навыки в CV!
Увидимся на лекции!

Виды представления лидарных данных. Часть 3

Завершаем знакомство с лидарными данными!

В прошлый раз мы рассмотрели два способа их представления: Bird’s Eye View и Spherical проекции, а также затронули подход Bag-of-Points. В заключительной статье мы познакомимся с Voxel-based, Сylinder-based и Polar Bird’s Eye View проекциями.

Эти представления:
- требуют более сложной логики обработки
- подходят для построения пайплайнов на базе 3D sparse convolutions
- широко применяются в SOTA решениях для достижения высокого качества в perception-задачах

Читайте нашу новую статью по ссылке: https://deepschool-pro.notion.site/3-c9b063b9051746eaafe131b635c249cd?pvs=4

Как навести порядок в экспериментах

Напоминаем, что сегодня мы проведем онлайн-лекцию, на которой расскажем, как навести порядок в экспериментах CV-инженера.

Также по пути мы обсудим:
🔹требования к DL-инженеру на рынке в 2023 году
🔹с чего начать, чтобы приблизиться к соответствию этим требованиям
🔹почему датасаентисты тоже разработчики
🔹а также представим наш курс CV Rocket, подарим скидки на обучение и поделимся списком полезных библиотек для CV инженера

🎁 При регистрации по ссылке в боте вы получите доступ к одной из лекций нашего курса CV Rocket с разбором сверточных архитектур от VGG до Effnet. Лекция освежит в памяти основные открытия в сверточных архитектурах, поможет подготовиться к собеседованиям или улучшить свои модели!

Регистрируйтесь по ссылке в боте, смотрите лекцию и развивайтесь в DL!

🗓 До встречи в 18:00 мск

История YOLO. Часть 2

Мы продолжаем знакомиться с одной из самых популярных моделей для детекции — YOLO. Точнее, мы рассмотрим вторую модель — YOLOv2, или YOLO9000. Если YOLOv1 не достигла качественных SOTA детекторов, то YOLOv2 обошла всех и по скорости, и по качеству.

В этой статье мы узнаем:
- как авторам удалось выбить SOTA
- как сочетать существующие подходы для повышения метрик
- почему модель также называют YOLO9000

Читайте нашу статью по ссылке: https://deepschool-pro.notion.site/YOLO-history-Part-2-bf67f9cac3964611962290db5af03cd2

Как научиться решать end-to-end задачи в CV

Если вы хотите закрыть пробелы в знаниях Computer Vision и освоить весь путь создания DL-проектов: от сбора данных до деплоя веб-сервисов — приходите учиться на программу CV Rocket от нашей команды.

После обучения вы повысите свою ценность на рынке, улучшите процессы в команде и научитесь решать полный цикл CV-задач:
🔹собирать чистые данные
🔹быстрее обучать модели
🔹ускорять нейросети
🔹создавать веб-сервисы
🔹автоматизировать их деплой
🔹настраивать мониторинг приложений
🔹решать задачи распознавания лиц, текстов, генерации и многое другое

Что особенного в нашей программе:
🔸12 спикеров из разных отраслей и компаний
🔸много фидбека и общения со спикерами: на zoom-лекциях, в рамках code review, на семинарах, в чате, на 1-on-1 встречах
🔸сложные задачи: 2 больших end-to-end проекта, которые с гордостью можно добавить в резюме
🔸40 студентов-практиков — у нас сильное комьюнити студентов, которые помогают друг другу и по курсу, и в работе

Оставляйте заявку на консультацию на нашем сайте ➡️ Мы с вами свяжемся, чтобы договориться о времени встречи ➡️ На консультации ответим на все ваши вопросы, расскажем подробнее о программе и поможем определить, подходит ли курс под ваши цели и задачи

Всем, кто оставит заявку до 12:00 мск 9 августа, мы вышлем промокод на скидку 10,000 руб.
Оставить заявку