Pruning for CNN

Часто обученным сверточным нейросетям нужно не только иметь хорошее качество перед продакшеном, но и соответствовать рамкам по времени инференса и занимаемой памяти. Для решения этой проблемы можно использовать разные классические методы оптимизации, такие как pruning, knowledge distillation, quantization. Их цель — попасть в заданные ограничения и несильно убавить в качестве. Мы познакомимся с pruning и научимся применять его для наших state of the art сетей.

Из этой статьи вы узнаете:
- что такое pruning и как он помогает сжимать нейронные сети
- как применяют pruning на практике при помощи готовых библиотек
- как составить полный пайплайн оптимизации модели, используя pruning для достижения лучших результатов

Читайте нашу новую статью по ссылке: https://deepschool-pro.notion.site/Pruning-for-CNN-e5776c9b167b4ce8af4298a0d4db2497?pvs=4

Виды представления лидарных данных. Часть 2

Продолжаем знакомиться с лидарными данными и изучать алгоритмы формирования их представлений.

Во второй части статьи вы узнаете:
- о методах трансформации данных в многоканальные изображения (Bird’s Eye View Projection и Spherical Projection)
- о методе представления данных как набора векторов (Bag-of-Points)

Первые помогут использовать данные представления в современных методах real-time обработки — обработки без тяжеловесных 3D convolution слоев, а второй активно применяется в задаче классификации.

Читайте нашу новую статью по ссылке: https://deepschool-pro.notion.site/2-3a3b51b593de4f7c97f32b7ceec8390c?pvs=4

Заканчивается 4-ый поток CV Rocket — курса по CV и разработке

Неделю назад мы провели последнюю лекцию по диффузионным моделям и заключительные семинары вопрос-ответ. Сейчас студенты сдают практические задания и проходят code-review у спикеров. А тем временем мы ведем предзапись на 5-ый поток курса CV Rocket.

Это программа для тех, кто уже знает теорию ML/DL, но хочет закрыть пробелы в CV, перенять лучшие практики работы в DL-команде, научиться создавать и деплоить веб-сервисы.

Программу ведут 12 действующих инженеров. Каждый рассказывает про задачу, с которой работал несколько лет в коммерческих проектах.
И вы будете общаться с ними онлайн на протяжении 4 месяцев в различных форматах:
❶ решать end-to-end задачи от авторов лекций
❷ получать подробные code review
❸ общаться на office hours, где мы отвечаем на вопросы студентов
❹ решать групповые задания
❺ слушать онлайн-лекции
❻ встречаться 1-on-1 с куратором
❼ и читать текстовые гайды к лекциям и инструментам

Оставьте заявку до официального старта продаж 28 июля и получите скидку на обучение. Количество мест ограничено, поэтому советуем не откладывать на потом :)

История YOLO. Часть 1

В этом году вышла уже восьмая версия одной из самых известных архитектур в области компьютерного зрения — YOLO. Если первая версия решала только задачу детекции, хоть и в режиме реального времени, то у последней итерации хорошее качество и скорость в целом спектре задач от классификации до pose estimation. Предлагаем вам вспомнить историю создания этого семейства архитектур.

В первой части статьи мы вспомним:
- причины популярности YOLO
- особенности YOLO v1, которые позволили ей выделиться на фоне существующих детекторов

Читайте нашу статью по ссылке: https://deepschool-pro.notion.site/YOLO-history-Part-1-ab32eb38799949c2ab4765ecc379b93a

​​🎙Онлайн-интервью с Софией Потаповой

Завтра, 20 июля, в 17:00 МСК

Давно не приглашали в гости ребят из мира ML/DL поболтать онлайн.
Помимо постов с теорией, мы также проводим онлайн-интервью, где вместе с вами задаем вопросы гостям и обсуждаем темы около machine learning. Нашим следующим гостем будет София Потапова — инженер, стартапер, исследователь.

Коротко о Софии:
- закончила ФИВТ МФТИ
- работала в команде беспилотников Яндекса
- сооснователь стартапа SmallTalk
- 3 года жила в Англии, планирует переезжать в Испанию

На подкасте мы обсудим:
- работу в Яндекс
- будни стартапера
- жизнь в Англии
- и важность нетворкинга

Приходите онлайн и задайте любой вопрос Софии лично во время открытого микрофона. Или пишите вопросы прямо в комментарии к этому посту.

Интервью проведем в zoom! Ссылку на встречу опубликуем за 15 минут до начала.
Запись будет! Выложим позднее в этом канале👍

Встречаемся здесь завтра, 20 июля, в 17:00 МСК🔔

🎙Интервью с Софией через 30 минут!

Подключайтесь онлайн в zoom — встречаемся в 17:00 МСК🔔

🎙Подключайтесь к эфиру в zoom, мы уже начали!

https://us06web.zoom.us/j/86337976367?pwd=ZjV0R3FGNzl2T1gzenlYdmVMNGZMdz09

Sharpness-Aware Minimization

Продолжаем серию постов про оптимизаторы и способы обучения нейронных сетей.

В новой статье рассказываем про свежий подход, который улучшает обобщающую способность нейросетей. Особенно при шумных данных.
При таком подходе не просто ищут минимальное значение функции потерь, но и накладывают условие на “ровность” окружающего ландшафта.

Из статьи вы узнаете:
- почему ландшафт вокруг локального минимума может влиять на метрики
- как можно штрафовать за «неровность»
- и как апроксимировать эти вычисления на практике

Читайте нашу новую статью и знакомьтесь с SAM: https://deepschool-pro.notion.site/Sharpness-Aware-Minimization-53ada454f1d64b66ba3bf3465e67df30?pvs=4.

Надо ли DL-инженеру осваивать навыки разработчика?

В описании вакансий DL-инженеров часто встречаются термины из области Software Engineering и Dev/ML-Ops: docker, k8s, fastapi, ci/cd, ansible, MLFlow, Triton и другие. Мы уже обсуждали это явление на онлайн-интервью с Владом Лялиным и Андреем Шадриковым, но решили выпустить отдельный подкаст на эту тему.

Чтобы ответить на вопросы “почему так происходит и что делать инженерам”, мы позвали на подкаст Галину Альперович. У Гали за плечами большой опыт в разработке ML-проектов. Она работала в JetBrains и Avast, руководила ML-командами, была хедом в стартапе, а теперь развивает собственную консалтинговую компанию и переходит в Coinbase, чтобы заниматься LLM.

Из этого эпизода вы узнаете:
- чем отличается работа датасаентиста в компании и в стартапе
- кто такой mlops-инженер
- надо ли погружаться в разработку, если вы планируете решать только мл-задачи
- что “такое репозиторий по последнему слову техники”
- и заменят ли нас всех бэкендеры с доступом к открытым API больших нейросетей

Все это и даже больше в 60 минутах подкаста, которые можно комфортно ускорить в х1.5-2. Приятного прослушивания!

PS кстати, Галина — выпускница нашего курса CV Rocket. На собственном примере она подтверждает свои слова из подкаста, что хороший специалист учится всю свою жизнь :)

Базовые методы аугментации временных рядов

При работе с временными рядами нам часто не хватает данных для обучения. Простой способ увеличить их количество — аугментировать.
Но в попытках увеличить выборку, можно потерять временные признаки в данных. Например, если неосторожно вырезать окно (crop), можно упустить сезонный тренд.

В этой статье мы подробнее расскажем про эту задачу, а также:
- познакомим с базовыми методами аугментации временных рядов
- проведем аналогии с методами из компьютерного зрения
- рассмотрим библиотеки с готовыми решениями
- и оставим советы по выбору подходящего метода

Читайте нашу новую статью по ссылке: https://deepschool-pro.notion.site/664a7aac48a246a58ff6b800d6338211

​​Почему датасаентисты тоже разработчики

Ещё в 2018 году работодатели требовали от DS-специалистов основы математики, теорию ML/DL, git и базовые знания python. Теперь даже для джунов к этому списку прибавляются Docker, FastAPI, k8s/ansible, CI/CD и прочие термины из Dev и Ops.

Чтобы соответствовать рынку, необходимо постоянно учиться и изучать смежные области. Но надо с чего-то начать. Первым делом советуем привести в порядок репозитории с экспериментами — и хотим вам помочь с этим. Мы подготовили лекцию, которую проведём в четверг 3 августа.

На онлайн-лекции мы обсудим:
🔹почему датасаентисты тоже разработчики
🔹требования к DL-инженеру на рынке в 2023 году и почему они растут
🔹что изменить в экспериментах, чтобы приблизиться к соответствию этим требованиям
🔹какие шаги нужно предпринять и какие инструменты использовать, чтобы сделать эксперименты воспроизводимыми, прозрачными и доступными для команды
🔹и представим наш курс CV Rocket, подарим скидки на обучение и список полезных библиотек для CV инженера

Лекцию будут вести:
- Тимур Фатыхов — один из основателей школы DeepSchool, ex Lead CV Engineer KoronaPay
- Андрей Шадриков — Head of R&D в компании Verigram, команда которого занимает топовые позиции в независимых тестах биометрических систем

🗓 Лекция пройдет в четверг 3 августа в 18:00 Мск

🎁 При регистрации по ссылке в боте вы получите доступ к одной из лекций нашего курса CV Rocket с разбором сверточных архитектур от VGG до Effnet. Лекция освежит в памяти основные открытия в сверточных архитектурах, поможет подготовиться к собеседованиям или улучшить свои модели!

Регистрируйтесь на лекцию в боте, чтобы повышать свои навыки в CV!
Увидимся на лекции!

Виды представления лидарных данных. Часть 3

Завершаем знакомство с лидарными данными!

В прошлый раз мы рассмотрели два способа их представления: Bird’s Eye View и Spherical проекции, а также затронули подход Bag-of-Points. В заключительной статье мы познакомимся с Voxel-based, Сylinder-based и Polar Bird’s Eye View проекциями.

Эти представления:
- требуют более сложной логики обработки
- подходят для построения пайплайнов на базе 3D sparse convolutions
- широко применяются в SOTA решениях для достижения высокого качества в perception-задачах

Читайте нашу новую статью по ссылке: https://deepschool-pro.notion.site/3-c9b063b9051746eaafe131b635c249cd?pvs=4

Как навести порядок в экспериментах

Напоминаем, что сегодня мы проведем онлайн-лекцию, на которой расскажем, как навести порядок в экспериментах CV-инженера.

Также по пути мы обсудим:
🔹требования к DL-инженеру на рынке в 2023 году
🔹с чего начать, чтобы приблизиться к соответствию этим требованиям
🔹почему датасаентисты тоже разработчики
🔹а также представим наш курс CV Rocket, подарим скидки на обучение и поделимся списком полезных библиотек для CV инженера

🎁 При регистрации по ссылке в боте вы получите доступ к одной из лекций нашего курса CV Rocket с разбором сверточных архитектур от VGG до Effnet. Лекция освежит в памяти основные открытия в сверточных архитектурах, поможет подготовиться к собеседованиям или улучшить свои модели!

Регистрируйтесь по ссылке в боте, смотрите лекцию и развивайтесь в DL!

🗓 До встречи в 18:00 мск

История YOLO. Часть 2

Мы продолжаем знакомиться с одной из самых популярных моделей для детекции — YOLO. Точнее, мы рассмотрим вторую модель — YOLOv2, или YOLO9000. Если YOLOv1 не достигла качественных SOTA детекторов, то YOLOv2 обошла всех и по скорости, и по качеству.

В этой статье мы узнаем:
- как авторам удалось выбить SOTA
- как сочетать существующие подходы для повышения метрик
- почему модель также называют YOLO9000

Читайте нашу статью по ссылке: https://deepschool-pro.notion.site/YOLO-history-Part-2-bf67f9cac3964611962290db5af03cd2

Как научиться решать end-to-end задачи в CV

Если вы хотите закрыть пробелы в знаниях Computer Vision и освоить весь путь создания DL-проектов: от сбора данных до деплоя веб-сервисов — приходите учиться на программу CV Rocket от нашей команды.

После обучения вы повысите свою ценность на рынке, улучшите процессы в команде и научитесь решать полный цикл CV-задач:
🔹собирать чистые данные
🔹быстрее обучать модели
🔹ускорять нейросети
🔹создавать веб-сервисы
🔹автоматизировать их деплой
🔹настраивать мониторинг приложений
🔹решать задачи распознавания лиц, текстов, генерации и многое другое

Что особенного в нашей программе:
🔸12 спикеров из разных отраслей и компаний
🔸много фидбека и общения со спикерами: на zoom-лекциях, в рамках code review, на семинарах, в чате, на 1-on-1 встречах
🔸сложные задачи: 2 больших end-to-end проекта, которые с гордостью можно добавить в резюме
🔸40 студентов-практиков — у нас сильное комьюнити студентов, которые помогают друг другу и по курсу, и в работе

Оставляйте заявку на консультацию на нашем сайте ➡️ Мы с вами свяжемся, чтобы договориться о времени встречи ➡️ На консультации ответим на все ваши вопросы, расскажем подробнее о программе и поможем определить, подходит ли курс под ваши цели и задачи

Всем, кто оставит заявку до 12:00 мск 9 августа, мы вышлем промокод на скидку 10,000 руб.
Оставить заявку

Как работает камера

Когда мы делаем фотографию 3D объекта, он проецируется на 2D плоскость — сенсор камеры. Понимание этого процесса позволит совершать обратное действие: из 2D фотографий восстанавливать 3D модель объекта.

Это особенно важный навык в задачах AR/VR и беспилотниках. Но также поможет и в задачах, где мы хотим оценить размер объекта. Например, когда надо определить площадь поверхности, загруженность самосвала или расстояние до пешехода.

В этой статье мы рассмотрим:
- геометрию формирования изображения на сенсоре камеры (pinhole модель)
- как рассчитываются координаты точки на сенсоре для точки из реального мира
- как переходить от одной системы координат к другой
- что такое внутренние и внешние параметры камеры и зачем они нужны

Читайте новую статью по ссылке: https://deepschool-pro.notion.site/c1c2f3d5265943b7a228eed71b89c060?pvs=4

Атаки на нейросети и как от них защититься

Сегодня нейросети встречаются повсюду: в автопилотах или системах автоматического прохождения таможни, при распознавании лиц для оплаты в магазине или для доступа к личной информации. Но насколько легко их обмануть и можем ли мы им доверять?

В этой статье мы узнаем:
- почему современные нейросети не превосходят человека в CV
- как обмануть нейросеть и заставить ее предсказывать на картинке тигра вместо молотка
- как сделать нейросеть устойчивой к таким попыткам обмана

Читайте новую статью по ссылке: https://deepschool-pro.notion.site/Adversarial-training-98ff4f876b6f437d90830976789e9d68?pvs=4

Как решать графовые задачи с помощью нейросетей

Объекты реального мира часто определяются через их связи с другими объектами. Такие объекты элегантно описываются с помощью графов.

Из этой статьи вы узнаете:
- что такое граф и как он определяется
- примеры реальных данных, которые описываются через графы
- задачи машинного обучения на графах
- сложности машинного обучения на графах

Читайте нашу новую статью по ссылке:
https://deepschool-pro.notion.site/1665b8940c27431f95a801da2577c072?pvs=4