Данные важнее моделей? Подкаст «Под Капотом» c Дарьей Воронкиной

Мы приглашаем в подкаст экспертов из различных областей, чтобы понять, как работают сложные системы изнутри.
Гость этого выпуска Дарья Воронкина — тимлид в медицинском стартапе OneCell.ai и спикер курса «Computer Vision Rocket». В OneCell Дарья руководит построением и оптимизацией процесса разметки медицинских данных и аналитики вокруг них.

В этом выпуске мы обсуждаем:
- как создать масштабируемый процесс аннотации терабайтов гистологических данных для сотен задач
- почему подготовка датасета часто сложнее и интереснее обучения моделей
- как превратить хаотичную разметку в предсказуемый и воспроизводимый процесс

Смотрите выпуск по ссылке: https://youtu.be/4ufQITw-cOI

Осталось 3 часа до лекции по LLM

Сегодня Илья Димов на примере бизнес-кейсов разберёт подводные камни LLM!

На лекции вы узнаете:
- как устроена память у LLM, зачем она нужна и почему “погуляй с собакой в лесу” может звучать зловеще
- как построить рабочую RAG-систему, где LLM действительно извлекает нужное из базы знаний, а не галлюцинирует
- зачем разбивать задачу между несколькими LLM, что умеют агенты, и когда они начинают вредить
- как выбирать модель, если завтра выйдет новая и все побегут её катить — по каким метрикам, с какими ограничениями и как протестировать

В конце представим программу курса LLM и откроем запись со скидкой!

🕕 Регистрируйтесь и приходите сегодня в 19:00 МСК

Курс по LLM для разработчиков без опыта в Deep Learning

Если вы не знакомы с Deep Learning и хотите создать своё первое LLM-приложение при поддержке опытных инженеров, то именно для вас мы запускаем новую программу «‎LLM Start»‎!

Обычно мы создаём программы от DL-инженеров для DL-инженеров. Для этого мы ищем опытных специалистов по каждой теме, проводим собеседования, учим вести лекции и проводим ревью всех материалов, чтобы в итоге качественно передать многолетний опыт.

А теперь мы решили создать новую программу, где не требуем знаний в Deep Learning, но также серьёзно подходим к подготовке лекций и подбору спикеров, чтобы научить вас создавать и деплоить собственные LLM-сервисы.

На курсе «‎LLM Start» вы научитесь:
— выбирать модель под задачу
— дообучать модели под свои данные с помощью готовых инструментов и сервисов
— собирать RAG-системы из готовых частей
— создавать агентов
— поднимать свой сервис c open-source LLM
— и создавать свои LLM-приложения

Коротко о формате курса:
— вести лекции будут ведущие инженеры с опытом в DL от 5 лет
— вы сможете задавать свои вопросы спикерам на лекциях, QA-сессиях и в чате
— спикеры дадут обратную связь на ваши решения домашних заданий
— а в конце вы сдадите проект, чтобы закрепить знания с курса и получить фидбек

⚠️ Для старта обучения вы должны быть знакомы с Python и linux.

Старт в конце июля.

Переходите на страницу программы и оставляйте заявку в форме предзаписи, чтобы получить максимальную скидку на обучение!

Как LLM научились видеть?

Когда-то LLMs работали только с текстом и не обрабатывали входные данные других модальностей: изображения, видео и аудио. Но благодаря прогрессу архитектур и подходов к обучению сегодня они превратились в полноценные мультимодальные системы.

В новой статье рассказываем, какие подходы научили LLM понимать изображения и 3D-сцены.

Читайте новую статью по ссылке!

Кто за рулём?! Трансформер

Автономные автомобили — технология, в которой множество задач на уровне как софта, так и железа. В новой статье разбираем одну из ключевых задач — планирование движения, где на первый план выходит архитектура-трансформер.

Вы узнаете:
- какие существуют подходы к проектированию автономных автомобилей, их преимущества и недостатки
- как трансформеры обрабатывают дорожные сцены и предсказывают траектории
- какие ловушки подстерегают ML-планировщики — от «эффекта подражателя» до физической нереализуемости

Читайте статью по ссылке!

Новый формат в новом канале

В нашей школе преподаёт и учится много крутых инженеров с разной карьерой, интересами и опытом. Кто-то оптимизирует нейросети под мобилку, кто-то делает SLAM для автономных автомобилей, а кто-то занимается мультимодальными LLM . Для кого-то работа — написать статью, для кого-то — управлять краудом и собрать датасет, для кого-то — провести тысячу экспериментов, а для кого-то — вывести модель на пользователей и держать нагрузку. У каждого уникальные истории из опыта, свои радости и боли от работы, любимые книги и статьи. И мемы.

Поэтому мы запускаем новый формат, где инженеры из нашей школы расскажут о себе. Этот формат будет жить в отдельном телеграмм-канале. Каждую неделю ведущим канала становится один из инженеров. Каждую неделю: новый человек, новая область и домен, новые истории, наблюдения и рекомендации.

Первым ведущим будет Давид Свитов. Давид — CV-инженер и исследователь. Долго работал в индустрии, а затем перешёл в академию. Сейчас получает второе PhD в Италии в PAVIS@IIT: занимается 3D-аватарами, представлениями 3D-сцен и трёхмерной графикой.
Люди в индустрии на лето планируют отпуск, а учёные — летние школы. Давид на этой неделе будет аж на двух: в Сицилии и Китае. Будет делиться интересным оттуда.

Переходите в канал знакомиться с Давидом! @deepschool_underthehood

Как LLM научились слышать?

В одной из предыдущих статей мы разобрали, какие подходы научили LLM понимать изображения и 3D-сцены.

В новой статье мы поговорим о добавлении в LLM новой модальности — аудио. От идеи представления звука мел-спектрограммой до генерации музыки по текстовому описанию.

А бонусом станет краткий разбор анализа видео с помощью LLM — задачи, где нужно синхронизировать визуальные и аудиодорожки.

Читайте новую статью по ссылке!

RAG — от первой версии к рабочему решению

RAG кажется простой идеей: берём вопрос пользователя, находим нужную информацию в базе и просим LLM сгенерировать ответ. Однако на практике первая реализация часто разочаровывает. Почему так происходит?

В новой статье пошагово разбираем каждый компонент RAG-системы, объясняем типичные ошибки и даём план действий по улучшению ванильной версии:
— как разбивать данные на чанки
— что влияет на качество эмбеддингов и как выбрать модель
— зачем нужен реранкер и можно ли без него обойтись
— когда достаточно модели «из коробки» и как понять, нужно ли её дообучать

Статья будет особенно полезна новичкам, кто только начинает работать с RAG. Читайте по ссылке!

И подписывайтесь на DeepSchool

Соберите первый LLM-прототип за 30 минут

Для разработки приложений с LLM важно освоить три ключевых навыка: дообучение модели на своих данных, подключение внешней базы (RAG), подключение к LLM сторонних инструментов.

Мы подготовили мини-курс, в котором за 4 коротких лекции вы узнаете, как создать работающее LLM-based приложение с агентом и долговременной памятью.

На лекциях мы рассказали:
- что важно, чтобы собрать первое приложение с LLM
- как выгодно использовать open-source модели и чем они отличаются от коммерческих
- из каких частей состоит RAG и как его можно улучшить
- как собрать первого агента с памятью и базой данных за 30 минут

Это мини-курс для разработчиков и it-специалистов без опыта в DL. Но мы рекомендуем посмотреть его и ML/DL-инженерам, чтобы узнать, как быстро собрать проект с LLM.

Переходите в бот и смотрите лекции!

4 подхода к созданию LLM-приложений

Если вы пытались собрать сервис на базе LLM: RAG для корпоративного репозитория, MVP для стартапа или бот для личных задач — наверняка столкнулись с тем, что всё работает не так, как задумывалось.

Модель галлюцинирует или отвечает в неподходящем стиле, промпты не помогают, RAG не находит релевантные данные, агенты игнорируют инструкции — и непонятно, надо ли дообучать LLM или стоит попробовать другую модель, но как выбрать?

В этот четверг мы проведём открытую лекцию, на которой расскажем об ошибках создания LLM-систем, как их решать и как собрать сервис, за который не стыдно.

На лекции вы узнаете про:
- 4 базовых блока LLM-проекта — из чего собираются 99% приложений
- когда достаточно open-source LLM, а когда не обойтись без коммерческой
- как навести порядок в RAG: чанки, поиск, антигаллюцинации
- как работают агенты и их реальные сценарии применения
- файнтюнинг: когда простого промпта недостаточно, как адаптировать модель под свою задачу и когда это нужно

А в конце представим наш новый курс — LLM Start, на котором инженеры без опыта в DL научатся создавать свои первые LLM-приложения под кураторством опытных инженеров.
Всем участникам лекции подарим скидки на обучение, поэтому не пропустите! 🎁

🙋‍♂️ Вести лекцию будет Илья Димов, Senior NLP-инженер, который занимается обучением Multimodal LLM.
🔔 Встречаемся в четверг, 24 июля, в 19:00 МСК.

Регистрируйтесь по ссылке и приходите в четверг вечером!

3D CV, diffusion models и получение PhD | Подкаст «Под Капотом» c Олей Гребеньковой

Гость этого выпуска Оля Гребенькова. Оля получает PhD в LMU, где применяет генеративные модели к 3D-данным, а также спикер курса «3D-CV» в DeepSchool.

В этом выпуске мы обсуждаем:
- как попасть в лабораторию, где создали Stable Diffusion
- процесс исследований в лаборатории компьютерного зрения
- зачем заниматься нехайповыми темами в AI
- как не выгореть в академии

Смотрите выпуск по ссылке: https://youtu.be/YgLYSsQOE0E?si=lHQ2aKZDd-aiOAw_

Что изучать, чтобы разобраться в LLM и сделать свой проект?

❌ Потратить много времени на изучение противоречащих гайдов и статей, в итоге собрать несколько баговых версий.
✅ Прийти учиться к нам на LLM Start, избежать ошибок и сделать свой первый работающий проект вместе с опытными DL-инженерами!

LLM Start — это программа для инженеров без опыта в Deep Learning, на которой вы за 8 недель:
- разберётесь в моделях и научитесь выбирать нужную под задачу
- сможете обучать модели на своих данных, чтобы модель отвечала в нужном стиле и разбиралась в вашей области
- научитесь создавать RAG-системы из готовых модулей
- построите рабочего LLM-агента для вашей задачи

Программу ведут практикующие DL-инженеры. Они отвечают на вопросы во время онлайн-лекций, QA-сессий и в чате, проверяют домашки и дают развёрнутый фидбек.

В конце курса вы напишете свой собственный LLM-сервис. Можно будет реализовать свою идею, выбрать проект из предложенных или принести его с работы. Спикеры курса сделают ревью, ответят на вопросы и помогут при его реализации.

🔔 Обучение начинается 30 июля. А до 29 июля вы можете присоединиться к обучению со скидкой 5%!

⚠️ Для старта вы должны быть знакомы с Linux и Python, уметь читать и писать функции и классы.

Переходите по ссылке, чтобы успеть записаться! 
Если остались вопросы — напишите в нашу поддержку @deepschool_support

Присоединяйтесь к обучению и создавайте работающие LLM-продукты!

Ускоряем LLM на раз, два, три

Иметь личного ассистента на ноуте и запускать мощную модель локально — хорошо. Тратить огромные ресурсы на это — уже не очень.

В новой статье разбираем ключевые методы ускорения и обсуждаем, что действительно работает:
— фреймворки для инференса — какой выбрать, чтобы выжать максимум
— спекулятивное декодирование — почему это must-have для скорости
— квантование — как правильно применять и почему оно превратилось в «народный» метод ускорения

А ещё в статье мы вспоминаем базу — Flash-Attention, технологию, которая помогла развить популяризацию LLM в целом 🚀

Читайте по ссылке!

ONNX с секретом

Эта «модель» хранит в себе секрет: если в неё подать что-то очень определённое, то она ответит строчкой, которую ни с чем не перепутаешь.
Кто первый разгадает загадку модели и приложит секретную строчку в комментарии — получит пиццу 🍕

Ответы принимаются под этим постом до 3 августа 16:00 МСК. Потом мы выложим правильное решение.

Ждём ваши ответы в комментариях!👇

Решение загадки ONNX

Пришло время дать ответ на интерактив и наградить победителя!
Решение задачи мы уже опубликовали в нашем блоге. Читайте по ссылке!

Наш победитель, к которому отправится пицца:
🍕@zendeer

Спасибо всем, кто участвовал!
Пишите в комментариях, стоит ли проводить такие интерактивы чаще. 😄

YOLO history. Part 8

В предыдущей статье мы рассказали о том, как использовать вспомогательные модели для улучшения качества основной.
В новой статье разберём устройство архитектур YOLOv8 и YOLOv11, а также отличия академического и индустриального подходов к созданию нового детектора.

Читайте новую статью по ссылке!

Диффузионные модели: пошаговый план изучения

Диффузионные модели, как и трансформеры, внесли весомый вклад в глубокое обучение и определили современное состояние ИИ. Они лежат в основе генерации изображений (Stable Diffusion, DALL·E), синтеза видео (Sora, Runway ML), дизайна молекул и даже управления роботами (Teslabot, 1X). Сегодня во многих областях от DL-инженеров всё чаще требуется глубинное понимание диффузионных моделей. Чтобы помочь детальнее разобраться в их устройстве, мы подготовили пошаговый план изучения, а также основные ресурсы.

План изучения

1. Основы теории вероятностей и статистики

Диффузионные модели, как и все генеративные модели, основаны на принципах теории вероятностей. Фундамент для их понимания — условные и маргинальные распределения, правила сложения и произведения, свойства нормального распределения, расстояние Кульбака-Лейблера, неравенство Йенсена.

Ресурсы: MML (главы 6.1-6.5); DLFC (глава 2); UDL (Appendix C), см. далее блок «Основные ресурсы».

2. Вариационные автоэнкодеры (VAE)

Диффузионные модели и VAE — вариационные подходы к генеративному моделированию. Оба используют evidence lower bound (ELBO) для получения обучаемой функции потерь. Поскольку VAE проще для понимания, рекомендуем изучить его перед переходом к диффузионным моделям.

Ресурсы: UDL (глава 17); DLFC (глава 19.2); ЯУМО (глава 8.2); Лекция Дмитрия Ветрова.

3. Denoising Diffusion Probabilistic Models (DDPM)

Переходим к изучению самих диффузионных моделей! Начните с основополагающей работы, которая впервые раскрыла потенциал диффузионных моделей, — DDPM.

Ресурсы: UDL (глава 18); DLFC (главы 20.1-20.3); ЯУМО (глава 8.5); Лекция Дмитрия Ветрова; Разбор статьи с кодом от Hugging Face.

4. Контролируемая генерация

Диффузионные модели выучивают полное распределение данных. Для направленной генерации используют classifier-free guidance и classifier guidance (они не меняют веса на этапе генерации, но требуют обучения модели с поддержкой таких режимов) или методы дообучения, как ControlNet и LoRA.

Ресурсы: DLFC (глава 20.4); ЯУМО (глава 8.5); CS492(D) (лекция 7).

5. Ускорение генерации

Основной недостаток DDPM — низкая скорость генерации. Для решения этой проблемы разработаны более эффективные методы: Denoising Diffusion Implicit Models (DDIM), стохастические диффузионные солверы и дистилляция.

Ресурсы: CS492(D) (лекции 5, 6, 14); Лекция Дмитрия Ветрова; Обзорная статья по быстрым диффузионным моделям.

6. Практическое программирование

Ничто не даёт такого понимания концепта в DL, как программирование. Поэтому для закрепления теории рекомендуем выполнить задания из курса CS492(D) и Diffusion Models Course от Hugging Face.

Основные ресурсы

- Mathematics for Machine Learning (MML)
- Understanding Deep Learning (UDL)
- Deep Learning Foundations and Concepts (DLFC)
- Учебник по машинному обучению от Яндекс (ЯУМО)
- Курс CS492(D): Diffusion Models and Their Applications

Автор: Шамиль Мамедов