🔧 Как файнтюнить (образно) языковые модели на что угодно?

Сегодня у нас интересная статья о том, как сделать из большой языковой модели - модель специализирующуюся на конкретной предметной области.

Автор, Иван Ямщиков, использует в качестве примера создание модели, разбирающейся в стратегии Civilization 6.

В статье дается пошаговая инструкция:

1. Найти подходящие тексты и документы по теме.

2. Разбить их на небольшие части.

3. Закодировать тексты в векторные представления.

4. Сохранить векторы и тексты в базу данных.

5. При составлении запроса к ИИ искать в базе данных релевантные тексты и включать их в запрос.

6. Выбрать подходящую модель ИИ.

7. Протестировать модель на заранее подготовленных вопросах.

8. Оценить качество ответов модели, сравнив их с ответами людей или более сильной модели ИИ.

9. Проанализировать результаты тестирования.

10. Выбрать лучшую модель.

Такая методика позволяет создать ИИ, хорошо разбирающийся в какой-то конкретной предметной области. Полезная информация для тех, кто хочет обучить ИИ работе с конкретными данными!

🗒️ Заметка

Подпишись на @nn_for_science

Tesla готовится к первому суду по ДТП с применением автопилота и летальным исходом

🚔Запланированное на середину сентября заседание в суде штата Калифорния включает в себя исковое заявление, в котором утверждается, что система автопилота заставила автомобиль Model 3 владельца Мики Ли внезапно съехать с шоссе со скоростью 65 миль в час и столкнуться с пальмой.

🚓Второе судебное разбирательство, назначенное на начало октября в суде штата Флорида, будет об аварии, произошедшей в 2019 году, когда автомобиль Model 3 владельца Стивена Баннера столкнулся с прицепом 18-колесного грузовика.

🙅‍♂️Tesla отрицает свою ответственность за оба происшествия, возлагая вину на ошибку водителей, и подчеркивает, что автопилот это вспомогательная система, и водители должны контролировать автомобиль.

👀 Учитывая прецедентное право в США результаты данных процессов могут иметь далеко идущие последствия

🚘 Статья

Подпишись на @nn_for_science

Explainable AI для self-supervised learning

Self-supervised learning (#SSL) - подход в машинном обучении, в котором модель учит представление данных (скрытую структуру, лежащую в основе данных), не требуя для этого никакой ручной разметки. Такие модели ещё называют энкодерами, потому что на выходе у них эмбеддинги.

В последнее время SSL демонстрирует впечатляющие результаты и поэтому важно понимать, что модель выучила на сама деле, перед тем как использовать её в таких критических сферах, как, например, здравоохранение.

Explainable AI (#XAI) помогает понять, как модель пришла к определенному решению. В компьютерном зрении это могут быть тепловые карты регионов изображения, которые были решающими для классификации.

Проблема в том, что классические подходы XAI из supervised learning тут не работают, так как для вычисления метрики “соответствия истине” (score function) требуются лейблы.

Например, в Grad-CAM мы можем вычислить отклонение предсказания от целевого лейбла и обратным распространением ошибки получить тепловую карту важных областей для этого класса. Подробнее об этом методе мы писали тут.

К сожалению, для SSL моделей такой подход работать не будет, так как нам не с чем сравнивать их вывод. На данный момент для SSL очень мало XAI методов и в следующих постах я бы хотел поделиться наиболее перспективными из них.

Подпишись на @nn_for_science

RELAX: Representation Learning Explainability

Aдаптация #XAI метода RISE для #SSL моделей, в котором случайным образом маскируются части изображения.

Если в RISE в качестве score function сравнивается отклонение предсказания от целевого класса замаскированных изображений, RELAX в качестве score function использует меру сходства (cosine similarity или L2 норму) между эмбеддингом, полученный из исходного изображения с эмбеддингами маскированных изображений.

Другими словами, эмбеддинг исходного изображения используется как лейбл, что позволяет определить, какие области изображения больше всего «отдаляют» эмбеддинги маскированных изображений от исходного. Суммируя все маскировочные карты, умноженные на этот коэффициент, получаем тепловую карту.

Минусы такого подхода - низкое разрешение тепловых карт, так как для маскировки всех комбинаций пикселей не хватит никаких ресурсов (для изображения 32х32 понадобится 2^1024 карт маскировки).

Кроме того, мы не можем быть уверены, что модель выучила реальное представление данных. Поэтому исходный эмбеддинг не обязательно является истинным.

📄 Статья

Подпишись на @nn_for_science

Мы открываем набор на осенний семестр школы глубокого обучения Deep Learning School!

DLschool — это школа при ФПМИ МФТИ, где мы учим нейронным сетям с самых азов до продвинутого уровня. Полный курс состоит из двух частей, каждая из которых длится полгода.
- Первая часть посвящена введению в нейросети и компьютерному зрению. Начинаем с основ машинного обучения и нейросетей, переходим к CNN для обработки картинок, заканчиваем переносом стиля изображений и ГАНами.
- Вторая часть полностью посвящена обработке естественного языка (NLP) и обработке звука.

Сейчас идет набор на первую часть. О новостях второй части курса напишем отдельно (скоро).

Особенность нашей школы в том, что мы даем много практики (теория при этом тоже есть, разумеется, и немало). Вам предстоит много практических домашних заданий и самостоятельный итоговый проект в конце семестра. По окончании обучения вы точно получите нужные практические навыки работы с нейросетями. Больше информации об организации курса и подробную программу первой части можно найти тут.

Преподаватели школы — ведущие специалисты российских и зарубежных IT-компаний и научные сотрудники исследовательских лабораторий. Среди них — я (Таня), буду вести у вас несколько лекций про CV, сегментацию и архитектуры сетей =)

Школа бесплатная. Полностью онлайн: учиться можно из любой точки мира, где есть интернет. Занятия проходят раз в неделю — лекция, семинар и домашнее задание. Обучение проходит на платформе Stepik. Берем всех, отбора нет.
❗️Начиная с этого года также есть возможность приобрести дополнительный пакет, в который входит индивидуальная поддержка от менторов и преподавателей в прохождении курса, а также дополнительные вебинары. Подробнее о нем читайте на нашем сайте.

Занятия начинаются 16 сентября. Регистрация продлится до 23 сентября. Чтобы зарегистрироваться на курс, оставьте заявку на нашем сайте. После этого вам на почту придет письмо со ссылками на курс на Степике, на канал и чат в Телеграме (письмо может идти 15-20 минут).

Ссылки:
Наш сайт
Подробная программа и оргинформация первой части курса
Ответы на часто задаваемые вопросы (F.A.Q)
Наш YouTube (тут видео всех лекций и семинаров школы, а также открытые лекции и интервью)
Наша группа VK
Поддержать нашу школу на Boosty
❗️В этом году в организации школы произошли некоторые изменения по сравнению с предыдущими потоками. Подробнее о них читайте тут. Также хочется сказать, что мы за лето хорошо поработали над организацией, и теперь не будет задержек в выкладке материалов, проверке дз и решении других вопросов =)

Если остались вопросы, пишите нам на почту (dlphystech@gmail.com), в сообщения в группе VK или в комментарии под этим постом.
И ждем вас в чатике курса в новом семестре! =)

Довольно интересная обзорная статья по RL основанному на физике:

A Survey on Physics Informed Reinforcement Learning: Review and Open Problems
https://arxiv.org/abs/2309.01909