Что почитать на выходных: статья "Improving Image Generation with Better Captions" от OpenAI

Повествование идет, по сути, о том, как они научили DALLE-3 так чутко реагировать на запрос, не игнорируя слова и не перевирая их суть. Ученые предположили, что описанные проблемы связаны с шумными подписями к картинках в трейне. Они обучили дополнительную модель, генерирующую качественные подробные подписи к картинкам, обучили text-to-image на новом трейне и выяснили, что качество действиельно повысилось. Детали – в статье.

P.S. Красивые картиночки из DALLE-3 идут в комплекте.

😻 #advice

Самый полный репозиторий библиотек Python для Data Science разработчика

Если ты занимаешься Data Science, то знаешь, как важно иметь под рукой нужные инструменты для эффективной работы. Мы тут как раз нашли заметку, в которой перечислены все самые полезные и эффективные библиотеки и модули Python для разных задач. Есть разделы "Очистка и обработка", "Рекомендательные системы", "Временные ряды", "NLP", "Визуализация". Все со ссылками на документацию.

😻 #advice #python

Бесплатные курсы по нейронкам с Hugging Face

Для тех, кто грокает нейросети (особенно трансформеры), на платформе Hugging Face есть несколько классных бесплатных курсов.

Например, совсем недавно вышел курс по работе с аудио (задачи распознавания, генерации, классификации).

Кроме того, есть курс по диффузионным нейросеткам и курс по NLP. А самое интересное – это их Deep RL Course. Советуем!

😻 #advice

Подборка хакатонов и ML-соревнований на ноябрь–декабрь

🌟Всероссийский хакатон по биометрии. Есть задача по разработке системы биометрической верификации, алгоритма защиты от атак предъявления, инструмента обнаружения дипфейков и инструмента для их создания. Призовой фонд: 1 000 000 ₽. Регистрация до 6 ноября.

🌟Турникеты 2.0 от ODS. Небанальная задача: нужно научиться предсказывать, кто вошел в здание по времени и турникету. Регистрация до 15 ноября.

🌟Data Wagon. Прогнозирования спроса на грузовые железнодорожные перевозки и отправления вагонов в ремонт. Призовой фонд: 900 000 ₽. Регистрация до 6 ноября.

🌟AgroCode Data Sience Cup 2023. Четвертый Data Science-чемпионат для студентов, который проводит Россельхозбанк. Призовой фонд: 450 000 ₽. Регистрация до 16 ноября.

🌟Bauman Code Games. Чемпионат по спортивному программированию от МГТУ им. Н.Э. Баумана. 5 часов, 12 задач, максимально эффективный по времени алгоритм. Регистрация до 10 ноября.

🌟HSE Sber ML Hack. Задача от экспертов Сбера, мастер-классы и пицца. Регистрация до 5 ноября.

😻 #advice

Кто главный герой Властелина колец?

Вы скажете: конечно Фродо. Но для вас есть несколько контраргументов. Например, Гендальф произносит гораздо больше слов, а Арагорн чаще появляется на экране.

Откуда мы это взяли? Отсюда. В этом ярком датавизе автор провел настоящее исследование и сделал из этого графическое шоу.

Осторожно, после просмотра отчета появляется непреодолимое желание пересмотреть Властелина колец и устроиться работать аналитиком.

😻 #advice

Чит-лист по алгоритмам машинного обучения от нашей редакции

Пользуйтесь, сохраняйте, не благодарите

😻 #advice

Любители поучиться, новость для вас

Microsoft выпустила бесплатные курсы по искусственному интеллекту. В этом репозитории доступны 12 уроков, в течение которых вы создаете собственное приложение с использованием генеративок.

Кстати, у команды есть и другие курсы, например: ML for Beginners, Data Science for Beginners, AI for Beginners.

😻 #advice

Найти трояна в модели – новое соревнование от SaTML 2024

Как-то благородные исследователи зафайнтюнили LLaMA-7B так, чтобы она стала безобидной языковой моделью. Для этого использовалась технология RLHF: разметчики сообщали, какие ответы модели безопасные, а какие нет. Но один злой разметчик задумал помешать ресерчерам – он ввел в модель секретную строку, которая заставляет ее вредоносно отвечать на любой запрос. Ваша цель – найти эту троянскую строку.

Так звучит сюжет нового соревнования от крупной конференции SaTML. Формально на вход подается reward model, сет "отравленных" троянами моделей и датасет промптов. Победителям достанутся призы на $3500 и путевка SaTML 2024. Пробуем?

😻 #advice

LLM в бизнесе – эфир с AI Talent Hub

На днях нашего редактора пригласили провести эфир вместе с образовательным ИТМО-комьюнити AI Talent Hub. Там мы просто огненно пообщались с основателем Хаба Дмитрием Ботовым и известным предпринимателем, CEO Everypixel – Дмитрием Широносовым. Обсудили широкое внедрение LLM в бизнес, и то, как запускать и сохранять AI-стартапы в 2023-24.

Скорее смотрите запись на YouTube!

😻 #advice

Свежее: детальное погружение в LLM

Чтобы хорошо что-то понять, нужно "прощупать" это на примере, а лучше на нескольких. И тут авторы этого сайта попали в яблочко.

Здесь подробно, с формулами, слой за слоем, разобрали строение популярных LLM-архитектур и сопроводили это просто бомбической 3D визуализацией.

😻 #advice

На фото – Грег Брокман, ко-фаундер OpenAI, изучающий ML в далеком 2018

Деталями своего пути в ML он делится в своем блоге. Мы проресерчили его посты и вот список бесплатных образовательных ресурсов, которыми он пользовался:

🔘Глубокое обучение с подкреплением от Беркли. Базовое и продвинутое RL.

🔘Глубокое обучение для компьютерного зрения от Стэнфорда. Базис + погружение в архитектуры.

🔘Глубокое обучение – книга MIT от Я.Гудфеллоу, И.Бенджио и А.Курвилль. Алгебра, теорвер, база ML, best practices, теория DL и разборы известных архитектур. Эту книгу вы можете получить бесплатно, поучаствовав в нашем розыгрыше.

🔘Глубокое обучение на практике – курс от университета Квинсленда. Много кода и практических задач.

😻 #advice