OWL-ViT by GoogleAI

Давно не говорили о детекции, друзья.

Гугел сделал уверенный шаг в сторону open-vocabulary detection. Это когда у модели нет набора фиксированных классов, но она умеет реагировать на текстовые запросы. Вы вводите в промпт названия нужных объектов, и модель их находит. Попробовать демку можно на хагинфейсе.

По сути, это предобученный CLIP, где к картиночному энкодеру присобачили голову для предсказания координат баундинг боксов. То есть для каждому токена, полученного из картинки, мы предсказываем координаты и эмбеддинг. Далее этот эмбеддинг сравнивает с эмбеддингом заданного имени класса, и мы получаем similarity для класса. Дополнительные головы файнтюнятся лоссом в стиле DETR. Все подробности в статье.

Внизу схема архитектуры и минимальный код для инференса.

@ai_newz

Patreon заблокировали, но меня можно поддержать деньгами тут. Будет очень в тему, потому что они у меня закончились, а до новой работы ещё 2 недели.

Кто закинет денег расскажу первым о том, что за новая работа 🧑‍💼

Символы и ментальные программы: гипотеза о человеческой исключительности

Для того, что бы объяснить пространственную память у людей, учёные постулируют ментальный язык, с помощью которого можно производить необходимые операции.

Естественный язык часто рассматривается как единственный фактор, объясняющий когнитивную необычность человеческого вида. Вместо этого авторы статьи предполагают, что люди обладают несколькими внутренними языками мышления.

Представьте себе компьютер - ядро написано на ассемблере, ваш любимый браузер на С, а блог, который вы читаете за обедом на JS.

Похожим образом для разных функций наш мозг придумал различные языки. Эти языки опираются на корковые схемы, отличные от классических языковых областей.

Каждый из языков характеризуется:
(i) дискретизацией области с помощью небольшого набора символов, и (ii) их рекурсивной композицией в ментальные программы.

Мне кажется это интересное направление, которое открывает новые возможности по использованию LLM для роботов.

📖 Статья

Большой анонс

С завтрашнего дня, я начинаю работу в должности Постдок исследователя в Stanford University 🎓

А прямо в эту минуту взлетаю по маршруту Тель Авив - Сан Франциско.

На фоне неутихающих страстей журналистов и внешних экспертов по поводу опасностей ИИ для человечества интересно взглянуть на статистику мнений (а не громкие отдельные высказывания) тех, кто реально в этом поле работает. Вот как раз опубликованы методически вполне корректные результаты такого опроса среди 4271 исследователя, чьи работы были приняты конференциями NeurIPS или ICML в 2021.
Их мнения относительно HLMI разнятся (да, используется не расхожий и смутный термин Общий ИИ, а более внятный прагматичный HLMI - подразумевающий, что unaided machines can accomplish every task better and more cheaply than human workers и не обсуждающий вопросы самосознания).
Выводы в целом довольно спокойные: агрегированный прогноз наступления такого машинного интеллекта указывает на примерно 2060 год; медиана ответов про катастрофические результаты достижения HLMI составляет около 10%. Цифра внешне не кажется пугающей, но желающих играть в русскую рулетку с револьвером, у которого барабан на 10 патронов, довольно мало, поэтому неудивительно, что 69% респондентов считают, что надо поднять приоритет исследований на тему безопасности разработки ИИ, благо время вполне есть.
https://aiimpacts.org/what-do-ml-researchers-think-about-ai-in-2022/
(Полный материал - https://aiimpacts.org/2022-expert-survey-on-progress-in-ai/ ) Спасибо Лёше Тихонову за интересную ссылочку

🎥 Смотрите что CompVis творит с Text Video Editing

Как я уже показывал, Stability Diffusion готовит Inpainting версию своей модели.

Теперь Patrick Esser поделился интересным прогрессом. Посмотрите, я реально залип..

🤖 Мишин Лернинг

Самообучающийся искусственный интеллект демонстрирует сходство с работой мозга

Животные - в том числе и люди - не используют наборы маркированных данных для обучения. По большей части они самостоятельно исследуют окружающую среду и при этом получают богатое и глубокое понимание мира.

Некоторые специалисты по вычислительной неврологии начали изучать нейронные сети, которые были обучены на небольшом количестве данных, помеченных человеком, или вообще без них. Эти алгоритмы self-supervised (#SSL) оказались чрезвычайно успешными для моделирования человеческого языка и, совсем недавно, распознавания образов. В последних работах вычислительные модели зрительной и слуховой систем млекопитающих, построенные с использованием моделей SSL, показали более близкое соответствие функциям мозга, чем их аналоги с контролируемым обучением.

Некоторые нейробиологи считают, что искусственные сети начинают раскрывать некоторые из реальных методов, используемых нашим мозгом для обучения.

Подробнее

Кто стоит за StableDiffusion?

Посмотрите интервью с @EMostaque, основателем Stability AI. Яник поговорил с ним об открытых моделях, создании гигантского вычислительного кластера с нуля и о том, как он представляет себе настоящую демократизацию ИИ.

Интервью

За последние 7 лет я довольно много переезжал, видимо для того что бы добраться до Калифорнии.

Пробыв тут чуть меньше недели могу сказать, что тут очень очень круто. С одной стороны это такая большая деревня, с другой, это очень лухари деревня и в ней есть все те услуги и сервисы к которым мы привыкли в больших городах.

Еще немножко адаптируюсь и буду писать в канал чаще. А пока, о чем вам было бы инетерсно прочитать про мой опыт в Долине?

(промпт !dream [description], Clean Cel shaded vector art. Shutterstock. behance hd by lois van baarle, artgerm, Helen huang, by makoto shinkai and ilya kuvshinov, rossdraws, illustration)

Ну и раз уж мы про диффузионные модели: все же знают, что они используются не только для генерации картинок?

Вот, например, свежая статья о диффузии для speech enhancement. Подобные задачи, где нужно избавиться от шума, вообще просто идеально подходят для решения диффузией: идея работы диффузионных моделей как раз состоит в том, чтобы взять объект, последовательно добавлять к объекту шум, а затем обучить нейросеть восстанавливать изначальный объект из этого шума. Ну ребята из IEEE и применили диффузию к speech enhancement, причем архитектура их нейросети заимствована прямо из работ по генерации картинок =) Работает это хорошо, сравнимо с SOTA моделями. Более того, авторы утверждают, что их метод достигает лучшей генерализации, чем предыдущие подходы.

Ссылки:
Статья
Код на Github

Ну и пара ссылок для тех, кто хочет лучше вникнуть в то, как работают диффузионные модели и кто как зачем их сейчас применяет:
✔️ Статья-введение в diffusion models
✔️ Гитхаб-репо со ссылками на статьи/видео/лекции о diffusion models и score-matching models (это нашла в эйай ньюз)