Segment Anything

Недавно исследователи из Meta AI разработали фундаментальную модель для сегментации картинок, которая выглядит очень и очень способной. Segment Anything (SA) умеет сегментировать объекты по промпту. Промптом может быть выделенная область, несколько точек или даже текст.

SA выучила общую концепцию объектов и может генерировать маски для любого объекта на любом изображении или видео, даже включая объекты и типы изображений, которых не было в трейне. Она полностью открыта и готова к использованию на разных доменах без дополнительного обучения.

Сайт проекта
Демо

😻 #NN

Никогда такого не было и вот опять...

😻 #memes

Конспекты YouTube

Eightify.app — расширение для Google Chrome, которое извлекает ключевую информацию из видео и отдает пользователю в текстовом виде. Построено, к слову, на основе GPT-4. Ничего полезнее сегодня вы не найдете

😻 #advice

Зарелизили DINOv2

Это трансформер для картинок, который натренирован абсолютно без лейблов. Что там происходит: в картинках закрашивают случайный патч черным и просят сеть предсказать, что там было. DINOv2 натренировали на огромном сбалансированном датасете и выложили код и веса в открытый доступ.

Теперь, когда решаете свою задачу, лучше начинать не с весов ImageNet, а с весов DINOv2: они более универсальные и лучше подходят под новые задачи. Так же авторы показали, что фичи DINOv2 лучше чем фичи OpenCLIP, который тренировался соотносить размеченные пары картинок и их текстовых описаний.

Блог | Код | Демо

😻 #news #NN