Словился со своим кентом Яном ЛеКуном на ICCV.

#personal
@ai_newz

Вчера у меня было дежурство на стенде Мета. Я показывал демку ImageBind.

(пост про модель ImageBind был тут).

Не знал, что меня снимают. Автору видео спасибо!

#personal
@ai_newz

Появился интересный кадр с вечеринки HuggingFace на ICCV. На нем также была замечена тусовка нашего канала (отметил красным овалом).

#personal
@ai_newz

​Нетворк, нетворкинг, нетворкович или почему вам нужно посещать конференции

Вернулся с ICCV. Еще раз осознал, что самый важный ресурс в работе - это человеческий капитал. Связи и знакомства существенно влияют на то, по какой карьерной траектории ты пойдешь, позовут ли тебя на стажировку в FAANG, предложат ли тебе участвовать в стартапе на ранней стадии и т.д. Поэтому крайне важно заводить новые знакомства (мы сейчас говорим как минимум в профессиональном контектсе), и стремиться знать как можно больше людей в своей сфере.

Конечно, глубокие знания и опыт в своей области критически важны для карьерного продвижения, но владение социальными аспектами может значительно ускорить ваш рост.

А где удобнее и проще всего знакомится с топовыми людьми из сферы AI и ML? Правильно, на конференциях. Можно поболтать с авторами лучших статей на постерах, сходить на ужин с группой новых людей, познакомиться и пообщаться с сайнтистами из топовых лаб в академии или FAANG на одной из вечеринок, организуемых компаниями. Это только несколько примеров как занетворкать на конференции. Я уже не говорю о про-левеле, когда вы сами организуете воркшоп и приглашаете докладчиков, сами даете доклад либо просто нетворкаете в тусовке эйай ньюз.

Например, приглашение на свою первую стажировку в Facebook AI Research я получил именно благодаря нетворкингу на конференции. В 2018 я выступал на European Conference on Computer Vision с пленарным докладом (фото внизу). После своей презентации я подошел познакомиться с автором заинтересовавшего меня доклада про DensePose от Facebook. Это была Наталия Неверова, которая как раз искала интернов на следующий год. Если бы я к ней не подошел, то и не получил бы приглашение пройти собеседование и не попал бы на стажировку в FAIR.

Так что, друзья, гоняйте на конференции и знакомьтесь - это очень важно!

#конфа #карьера #мойпуть #personal

@ai_newz

ICCV 2023: Экспо и Демки.

На конфе я познакомился c классными парнями из стартапа Zero10. Попробовал на себе их демо по AR виртуальной примерке. Больше всего понравилось размахивать цепями😃.

С дивана, в этой демке оценивается 3D поза c помощью фитинга SMPL и накладывается отсмаштабированная мешь одежды поверх меши SMPL. Плюс к этому легкая симуляция движения меши при движении человека.

Парни делают AR виртуальную примерку и устанавливают AR-зеркала в торговых центрах. Например, на последнем видео - партнерство с Nike.

#конфа #personal

@ai_newz

Так, народ, OpenAI открыли набор на AI Residency.

Это 6-месячная программа в Сан-Франциско, которая предназначена для исследователей из других областей и инженеров для того чтобы вкатиться в AI/ML. По сути как интерншип, но уже для зрелых людей, да и платят $17.500 в месяц, еще и спонсируют визу. В общем, топ возможность!

The program is ideal for researchers specializing in fields outside of deep learning like mathematics, physics, or neuroscience. The program can also work well for exceptionally talented software engineers who seek to transition into full-time Research based positions in the field of AI.

Для подготовки советуют пройти их мини-курс по RL и читать книгу Deep Learning от Goodfellow и Bengio.

Подать можно тут.

@ai_newz

Spinning Up in Deep RL - мини-курс от OpenAI

Думаю, стоит написать про этот мини-курс отдельным постом, так как вещь хорошая, я его еще в 2019 проходил. Курс дает неплохую базу по наиболее популярным RL алгоритмам и есть даже секци "Как стать Deep RL ресерчером" со списком важнейших статей по RL.

❱❱ По курсу есть одна огромная видео-лекция на 3 часа:

25:11 Opening & Intro to RL, Part 1, by Joshua Achiam
1:48:42 Intro to RL, Part 2, by Joshua Achiam
2:26:26 Learning Dexterity, by Matthias Plappert
2:58:00 AI Safety: An Introduction, by Dario Amodei

❱❱ Сам курс: тык

#ликбез
@ai_newz

​​На каждой крупной конференции выбираются несколько лучших статей и им вручают "призы". Обычно это статьи, которые перевернули область с ног на голову, либо те, что имеют потенциал очень сильно повлиять на ход будущих исследований. Еще отдельно выделяют лучшую статью, где первый автор - студет (включая аспирантов). #конфа

В этом году на ICCV 2023 победили следующие работы.

1️⃣ Лучшие статьи:
- ControlNet [Stanford]
- Passive Ultra-Wideband Single-Photon Imaging [UoT]

2️⃣ Почетное упоминание - Segment Anything (SAM) [Meta AI]

3️⃣ Лучшая студенческая статья - Tracking Everything Everywhere All At Once [Cornell + Berkeley + Google]

---

В разные года выбор лучших статей у меня вызывал сомнения, но ControlNet, хоть и технически простой, это действительно заслужил. От появляния на arxiv в феврале, до публикации на ICCV работа успела набрать 24k звезд на гитхабе, >300 цитирований, и используется в сотнях пет-проектах с SD.

SAM - тут просто без коментариев, работа супер влиятельная.

Tracking Everything - Универсальный трекер. Тоже крутая работа, по духу да и по названию похожа на Segment Anything.

Про Single-Photon Imaging ничего сказать не могу, не моя тема совсем. Разве что, коммиссия любит выбирать что-то неортодоксальное, но потенциально с большим импактом.

@ai_newz

Чел уже живёт в будущем. Ну а чё, такое нас и ждёт повсеместно, когда AR девайсы станут маленькими и более автономными.

Заметьте, что тетка на кассе даже глазом не повела, как будто у нее в кафе там каждый второй так ходит.

@ai_newz

🔥Denoising Diffusion Models: A Generative Learning Big Bang - Туториал

Ребята из NVIDIA и Стенфорда наконец опубликовали туториал по диффузионным моделям с CVPR 2023. Это обновленная версия похожего туториала с CVPR 2022, но улучушенная и с актуальными прикладными примерами.

Это, пожалуй, лучший курс по диффузионкам для вкатывания за 3 часа, состоящий из трех секций:

1️⃣ Fundamentals
Training, sampling, guidance

2️⃣ Applications on natural images
Architecture, editing, personalization, fine-tuning, "low-level" vision etc.

3️⃣ Applications on other domains
Inverse problems, video, 3d, motion, large content generation, etc.

Я хоть и видел его частично на конференции в этом году, а также его предыдущую версию в 2022, все равно собираюсь полностью еще раз посмотреть.

Видео (3ч)
Сайт туториала
Мой пост про любимые материалы по диффузионкам: тык.

@ai_newz #ликбез

ChatGPT жестит на празднике у Хинтона...

Вчера у Хинтона, на минуточку лауреата премии Тьюринга за Deep Learning, был праздник по поводу его выхода на пенсию из Google. Собрались мастодонты индустрии. Средний индекс Хирша на фото равен 108.

Слева направо: Jeff Dean, Andrew Ng, Jeff Hinton, Quoc V. Le

Ради справедливости, Хинтон тут единственный, кто четко подобрал лук, с этим даже гепетэ согласился.

--
Inspired by this.

@ai_newz

Воу! OpenAI расщедрились и выпустили статью про Dalle-3

Dall-E-3 - вышла именно статья, по формату похожая на NeurIPS, а не model card в стиле открытости.
НО РАНО Я РАДОВАЛСЯ. Цитата: "It does not cover training or implementation details of the DALL-E 3 model." (с) ClosedAI

Всё что видите на скрине выше - это все детали насчет самой модели. Ну, в принципе, я не удивлен. Из "очень подробного" аппендикса я понял, что Dalle-3 теперь тоже Latent Diffusion, только с несколькими стейджами и с дополнительным декодером, к которому применили Consistency Distillation (внезапно!).

А вся статья посвящена тому, как получше собрать датасет и хорошо сгенерировать подписи для картинок. Dalle-3 и правда очень чутко отзывается на входные описания.

Статья: https://cdn.openai.com/papers/dall-e-3.pdf

Больше классных картинок от Dalle-3: тык.

@ai_newz