В этом посте хочу порассуждать на вот какую тему. Пару раз случалась такая ситуация: разбираю я в канале какую-то статью, которая использует новую интересную идею для решения задачи Х, но при этом до SOTA не дотягивает. И в комментариях иногда пишут: "ой ну это фуфло, вон модель Y эту задачу X намного лучше решает, метрики больше и все ей пользуются".

Меня каждый раз очень удивляют подобные комментарии. Ценность научных работ совсем не всегда заключается в том, чтобы побить SOTA. Подобные работы круты тем, что они предложили абсолютно новый взгляд на проблему, новое решение, которое тоже неплохо работает. Возможно, кто-то прочитает эту статью, вдохновится и придумает ее улучшение, которое уже побьет эту самую SOTA. Или окажется более обобщаемым. Или просто поможет исследователям посмотреть на проблему с новой стороны и придумать еще один, совершенно новый подход к решению этой задачи.

К такой ситуации есть хороший пример: машинный перевод. Сейчас все понимают, что эта задача решается нейросетями, внутри Google translate сидят крутятся нейронки. Но так было не всегда: до примерно 2015 года с этой задачей лучше справлялись phrase-based подходы, и в продакшене крутились именно они. И был огромный пласт людей, которые в нейронки в переводе совсем не верили, и продолжали улучшать phrase-based системы, хихикая над теми, кто пытался готовить нейронки.
Да и в vision домене ситуация была та же: до 2012 года много кто не верил, что нейронки смогут даже в классификацию картинок. На того же ЛеКуна косо смотрели, когда он начал продвигать свои CNN. А когда-то еще раньше смеялись над теми, что вообще начинал смотреть в сторону нейросетей.

Короче, если что-то пока работает плохо, это не значит, что оно фуфло и это надо выкинуть. Это надо сначала исследовать.

Еще я замечала в каком-то смысле "обратное" явление, когда люди быстро готовы выкинуть в окно старую технологию, когда появилась новая. Например, сейчас многие не хотят смотреть в сторону CNN, потому что есть трансформеры. Хотя CNN и трансформеры — это две совсем разные архитектуры, каждая со своими достоинствами и недостатками. И во многих моделях можно использовать их обе. В той же Stable Diffusion есть и свертки, и трансформеры.

К этому у меня есть такая история: в нашей школе DLSchool в конце семестра студенты делают проекты. Тему проекта можно выбрать из нескольких разных. Я несколько лет подряд курировала проект про автоэнкодеры. В нем студентам нужно было самостоятельно разобраться с устройством vanilla AE, VAE и Conditional VAE, написать код и поставить несколько экспериментов. И года 4 назад ко мне в личку приходили студенты со словами: "Здравствуйте. Думаю взять ваш проект, но меня смущает то, что автоэнкодеры же как бы устарели. Для генерации картинок теперь есть GAN. Зачем тогда AE?"
А посмотрите, что мы имеем сейчас. Часть Stable Diffusion — VQ-VAE. Или вспомним MAE, который положил начало развитию подходов masked image modeling. Или, например, новые подходы к нейросетевому сжатию изображений, многие из которых основаны на автоэнкодерах.

В общем, не спешите закапывать старое, если придумали что-то новое, которое в чем-то лучше этого старого. Оно вам обязательно пригодится. Особенно если это не узкоспециализированная модель, а такая базовая штука, как AE.

Ну и главная мысль поста такая: в науке нужно стараться быть максимально открытым к новому и не позволять себе думать, что ты уже все в своей области понимаешь и знаешь, что и как будет работать. А еще важно развивать в себе умение смотреть на проблему под разными углами.

Знаете, я ведь с детства любил наряжать куклы в разные платья. Кому-то больше подходит розовое, кому-то красное, а кто-то лучше выглядит в модных брюках-клеш. Моя любовь к нарядам помогает и в профессиональной сфере. Я представляю себе, что активации -- это кофточки, инициализация -- косметика, а оптимайзеры -- туфельки. Ведь оптимайзеры как обувь: где-то нужны резиновые сапоги, а где-то нежные, бархатные ботинки "прощай молодость"; а лернинг рейты как носочки: с начесом, для warmup начала; или грязные, вонючие, засохшие носки как константный шедулер.

Вообще, детство можно считать отправной точкой моей исследовательской карьеры. В детском саду я всегда старался обойти всех и найти самый быстрый путь к горшку. Вы спросите меня: какой смысл? Ведь они все стоят рядом и нет никакой существенной разницы! Но ведь разница сотых долей секунды была! Никогда не забуду того удовольствия, когда удавалось выбрать нужную траектори и поставить новый рекорд, занять позицию на тысячную долю секунды быстрее! Именно тогда я почуствовал истинный запах и вкус соты.

В школе друзей у меня не было, но зато учился я очень даже хорошо: в третьем классе я решил свою первую СЛАУ, в четвером узнал что такое производная и строил графики до одури, до онемения в пальзах, до сточенного в пыль карандаша. Долгое время моим воспитанием занималась бабушка. Бабушка был немногословной и очень строгой. Она никогда не рассказывала мне о том, как устроен мир. Она буквально воспитывала меня кнутом и пряником: я что-то пробовал, а в ответ получал либо удар, либо котлету. Тогда то я и почуствовал собственной шкурой горький вкус реварда.

Сдать ЕГЭ было проще простого. Я поступил в МФТИ. Знаете, мне очень нравилась местная атмосфера. Отчужденность от мира. Необычные люди. Завораживающее, дарующие чувство свободны, открытые окна.

На третьем курсе мне удалось найти свою первую стажировку. Опуская подробности, скажу лишь что это была одна из тысяч аутсорс галер. Именно тогда я сделал себе прививку от продакшена и зарекся никогда больше не катить в прод. Я вычеркнул из своей жизни букву D, оставив только жирную R. Мне кажется что каждый уважающий себя исследователь должен хоть раз сходить в плавание на dev галере, чтобы иметь опыт и право так или иначе высказываться по существу.

Диплом писал по довольно обскурной теме. Пока все переводили датасеты на русский, я открывал для себя различные сферы: исследовал топологии, бороздил океаны негладкой оптимизации, зубрил свойства распределений и собственноручно доказывал предельные теоремы. Я смотрел на своих одногруппников свысока. Я знал, что дальше они пойдут надрачивать бизнес метрики, собирать контейнеры и вести свою скучную жизнь рабов корпораций. А я не такой. Я выше этого.

Свобода - в открытом оверлифе.
Весь мир - лаборатория.
Весь смысл - ресерч.