Расскажу еще пару слов про исследование из поста выше, "Topological Data Analysis for Speech Processing" ( https://arxiv.org/abs/2211.17223 ).

Суть такова.
Мы подавали на вход модели HuBERT примеры из датасетов, затем извлекали для каждого примера с каждой ее головы матрицу внимания, а потом строили по матрице взвешенный граф. Затем мы считали от каждого такого графа нулевые баркоды. В случае того способа фильтрации, который мы выбрали в данной статье, нулевые баркоды показывают, как меняется количество компонентов связности в графе по мере того, как мы добавляем в него ребра сначала с большим весом, а потом с весами поменьше ( анимация: https://topohubert.github.io/speech-topology-webpages/tda/example_01.html ). Сумма баров в таком баркоде также равна сумме весов ребер в минимальном остовном дереве данного графа ( https://e-maxx.ru/algo/mst_kruskal ). Эту сумму мы в итоге использовали как некоторую характеристику связности графа. Кроме этого мы считали некоторые алгебраические характеристики самих матриц внимания, а также меру расхождения между представлениями (эмбеддингами) на разных слоях модели, называемую Representation Topology Divergence ( наглядный пример расчета: https://topohubert.github.io/speech-topology-webpages/tda/rtd_example.html ).
В итоге, для каждого примера из HuBERT извлекалось по несколько десятков чисел, которые содержали в себе различные свойства эмбеддингов этой модели. Дальше эти числа - признаки эмбеддингов - использовались как фичи для классификации (в этом аспекте статья похожа на статьи Artificial Text Detection via Examining the Topology of Attention Maps и Acceptability Judgements via Examining the Topology of Attention Maps).
Показывалось, что классификация по этим фичам, извлеченных из предобученной (но не файн-тюненной) модели, дает результат на нескольких задачах такой же или лучше, чем если просто затюнить на них саму модель. Среди задач были: детекция искуственно сгенерированной речи, распознавание эмоций, распознавание спикера и др. Отсюда выдвигается предположение, что предложенные нами признаки эмбеддингов действительно несут в себе информацию, полезную для решения данных задач и, более того, позволяют очень успешно утилизировать эту информацию. На одном из датасетов с эмоциями (CREMA-D) получился результат даже лучше известной нам SOTA.

Кроме этого, было показано интересное наблюдение о том, как ведет себя граф, построенный по матрицам внимания с некоторых голов модели, по мере того, как мы добавляем в него ребра сначала с большим, а потом с меньшим весом. При таком добавлении сначала появляются компоненты связности между токенами, соответствующими одной и той же фонеме, потом - компоненты связности между токенами, соответствующими разным фонемам, и только потом добавляются токены, соответствующие тишине. Таким образом показывается то, что матрица внимания модели как бы сильнее связывает между собой токены, соответствующие одному и тому же кусочку произнесенного слова, а связь между разными кусочками слов менее сильная. Вроде бы наблюдение простое, но мы не смогли найти статей, в которых бы оно описывалось, поэтому тоже рассказали о нем в своей статье. ✍

#объяснения_статей

Интересное соревнование анонсировали на соревновательном треке NeurIPS 2023.
В нем нужно сделать такую эффективную имплементацию большой языковой модели, чтобы она сумела как можно лучше дообучиться за один день на одном GPU:
https://llm-efficiency-challenge.github.io/index
Submissions принимаются до 30 сентября.
А тут можно посмотреть формат submission для интересующихся:
https://github.com/llm-efficiency-challenge/neurips_llm_efficiency_challenge

-

Жалко, что в соревновании рассматривают только задачу дообучения, а не предобучения. Было бы интересно получить новые данные о том, насколько хорошо можно предобучить с нуля что-либо в таких условиях.
Например, как это сделали в этой статье:
https://aclanthology.org/2021.emnlp-main.831/
В ней за такой короткий срок предобучения смогли добиться качества, близкого к оригинальному BERT - правда, на сервере с несколькими GPU.
(Кстати, к вопросам о цитированиях: почему у этой статьи их всего лишь 50? Она опубликована в ACL Anthology и выглядит очень полезной для инженеров, а такие статьи обычно цитируют намного активнее. Почему эта работа не так сильно полюбилась? 🥺).

У меня не осталось никаких сомнений в том, кто автор паблика https://xn--r1a.website/ebaresearch

Однажды, когда я была маленькой, у меня заболел молочный зуб. Но я не знала, как об этом сказать. Боль в зубе отличалась от тех видов боли, которые я знала до этого, поэтому я не догадалась, что это тоже называется словом "боль".

Я подошла к кому-то из взрослых и сказала "у меня чувства в зубе". Мне ответили "отстань". Но мне по-прежнему было больно. Поэтому я опять подошла и снова стала что-то мямлить. Взрослые, наконец, поняли, что к чему, сказали, что "он у тебя болит наверное потому что не чистила давно" и отправили чистить зубы зубной щеткой.
Но боль никуда не делась.
Так я поняла, что плоть слаба, и слабость моей плоти внушила мне отвращение.

Вечером пришла бабушка, и я сказала ей, что у меня "болит зуб". Бабушка приказала открыть рот.
Я открыла.
Бабушка сказала "Ээ, да он у тебя весь черный, да еще и шатается сильно. Вырвать его надо."
Я испугалась, но бабушка заверила меня, что будет совсем не больно, как комарик укусит.
После этого бабушка засунула руку мне в рот и резко выкрутила зуб из десны.
Я заплакала, убежала и спряталась под гору тряпок под смех взрослых, глотая кровь.

Под этой горой тряпок лежали книга "Что есть что: атомная энергия", фонарик и калькулятор.
Я сидела там очень-очень долго и читала эту книгу с фонариком до тех пор, пока у меня не выросли механодендриты, провода и трубки, такие же, как на картинках про ядерный реактор.

Так я стала техножрицей.

#о_себе

Старый добрый комикс, иллюстрирующий принцип "garbage in -> garbage out" в машинном обучении. ⬇️