🌟 Xiaomi открыла модель для табличных данных

Xiaomi-TabLDM решает задачи классификации и регрессии на таблицах и её не нужно обучать под конкретную задачу. Модель берёт размеченные строки датасета как контекст и за один проход предсказывает значения для новых строк.

Классификатор и регрессор выпущены отдельными чекпоинтами. У классификатора 70 млн параметров, из них активны 61 млн, у регрессора – 71 и 62 млн. При предсказании модель объединяет результаты нескольких прогонов с перемешанными признаками и разной предобработкой, по умолчанию восьми.

Напрямую модель различает до 10 классов, а метки задач с большим числом классов перекодирует в несколько разрядов, каждый не больше чем на 10 значений.

Для повторных запросов к тем же данным есть KV-кэш, для крупных таблиц – выгрузка на CPU и диск.

Xiaomi рассчитывали на таблицы от сотен до десятков тысяч строк и от нескольких до сотни с лишним столбцов. Время инференса растёт квадратично и с числом строк, и с числом столбцов.

🟡Архитектура

Трёхступенчатый трансформер. Сначала столбцы группируются тройками по двум схемам циклических сдвигов, и каждый кодируется Set Transformer через 128 индуцирующих точек вместо внимания по всем строкам.

Затем четыре CLS-токена собирают эмбеддинги столбцов в вектор строки.

Последняя ступень – 24 блока обучения в контексте, где тестовые строки смотрят только на обучающие.

На второй и третьей ступенях вместо обычных остаточных связей работает слой с обучаемыми весами, который выбирает, какие ранние представления брать.

В последних 8 блоках полносвязный слой заменён смесью экспертов - из двух маршрутизируемых активен один, плюс общий эксперт.

🟡Тесты

На регрессионной части TabArena из 13 сетов модель набрала 1900 очков Elo и заняла второе место после TabFM с 2019 очками. Следом идут EXAONE-Tabular с 1885 и TabPFN-3 с 1800.

На полном TabArena из 51 датасета модель четвёртая с 1659 очками, почти вровень с AutoGluon 1.5 (1662) и TabPFN-3 (1650).

Этап fit у неё на 82% быстрее, чем у TabFM, предсказание – на 68%.


📌Лицензирование: Apache 2.0 License


🟡Веса
🟡Arxiv
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #TLDM #Classification #TabLDM #Xiaomi