🌟 LimiX-2: базовая модель для табличных данных

Stable AI выложила веса LimiX-2, второго поколения своей линейки моделей для структурированных данных. До этого были LimiX-16M и облегчённая LimiX-2M.

Разработчик - китайская компания, основанная в 2024 году командой профессора Цуй Пэна с факультета информатики Университета Цинхуа.

LimiX у компании единственный продукт, его продают промышленности, медицине и финансам. Модель проверяли более чем в двадцати отраслях и сотне сценариев.

Модель на 400 млн параметров закрывает классификацию, регрессию и заполнение пропусков за один прямой проход. На вход подаётся таблица с известными ответами и строки, для которых ответ нужен, и модель отвечает, опираясь на поданные примеры.

На выходе - вероятности классов, предсказания в исходной шкале цели либо восстановленная матрица признаков.

LimiX-2 построена по уникальной парадигме Contextual Mechanism Network. Обучение в контексте здесь перестроено - вместо предсказания одной целевой колонки по остальным модель оценивает совместное распределение всех признаков и цели, то есть описывает механизм, породивший таблицу целиком.

Отсюда второе её свойство: внимание по признакам фиксирует, какие столбцы напрямую влияют друг на друга, и по этим весам восстанавливается скелет причинного графа - набор связей без указания направлений.

🟡Бенчмарки

LimiX-2 шла в базовой конфигурации. Elo здесь - рейтинг по парным сравнениям на наборах теста, где случайный лес принят за 1000.

TabArena: Elo 1935 против 1818 у TabFM+. На подмножестве классификации (38 наборов) доля побед 94,5%, на регрессии (13 наборов) - 96,9%.

TALENT: Elo 1506 против 1471 у TabFM, 1438 у AutoGluon 1.6 и 1094 у CatBoost.

BCCO (собственный бенч Stable AI): Elo 1432 против 1376 у AutoGluon 1.6, 1230 у прошлой LimiX-16M и 1140 у CatBoost.


📌Лицензирование: исследования, обучение, замеры и некоммерческие соревнования - бесплатно, всё остальное - только по отдельному договору со Stable AI.


🟡Страница проекта
🟡Веса
🟡Arxiv
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #LDM #StructuredData #LimiX #StableAi