🌟 LOGOS: универсальная модель для естественных наук

Alibaba Group выложила в открытый доступ код и веса модели LOGOS для нужд химиков, биологов и разработчиков лекарств.

Это первая модель, которая в рамках единой архитектуры объединяет работу с белками, антителами, малыми молекулами, химическими реакциями и материалами.

LOGOS умеет предлагать молекулы-лиганды, способные связываться с заданным белком, находить на белке участки связывания, предсказывать, из каких исходных веществ можно собрать нужное соединение, генерировать новые материалы, дорабатывать белки под нужные свойства и проектировать антитела.

Главная идея проекта в том, чтобы одна модель справлялась со всеми этими задачами сразу, тогда как обычно под каждую делают отдельную узкоспециализированную программу.

Чтобы это стало возможным, разные объекты и их взаимодействия (белки, молекулы, реакции, материалы) были закодированы в общее дискретное пространство токенов.

LOGOS согласовывает предсказание следующего токена во время обучения с целями генерации в последующих задачах.

Этот метод назвали "научной грамматикой", он дал подлинную интероперабельность и синергию знаний между модальностями.

Корпус обучения составил 44 млрд токенов из 7 типов научных данных.

🟡 Тесты

🟢LOGOS-1B превзошла модель NatureLM (8×7B) в задаче генерации молекул;

🟢LOGOS-8B в генерации металл-органических каркасов обошла профильные решения по всем метрикам, а в проектировании участков антител заняла 1 место по точности восстановления аминокислот.

🟡В релизе 4 модели

🟠Три базовые претрейн-версии на 1, 3 и 8 млрд параметров;

🟠LOGOS-8B - версия после SFT под прикладные задачи.


📌Лицензирование: Apache 2.0 License


🟡Arxiv
🟡Набор моделей
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #LSLM #LOGOS #TongyiLab