Хотим поделиться ещё одним проектом от наших студентов, который рассматривает важную проблему в области ИИ 🔎

StructMemEval — проект команды студентов ШАДа Александры Олениной и Ивана Виноградова под руководством менторов из Yandex Research и команды Алисы.

Современные LLM-агенты всё чаще полагаются на долговременную память, но существующие бенчмарки проверяют лишь фактологическую точность, что быстро решается простым поиском.

Ребята пошли дальше и создали бенчмарк, который оценивает способность модели структурировать знания: вести учёт транзакций, строить деревья родства и отслеживать состояния. Оказалось, что даже мощные модели не всегда догадываются, как организовать память, но с дополнительной подсказкой модели результаты значительно улучшаются. 

Этот проект не только выявляет слабые места современных агентов, но и задаёт направление для разработки более умных и надёжных систем.

Подробнее читайте в статье и на GitHub.

Ваш ШАД 🎓

#проектныйкурс

Кажется, что после получения диплома история с ШАДом должна закончиться, но для многих она продолжается.

Почему так происходит?

⚪️ Потому что здесь остаются те, с кем можно обсудить новые идеи и сложные задачи

⚪️ Потому что обучение не заканчивается, и ШАД помогает оставаться в среде, где всегда можно узнать что-то новое

⚪️ Потому что здесь формируются крепкие профессиональные связи, которые сохраняются на долгие годы

Именно поэтому выпускники продолжают участвовать в жизни ШАДа:
🔵проводят занятия
🔵становятся менторами
🔵помогают абитуриентам
🔵проверяют экзамены и домашние задания
🔵участвуют в мероприятиях и делятся своей экспертизой

В этом и есть одна из особенностей ШАДа: это не место, из которого уходят после получения диплома, а сообщество, частью которого продолжают оставаться 💙

Ваш ШАД 🎓