🎉 Нашу статью приняли на EMNLP 2025 в Main Track.

💪 Выводим распознавание жестовых языков на новый качественный уровень. В статье достигаем state-of-the-art 🌿 на жестовых языках разных стран, включая в первую очередь русский жестовый язык (РЖЯ). Показываем, что качественный претрейн и предобработка — залог успеха.

Спасибо авторам: @your_petros @ilyaovodov @nagadit @hukenovs @karinakvanchiani

📝 Жестовый язык: похожее в непохожем и наоборот
📖 Logos as a Well-Tempered Pre-train for Sign Language Recognition

До встречи на конференции!
#research #rsl #emnlp

🤔 Знаете ли вы, что под названием «русский жестовый язык» на самом деле скрываются два разных языка?

В современной практике в России используются две жестовые системы:

✔️ Русский жестовый язык (РЖЯ) — это естественный и самостоятельный язык, сегодняшний вид которого начал зарождаться в начале в XIX века с появлением школ для глухих (1806г). Язык непрерывно развивался в глухом сообществе России и стран бывшего СССР. У РЖЯ — свои грамматика и лексика, отличные от русского языка, используются четыре мануальных компонента, а также мимика и артикуляция. Это родной язык глухих и слабослышащих людей.

✔️ Калькирующая жестовая речь (КЖР) — это искусственный язык, разработанный слышащими людьми для применения в образовательной и переводческой практике. КЖР использует жесты из РЖЯ, но сохраняет лексику и грамматику русского языка. Чаще всего используется для переводов на жесты с устного языка (новостных, официальных, религиозных).

👉 Например, одна и та же фраза на КЖР будет показана жестами как «ВАСЯ БУДЕТ УЖИНАТЬ В ГОСТИНАЯ» (как в устной речи), а на РЖЯ — как «ВАСЯ МЕСТО ГОСТИНАЯ УЖИНАТЬ БУДЕТ». Из-за этого глухие носители РЖЯ порой с трудом понимают КЖР. Это примерно как попытаться говорить по-китайски, заменив все слова на русские, но сохранив китайский порядок слов и грамматику.

📚 Это создаёт определённые трудности при разработке системы распознавания жестового языка, над которой мы работаем, — ведь она должна уметь распознавать и РЖЯ, и КЖР, а иногда и их смесь. Но, как известно, "тот, кто нам мешает — тот нам поможет!"

📅 Как и почему существование в России двух вариантов жестового языка помогает их распознаванию, а также о других идеях, которые мы применяем, и о достигнутых результатах мы расскажем в докладе «Что мы поняли без слов. Распознавание непрерывного жестового языка» на конференции AI R&D Day, 24 сентября.

Регистрируйтесь по ссылке. Участие возможно оффлайн или онлайн.

До встречи! 👋

А вы знали, что сегодня Международный день жестовых языков?

Мы в Сбере помним об этом круглый год! Например, обучаем нейросети понимать язык жестов, чтобы общаться с ними можно было не только с помощью текста и речи.

Заслуга учёных Сбера — один из самых больших в мире датасетов изолированного русского жестового языка Logos, содержащий более 200 тысяч видеофрагментов.

Уже в ноябре команда исследователей поделится опытом с мировым сообществом на международной конференции EMNLP 2025 в Китае.

🤩 — поздравляем с праздником!