Forwarded from Mashkka про Data Science
📏Mera MULTI📏
Большой день для большого релиза!
Встречаем новую мультимодальную версию бенчмарка - MERA Multi.
В мультимодальной версии бенчмарка представлено 18 новых задач, разработанных по методологии основного бенчмарка, которые охватывают визуальное восприятие, аудиопонимание и анализ видео.
📏 MERA Multi это:
✔️Таксономия мультимодальных навыков.
✔️Обновленная универсальная система промптов.
✔️18 новых мультимодальных задач в инструктивном формате для видео, картинок и аудио.
✔️Публичные и приватные датасеты, созданные с нуля для русского языка.
✔️Открытая платформа со сквозной системой подсчёта баллов.
✔️Открытая кодовая база для оценки и тестирования.
✔️Лидерборд, охватывающий как открытые открытые модели, так и проприетарные.
📏Mera Multi
👀Habr
💻GitHub
📚Статья
@mashkka_ds
#llm #mera #ai #genai
Большой день для большого релиза!
Встречаем новую мультимодальную версию бенчмарка - MERA Multi.
В мультимодальной версии бенчмарка представлено 18 новых задач, разработанных по методологии основного бенчмарка, которые охватывают визуальное восприятие, аудиопонимание и анализ видео.
📏 MERA Multi это:
✔️Таксономия мультимодальных навыков.
✔️Обновленная универсальная система промптов.
✔️18 новых мультимодальных задач в инструктивном формате для видео, картинок и аудио.
✔️Публичные и приватные датасеты, созданные с нуля для русского языка.
✔️Открытая платформа со сквозной системой подсчёта баллов.
✔️Открытая кодовая база для оценки и тестирования.
✔️Лидерборд, охватывающий как открытые открытые модели, так и проприетарные.
📏Mera Multi
👀Habr
💻GitHub
📚Статья
@mashkka_ds
#llm #mera #ai #genai