Machinelearning

🖥 Технологическая платформа Авито открыла доступ к своим нейросетям — A-Vibe и A-Vision

Они дообучены на миллионах данных e-commerce, и предназначены для решения задач рынка. ИИ от Авито называют первыми российскими моделями с глубокой оптимизацией под электронную коммерцию и русский язык. A-Vibe занимает лидирующие позиции в различных популярных рейтингах не только по пониманию русского, но и по работе с кодом, решению сложных задач. Компания вложила в разработку моделей более полумиллиарда рублей.

Вместе с этими инструментами команда Авито выпустила переведенные на русский версии известных тестов для замера качества моделей. Ранее они были доступны только на английском.

Эксперты отмечают, что у отечественных компаний до сих пор не было открытых моделей, обученных специально на русском языке и под локальные сценарии электронной коммерции. Авито, по их мнению, — один из немногих игроков, который располагает достаточными объемами данных и вычислительными ресурсами, чтобы предложить рынку уже обученные и протестированные решения. Это снизит порог входа для стартапов и корпоративных разработчиков, которые смогут создавать продукты на базе готовых моделей, а не тратить ресурсы на адаптацию западных или азиатских систем.

Моделями можно воспользоваться бесплатно в любых целях — все данные и документация находятся на Hugging Face.

@ai_machinelearning_big_data

#news #ai #ml

👍57❤15😁7🥰4👾3🔥2

28.9K views15:02

Machinelearning

🧠

Thinking Machines представила - On-Policy Distillation

Исследователи из Thinking Machines Lab предложили метод, который может изменить то, как обучаются языковые модели. Он называется on-policy distillation - и учит ИИ не просто копировать, а думать и анализировать свои ошибки.

Обычно «дистилляция» работает просто: большая модель-учитель показывает ответы, а маленькая модель-ученик запоминает их. Это похоже на заучивание по шпаргалке - быстро, но без понимания сути.

В новом подходе всё иначе. Ученик сам решает задачи, а учитель оценивает и направляет - объясняет, где логика сбоит и как улучшить рассуждение. Таким образом, меньшая модель перенимает не только знания, но и способ мышления более крупной модели.

Что показали результаты

Эксперименты проводились на задачах математического и логического рассуждения, где важно не просто выдать правильный ответ, а выстроить цепочку шагов.

Результаты впечатляют:

Модель-ученик после обучения с on-policy distillation показала почти ту же точность, что и гораздо более крупная модель-учитель.

При этом вычислительные затраты снизились в несколько раз, делая модель заметно эффективнее и дешевле.

Кроме того, ученик стал лучше понимать собственные ошибки, что повысило устойчивость и надёжность при решении новых, незнакомых задач.

Почему это важно
On-policy distillation решает ключевую проблему традиционных методов - отсутствие адаптивности.
Модель теперь учится на собственных шагах, как человек, — экспериментирует, ошибается, корректирует поведение и растёт.

Уникальность подхода - в балансе между качеством RL и экономичностью KD. Это реальная схема, где маленькая модель учится “в поле” (реагируя на собственные действия), но без дорогих RL-запусков и сложных reward-моделей.

Это не новый метод обучения, а новая инженерная формула, которая позволяет дешевле «учить» компактные модели, ведущие себя как большие.

Это открывает путь к созданию компактных LLM нового поколения, которые рассуждают почти как топовые модели, но стоят в разы дешевле.

Такие модели можно запускать на edge-устройствах, в автономных агентах и локальных сервисах, где важны скорость, приватность и энергоэффективность.

🟠

Подробнее: thinkingmachines.ai/blog/on-policy-distillation/

@ai_machinelearning_big_data

#ThinkingMachines #llm #ml

Please open Telegram to view this post