🌟 Palmyra-Med и Palmyra-Fin: специализированные модели с 70B параметров.

Writer представил две специализированные языковые модели:

🟢Palmyra-Med-70B-32K

🟠Palmyra-Fin-70B-32K

Palmyra-Med-70B-32K — LLM, специально разработанная для сектора здравоохранения, достигающая в тестах по Clinical KG, Medical Genetics и PubMedQA среднего балла 85,87% по биомедицинским показателям, что выше чем у GPT-4 и Med-PaLM-2.
Модель предназначена для некоммерческих и исследовательских целей на английском языке: для поддержки принятия клинических решений, фармнадзора и медицинских исследований.

*️⃣Авторы не рекомендуют применение модели для непосредственного ухода за пациентами или принятия клинических решений без человеческого контроля.

Palmyra-Fin-70B-32K предназначена для финансовой отрасли, решения различных финансовых задач и аналитических выводов.
Модель предназначена для финансового анализа и исследований на английском языке: прогнозирование рыночных тенденций, оценка рисков, составление финансовых отчетов с высокой точностью и для ответов на сложные вопросы из длинных финансовых документов.

*️⃣Подобно Palmyra-Med, авторы не рекомендуют использовать модель как единственный источник информации при принятии финансовых решений, а обратиться за профессиональной финансовой консультацией.

Обе модели доступны для локального инференса через Transformers, по API в сервисах Writer, напрямую в endpoints или используя Python SDK и NodeJS SDK Writers
Стоимость API за 1М токенов:  Input - $5.00, Output - $12.00

⚠️ Все модели, созданные Writer.com, содержат водяные знаки для обнаружения и предотвращения неправомерного и незаконного использования.


📌Лицензирование : Writer open model



🟡Страница проекта
🟡Набор моделей на HF
🟡Dev-документация


@ai_machinelearning_big_data

#AI #LLM #ML #Writer

📌 Writer исследовали природу сикофантии в ИИ

Подразделение AI Research компании WRITER, разработчика корпоративных ИИ-систем, опубликовало 2 работы, посвящённые исследованию склонности языковых моделей соглашаться с пользователем, даже когда тот неправ.

Спойлер: к такому поведению приводит персонализация

🟡Первая работа посвящена финансовым задачам

Авторы протестировали 8 актуальных моделей на двух наборах данных, искусственно добавляя в запрос ложные предпочтения, которые противоречили верному ответу.

Оказалось, что способ внедрения влияет на результат. При прямой вставке в запрос точность падает сильнее, но модель чаще отмечает противоречие, а когда те же данные подаются через инструмент памяти, точность снижается меньше, но модели почти перестают сигнализировать о конфликте и выдают неверные ответы без предупреждения.

Крупные модели, кстати, чаще ошибаются, всё же фиксируя противоречие, тогда как мелкие - просто умалчивают о диссонансе.

🟡 Вторая работа про комбинацию LLM и систем памяти

Для проверки построили тест MIST и оценили 5 моделей в связке с 3 коммерческими системами памяти (Mem0, MemOS и Zep).

По итогу - каждая модель как минимум утроила частоту согласия с ошибкой хотя бы при одной конфигурации памяти. Из этого авторы делают вывод, что проблема связана со слоем памяти, а не с моделью.

🟡Причину видят в механике извлечения данных

Системы памяти сохраняют утверждение пользователя как отдельный факт, отбрасывая контекст вокруг него, в том числе прежние возражения ассистента.

По замерам, замена извлечённых фрагментов на полную историю переписки примерно вдвое уменьшает эффект.

Авторы предлагают 2 способа смягчения:

🟢Первый - сохранять в памяти и реплики самого ассистента.

🟢Второй, наиболее действенный, - заменить извлечение отдельных фрагментов кратким пересказом разговора, который генерирует сама модель.

Результаты исследования ставят вопрос о том, что в принципе дают сложные системы памяти, если они так влияют на точность ответов.


@ai_machinelearning_big_data

#AI #ML #LLM #Memory #Research #WRITER