Все о блокчейн/мозге/space/WEB 3.0 в России и мире
18.8K subscribers
2.03K photos
357 videos
123 files
6.78K links
Области интересов канала: блокчейн, мозг(BCI), space tech, цифровая экономика, WEB 3.0 в России и мире.

Основатель @AniAslanyan

English channel https://tttttt.me/alwebbci

Регистрация в перечне РКН https://knd.gov.ru/license?id=67374142772bb113f528001c&regis
Download Telegram
#ByteDance представили ИИ-модель #Doubao-1.5-pro, вот её характеристики и сравнение с DeepSeek-R1

Doubao-1.5-pro - закрытая ИИ-модель с акцентом на оптимальный баланс производительности и эффективности использования ресурсов.

1. Архитектурные характеристики :
- Использует разреженную MoE (Mixture of Experts) архитектуру
- Достигает 7-кратного увеличения эффективности параметров по сравнению с плотными моделями
- Требует значительно меньше активных параметров при сохранении высокой производительности
- Превосходит показатели Llama3.1-405B при меньших вычислительных затратах

2. Мультимодальные возможности:
- Встроенная поддержка обработки изображений и речи
- Оригинальная система динамического разрешения для работы с изображениями
- Улучшенное понимание визуального контекста
- Интеграция речевых возможностей на уровне архитектуры

3. Производительность:
- На MMLU: 88.6%
- GPQA: 65.0%
- Показывает сильные результаты в задачах рассуждения (BBH: 91.6)

Сравнение с DeepSeek-R1.
Ключевые различия в подходах:

1. Doubao-1.5-pro фокусируется на эффективности и мультимодальности, стремясь достичь максимальной производительности при минимальных ресурсах.

2. DeepSeek-R1 делает акцент на улучшении способностей к рассуждению через масштабное обучение с подкреплением.

Практические выводы:

- Doubao-1.5-pro может быть предпочтительнее для задач, требующих эффективного использования ресурсов и мультимодальных возможностей.

- #DeepSeek-R1 лучше подходит для сложных задач рассуждения и может быть легче интегрирован благодаря открытому исходному коду

Обе модели представляют собой значительный шаг вперёд в развитии языковых моделей, но с разными приоритетами в своей архитектуре и оптимизации.