🌟 InternLM2.5-20B-chat и InternLM2.5-1.8B-chat: Расширение семейства языковых моделей InternLM 2.5.

InternLM2.5-20B-chat - базовая модель с 20 миллиардами параметров ориентированная на чат-взаимодействие. Модель обладает математическими возможностями, поддерживает сбор информации с веб-страниц и получила улучшенный навык следования инструкциям.
Модель может быть развернута с помощью Transformers, vLLM и LMDeploy.

Доступна также версии GGUF для запуска в llama.cpp, LMStudio и Ollama с половинной точностью FP16 (39.7GB) и в малоразрядных квантованных вариациях c шагом в 1 bit : от 2-bit (7.55 GB) до 8-bit (21 GB).


InternLM2.5-1.8B-chat - модель с 1.8 миллиардами параметров и точно такой же направленности и возможностями, как и 20B-chat версия.

Для InternLM2.5-1.8B-chat тоже доступны GGUF версии с разрядностью от FP16 (3.78 GB) до до 2-bit (772 Mb), с шагом в 1 bit.


📌Лицензирование :

🟠InternLM2.5-20B-chat: бесплатно. Коммерческое применение требует подачи заявки через форму.
🟢InternLM2.5-1.8B-chat: Apache 2.0 License


🟡Страница проекта
🟡Набор моделей на HF
🟡Сообщество в Discord
🖥Github [ Stars: 6.1K | Issues: 7 | Forks: 431]


@ai_machinelearning_big_data

#AI #LLM #ML #InternLM

🌟 Llama-3.1-Storm-8B: Файнтюн и мердж Llama 3.1+Llama Saprk от победителей NeurIPS LLM Efficiency Challenge 2023.

Llama-3.1-Storm-8B - инструктивная модель, сочетающая в себе баланс размера и производительности, ориентированная на использование в приложениях и сервисах, генерацию текста, вызов функций и чат-ботов.

Модель обучалась на 1 миллионе высококачественных образцах из большого датасета (2.8M), отобранных вручную. Образцы оценивались на основе образовательной ценности и уровня сложности, чтобы модель могла получить релевантные и сложные данные в качестве тренировочной базы.

Полученный набор данных использовался для контролируемого файнтюна базовой Llama-3.1-8B-Instruct c применением методологии SPECTRUM. В завершении, полученная модель была объединена с моделью Llama-Spark методом сферической линейной интерполяции SLERP.

🟠Llama-3.1-Storm-8B : базовая модель;
🟠Llama-3.1-Storm-8B-FP8-Dynamic : оптимизированная версия с динамическим квантованием с более низкими требованиями к VRAM (на 50%);
🟢Llama-3.1-Storm-8B-GGUF : квантованные версии с разрядностью от 4-bit (5 Gb) до 8-bit (8.5 Gb) для использования с llama.cpp и ollama (поддержка есть в последнем обновлении).

Локальный запуск Llama-3.1-Storm-8B поддерживается в Transformers, vLLM и LitGPT.

▶️Формат промпта для Function Calling:

You are a function calling AI model. 
You may call one or more functions to assist with the user query. 
Don't make assumptions about what values to plug into function. 
The user may use the terms function calling or tool use interchangeably.

Here are the available functions:
<tools>LIST_OF_TOOLS</tools>

For each function call return a json object with function name and arguments within <tool_call></tool_call> XML tags in the format:
<tool_call>{"tool_name": <function-name>, "tool_arguments": <args-dict>}</tool_call>

⚡️Лицензирование : Llama 3.1 Community License


▪Demo
▪Набор моделей
▪Google Collab (инференс)


@ai_machinelearning_big_data

#AI #Llama #LLM #ML

⚡️ Liger Kernel: Эффективные ядра Triton для обучения LLM

Liger (Linkedin GPU Efficient Runtime) Kernel — набор оптимизированных ядер Triton, применение которых в задачах обучения LLM на нескольких GPU повышает производительность на 20 % и снижает потребление VRAM на 60%. Это дает возможность использовать более длинные контексты, более крупные размеры пакетов и увеличенные словари в обучении.

Liger предоставляет простой API для операций с оптимизированными ядрами и совместим с Hugging Face: RMSNorm, RoPE, SwiGLU, CrossEntropy, FusedLinearCrossEntropy

Liger работает с Flash Attention, PyTorch FSDP и Microsoft DeepSpeed без необходимости дополнительной настройки.

Зависимости:

🟢PyTorch: 2.1.2 или выше.
🟢Triton: 2.3.0 или выше
🟢Transformers: 4.40.1 или выше.

Liger Kernel доступен в pip. Выберите стабильную версию для продакшена или nightly c последними новыми функциями и исправлениями:

# Stable version
pip install liger-kernel

# Nightly version
pip install liger-kernel-nightly

Патч существующей модели с Hugging Face:

# Import modules
import transformers
from liger_kernel.transformers import apply_liger_kernel_to_llama

# Load Hugging Face model:
model = transformers.AutoModelForCausalLM.from_pretrained("<some llama model>")

# Apply Liger Kernel patches:
apply_liger_kernel_to_llama(model)

После установки патча, модель будет использовать операции ядра Liger для поддерживаемых слоев, что приведет к повышению производительности и снижению потребления VRAM.

Если вы хотите построить собственные модели с помощью Liger Kernel, вы можете импортировать отдельные модули ядра и использовать их в качестве строительных блоков. Например:

# Import the Liger Kernel module:
from liger_kernel.transformers import LigerFusedLinearCrossEntropyLoss

#Create your model:
import torch.nn as nn
import torch
model = nn.Linear(128, 256).cuda()
loss_fn = LigerFusedLinearCrossEntropyLoss()

#Use the model:
input = torch.randn(4, 128, requires_grad=True, device="cuda")
target = torch.randint(256, (4, ), device="cuda")
loss = loss_fn(model.weight, input, target)
loss.backward()

Модель пропатчена, вы можете продолжить обучение как обычно. Liger Kernel будет автоматически выполнять оптимизированные операции во время обучения.


📌Лицензирование: BSD 2-CLAUSE LICENSE (as is и необходимо указывать авторство при копировании и модификации).


🖥Github [ Stars: 767 | Issues: 14 | Forks: 35 ]

Нарезка митапа Яндекса ML-Party, которая прошла 17 октября 2024 года в Белграде. Вырезаны перерывы и длинные панчи ведущего в начале и в конце.

▶️ Всего было 4 доклада:

🟡Илья Ирхин, руководитель подразделения аналитики в Яндекс Еде. Подробно рассказал про рекламу ресторанов в сервисе: аукцион, ранжирование, ценообразование.

🟡Дмитрий Солодуха, руководитель группы в Алисе и Умных устройствах Яндекса.
Показал, как Яндекс учил Алису откликаться без имени.

🟡Антон Клочков, руководитель подгруппы распознавания текста в VLM в Яндекс Поиске.
Рассказал о развитии навыков распознавания текста в VLM.

🟡Пётр Вытовтов, руководитель группы в Яндекс Погоде.
Показал трансформеры сервиса и рассказал, как прогнозировать до миллиметра осадков.

@dataanlitics