⚡ Speculative Cascades — как ускорить работу LLM

Google Research придумали новый способ сделать большие языковые модели быстрее и дешевле.

Что это такое:
🔹 Каскады
Сначала отвечает маленькая модель. Если задача слишком сложная - подключается большая. Так экономятся ресурсы, но качество может прыгать.

🔹 Спекулятивная декодировка
Маленькая модель угадывает сразу несколько слов вперёд. Большая быстро проверяет данные и подтверждает. Скорость выше, но большая модель всё равно тратит много ресурсов.

🟢 Speculative Cascades
Это комбинация: маленькая модель иногда отвечает полностью сама, а иногда используется как ускоритель для большой. В итоге получаем меньше затрат, больше скорости и то же качество.

🔥Что показали тесты (тестили на Gemma, T5):
- быстрее, чем обычная спекулятивная декодировка
- дешевле и качественнее, чем каскады
- удобнее настраивать баланс «скорость ↔ качество»

При том же уровне качества, что и у спекулятивной декодировки, новый метод работает быстрее (генерирует больше токенов за один вызов большой модели).

А в задачах математических рассуждений получен явный апгрейд по скорости при сохранении или даже улучшении качества.

LLM всё чаще используются в поиске, чатах, ассистентах. Чтобы они реально были полезными, их нужно ускорять и удешевлять. *Speculative cascades* помогают это сделать без потери качества.

🔗 Подробнее: https://research.google/blog/speculative-cascades-a-hybrid-approach-for-smarter-faster-llm-inference/

@ai_machinelearning_big_data


#AI #LLM #Inference #SpeculativeDecoding #Cascades #GoogleResearch

🖥 HunyuanImage 2.1 теперь доступна в квантизованной версии!

Это text-image модель, которая может генерировать изображения в 2K.

Теперь модель можно запускать локально. Для этого необходимо минимум 24GB VRAM.

🟢Hugging Face: https://huggingface.co/tencent/HunyuanImage-2.1)
🟢Подробнее про модель: https://xn--r1a.website/machinelearning_interview/2161

@ai_machinelearning_big_data


#AI #HunyuanImage #StableDiffusion #ImageGeneration

📕 Свежий гайд от Anthropic: Writing effective tools for agents — with agents

Anthropic описывает, как правильно создавать инструменты (tools) для AI-агентов: так, чтобы они были максимально полезными, эффективными и надёжными. Особый акцент сделан на том, как использовать самих агентов для прототипирования, тестирования и оптимизации инструментов.

Как писать эффективные инструменты для агентов
- Делай быстрые прототипы и сразу проверяй, как агент с ними работает.
- Тестируй на реальных сценариях, а не на абстрактных примерах.
- Анализируй логи и поведение агента, чтобы находить ошибки и непонятные места.
- Избегай дублирования: один инструмент должен выполнять одну чёткую задачу.
- Используй понятные имена и структуры (`machinelearning_create_task`, `mla_list_users`).
- Возвращай только нужные данные, не перегружай ответ лишним. Добавляй фильтрацию и пагинацию.
- Пиши описания так, чтобы их понял даже человек, который не в теме: чётко, без двусмысленностей, с примерами входа и выхода.

Что это дает:
- Улучшает способность AI-агентов решать реальные задачи.
- Минимизирует ошибки: неверное использование инструментов, лишние токены, избыточные вызовы.
- Повышает надёжность и предсказуемость поведения агентов.
- Упрощает масштабирование — добавление новых инструментов и задач.

🟠 Полный гайд: https://www.anthropic.com/engineering/writing-tools-for-agents

@ai_machinelearning_big_data

#Anthropic #claude #aiagents #ai

🧠 mem-agent — агент с памятью в стиле Obsidian

Лёгкая LLM-модель, которая умеет хранить знания в человеко-читаемой памяти (Markdown-файлы) и использовать их для ответов. Агент не просто отвечает на запросы, а действительно «помнит» факты и обновляет их по ходу работы.

Это агент на 4B с локальной, совместимой памятью для Claude, ChatGPT и LM Studio.

Как работает память:
- Вся информация лежит в Markdown: memory/user.md и отдельные файлы для сущностей.
- Связи между файлами сделаны как в Obsidian: [[entity]].
- Агент может извлекать факты, обновлять их или задавать уточняющие вопросы, если запрос неполный.

Вместо огромных контекстов и упора в лимиты, Mem-Agent извлекает нужные фрагменты из локальных документов, сжимает их и передаёт агенту.

Как обучали:
- Базовая модель: Qwen3-4B-Thinking-2507.
- Использовали метод онлайн-RL (GSPO).
- Тестировали на md-memory-bench.

Результаты:
- mem-agent уверенно решает задачи памяти, близко к уровню больших моделей.
- Даже в сжатых версиях (4-bit и 8-bit) сохраняет почти то же качество.

Чем хорош:
- Память можно читать и редактировать вручную.
- Агент работает быстро и эффективно, даже в маленьком размере.
- Удобен как компонент в более крупных системах (например, через MCP).

🟠Model: https://huggingface.co/driaforall/mem-agent
🟠Blog: https://huggingface.co/blog/driaforall/mem-agent
🟠Repo: https://github.com/firstbatchxyz/mem-agent-mcp

@ai_machinelearning_big_data


#LLM #AI #Agents #MemAgent #Dria #MCP #LocalAI