DFlash2 Qwen3.8-27b: 36.77 t/s / 100k ctx -> 52.15 t/s / 95k ctx
+40% скорости за 5% контекста

Еще интересный подход - взять драфтер токенов не из самого чекпоинта, а DFlash2 отсюда -
Qwen3.8-27B-DFlash2-GGUF

Для этого придется собрать llama.cpp:

git clone https://github.com/ggml-org/llama.cpp.git
cd llama.cpp
git fetch origin pull/27342/head:pr-27342
git switch pr-27342

# NVIDIA CUDA
cmake -B build -DCMAKE_BUILD_TYPE=Release -DGGML_CUDA=ON
cmake --build build -j

# Apple Silicon
cmake -B build -DCMAKE_BUILD_TYPE=Release -DGGML_METAL=ON
cmake --build build -j

Зато потом получаем вместо 36.77 t/s / 100k ctx -> 52.15 t/s / 95k ctx
+40% скорости за 5% контекста

llama-server.exe -m "Qwen3.8-27B-UD-Q3_K_XL.gguf" -md "Qwen3.8-27B-DFlash2-Q4_K_M.gguf" --alias qwen38 --port 8080 --ctx-size 95536 -ngl 99 -ngld 99 -fa on --cache-type-k q4_0 --cache-type-v q4_0 --jinja --reasoning-effort medium --no-context-shift --cache-reuse 256 --spec-type draft-dflash --spec-draft-n-max 3 -b 2048 -ub 512 --temp 1.0 --top-p 0.95 --top-k 20 --min-p 0.0 --tools all --parallel 1

Полгода работы прошли не зря!
У нас (Keenable) публичный запуск.

Новый сайт: https://keenable.ai/
Новый бенч: https://keenableai.github.io/needle/
Твит: https://x.com/styskin/status/2092265673041084505

Пост про бенч будет на неделе. Ещё будет одна прикольная штука, которая называется Web Query Language.

Huggingface у нас дома (в Поднебесной) - modelscope тизерит новый qwen3.8-next-flash.
На хф анонс тоже есть, но детали с китайского они перевести поленились 🫠

Судя по всему это будет мультимодальный МоЕ на архитектуре qwen4.

Возможно, 125b A6b + 51b ngram embedding - возможно будет нативная поддержа видео.

Хотя ее заявляют как тизер новой архитектуры, так что может будет и что-то мелкое на 9-13-27б.

X
Hf
git

Не успел выйти Qwen3.8-flash-next,
Unsloth уже грузит кванты :D
(upload in progress)

https://huggingface.co/unsloth/Qwen3.8-Flash-Next-GGUF

Там исследователи из MIT выкатили свежий препринт. И препринт этот на мою любимую тему — симуляции для нейроночек.

Идея была такая: взять кучу изначально одинаковых LLM-агентов, засунуть их в общий виртуальный мир и проверить, смогут ли они сами организоваться и начать коллективно изобретать технологии, если не выдавать им готовые роли и не указывать конкретно кто чем должен заниматься.

Специально для этого запилили SwarmWorld, песочницу, где до 200 агентов ходят по карте, добывают и перерабатывают ресурсы, экспериментируют с материалами, строят всякие штуковины и даже могут писать код для автоматизации этих штуковин. Причём всё понастроенное одним агентом остаётся в мире и может быть найдено и улучшено другими агентами.

Главная фича: этому симулятору пофиг на на фантазии и галлюцинации модели: если скрипт кривой или не хватает ресурсов, ничего работать не будет.

Самое интересное, что устроили нейронки:

— Спонтанное разделение труда: без внешних указаний роботы сами разбились на группы. Одни всю жизнь бродили по карте разведчиками, а другие превратились в оседлых инженеров (сидели на базах и крафтили всякие нужные для выживания ништяки).

— От чата нет почти никакого толка: 95% культурного обмена происходило не через разговоры, а по принципу "шарился по миру, увидел чужую работающую установку/постройку, разобрался в устройстве и нагло спиздил форкнул код". Как на гитхабе.

— Наследование: скрипты передавались агентами из рук в руки, постепенно обрастая правками.


Итого мораль: чтобы у нейронок появилась какая-никакая цивилизация, им похоже, даже не нужно много разговаривать между собой. Достаточно общего мира, где каждый может оставить после себя что-нибудь полезное для следующего кремниевого болванчика.

Прошел всего день после релиза microduck, а их уже учат брейкдансить.

Так как доставку по предзаказу уже придется ждать полгода (за первые сутки заказали 10000+ шт), народ развлекается, благо что для тренировки живой робот не нужен.

Для тех кто проспал релиз: microduck - робот с дистанционным управлением от pollen robotics (купленных huggingface, которым уже купила Nvidia)

Всего за 400 баксов, при условии что одни только сервоприводы в рознице стоят 600+

Умеет ходит, ездить на роликах, а также выполнять другие политики (читай скрипты\
команды), которые можно тренить самим. Народ уже запилил стояние на голове, перекаты, брейкданс, диско, вставание после пинка бати 😁 осталось добавить поднос стакана воды и можно жить в свое удовольствие.

Утка

клод, когда ты закинул ему его очередной кусок кода на ревью

Уровень драмы в опенсорс комьюнити вызывает уважение

Персональные санкции у нас дома би лайк

what a time to be alive :D

качаем пока не прилетел страйк от нвидии

reddit

китайцы продолжают быть причиной тряски для американцев

ночью дропнули Qwen 3.8
2.4t, 1m ctx, API only.

$2 input, $6 output.

tweet