Они реализовали веса модели прямо в железе

Челики взяли llama 3.1 8B и сделали чип где намертво запаяны веса. В итоге карта выдает какие-то дикие ~17000 токенов в СЕКУНДУ

Я ещё помню процессоры без математического сопроцессора.

Представьте как у нас в компе будет железная модель. Да, одна. Да нельзя обновить. Примерно как с процессором в ноутбуке.

Покупаешь новый ноут - там модель лучше.

https://taalas.com/the-path-to-ubiquitous-ai/

#prog #rust #rustasync #article

Async/await on the GPU

#prog #article

Compendium: A Linux Syscall Tracer

Having a love-hate relationship with strace I ended up yearning for something new.

Enter Compendium: a friendlier strace-like tool, with sane defaults, that optionally produces a clean html report that you can view in your browser of choice.

It tracks file descriptors across their lifetime, distinguishes files from sockets, aggregates I/O stats, registers events for memory operations (both vm and actual page faults), threads/subprocesses and more in real time and produces a summary at the end.

Половина одобренного бенчмарками ИИ-кода не прошла ручного код-ревью
https://devby.io/news/polovina-odobrennogo-benchmarkami-ii-koda-ne-proshla-ruchnogo-kod-revu

В AlmaLinux появилась поддержка архитектуры RISC-V https://www.opennet.ru/65036/

#prog #rust #article

symbolic derivatives and the rust rewrite of RE#

Растовая версия очень быстрого движка для регулярных выражений, который поддерживает, помимо прочего, коньюкцию (пересечение результатов подвыражений), отрицание и lookahead и при этом работает за линейное от входных данных время. По производительности на выражениях с большим количеством состояний обгоняет regex, особенно для поиска без учёта регистра.

Теория, поддерживающая этот движок — это развитие идей Brzozowski, но вместо того, чтобы считать производную от регулярного выражения для разных символов и потом объединять их по классам эквивалентности, новый подход считает т. н. символическую производную — производную для всех возможных входных символов сразу.

Из-за того, что данный подход поддерживает коньюкцию, движок может работать на байтах и при этом поддерживать UTF-8 просто за счёт добавления правила, которое ограничивает вход до валидных UTF-8 последовательностей:

// \p{utf8} expands to:
// ([\x00-\x7F]
// | [\xC0-\xDF][\x80-\xBF]
// | [\xE0-\xEF][\x80-\xBF]{2}
// | [\xF0-\xF7][\x80-\xBF]{3})*

Пример кода:

use resharp::Regex;

// basic matching
let re = Regex::new(r"hello.*world").unwrap();
assert!(re.is_match("hello beautiful world"));

// intersection: contains both "cat" and "dog", 5-15 chars
let re = Regex::new(r"_*cat_*&_*dog_*&_{5,15}").unwrap();

// complement: does not contain "1"
let re = Regex::new(r"~(_*1_*)").unwrap();

Выпуск браузерного движка Servo 0.1.0, который теперь доступен в форме crate-пакета

Опубликован выпуск браузерного движка Servo 0.1.0 и развиваемого вместе с ним демонстрационного браузера ServoShell, написанных на языке Rust. Готовые сборки сформированы для  Linux, Android, macOS и Windows.  Помимо отдельных сборок Servo теперь поставляется и в форме crate-пакета, позволяющего использовать движок в форме библиотеки.

Подробнее:
https://opennet.ru/65197/
https://opennet.me/65197/

https://github.github.com/gh-stack/

Джва года ждал