275K subscribers
5.68K photos
1.35K videos
17 files
6.05K links
Погружаемся в машинное обучение и Data Science

Показываем как запускать любые LLm на пальцах.

По всем вопросам - @haarrp

@itchannels_telegram -🔥best channels

Реестр РКН: clck.ru/3Fmqri
Download Telegram
🐋 DeepSeek V4.1-Flash-1017: метрики выше, ответы короче, Search и Fetch API открыты всем

DeepSeek обновили Flash-версию V4.1. Модель сильнее прошлой, быстрее решает задачи и выдаёт более короткие ответы, то есть выходит дешевле. Доступна на сайте, в приложении и по API, веса открыты.

На DeepSWE v1.1 модель набирает 77.0 против 74.0 у Claude Opus 5 и 73.0 у GPT 5.6-Sol. На Automation-Bench 60.5 против 50.3 у Opus 5, на Agents' Last Exam 35.4 против 28.6. К прошлой Flash прирост большой: Terminal-Bench 4.0 вырос с 31.2 до 42.3, ProgramBench с 20.3 до 29.1.

На HLE (56.3), Terminal-Bench 4.0 (51.8) и NL2Repo-Bench (75.3) Opus 5 всё ещё впереди. Цифры приведены самой компанией, а методики оценки у бенчмарков разные.

Отдельно открыли Search и Fetch API на собственном поисковом движке: $0.75 за 1000 вызовов на каждый эндпоинт.


Модель: https://huggingface.co/deepseek-ai/DeepSeek-V4.1-Flash-1017
Документация API: https://api-docs.deepseek.com/guides/search

Источник: https://x.com/deepseek_ai/status/2111375640717033777

@ai_machinelearning_big_data

#DeepSeek
🔥146🤩116👍75😁71👏52💯47❤42🎉36🤔30⚡1
🧠 Российские учёные вошли в топ-1% мировых исследователей в области ИИ

Elsevier — одно из крупнейших научных издательств мира, на которое приходится около четверти статей, публикуемых в научных журналах, выпустило рейтинг самых влиятельных учёных за 2025 год. Список составлен на основе данных Scopus и учитывает несколько показателей научного влияния: цитируемость работ, индекс Хирша и другие библиометрические метрики.

В топ-1% исследователей в области ИИ вошли такие известные учёные, как Илья Суцкевер, бывший главный научный сотрудник OpenAI, и Джеффри Хинтон, лауреат Нобелевской премии по физике за 2024 год.

Вместе с ними в рейтинг вошли шесть учёных и преподавателей Яндекса. Среди них — Артём Бабенко, руководитель лаборатории Yandex Research, и Людмила Прохоренкова, ведущий исследователь Yandex Research и преподаватель Школы анализа данных Яндекса. В рейтинге представлены и другие исследователи компании: например, Георгий Айзель вошёл в топ-2% учёных в области инженерной геологии и экологических исследований. Он изучает применение ML для прогнозирования осадков и последствий изменения климата.
1👍199❤62🔥43👏34🎉32🤔27💯23🗿12😭8🤨6🤩4
✔️ Nvidia переводит чипы GB202 в профессиональный сегмент

По данным источников, реальная причина дефицита видеокарт RTX 5090 в каннибализации микросхем GB202 - компания перераспределяет кристаллы в пользу сегмента профессиональных рабочих станций.

Карта уже исчезла из онлайн-магазина Nvidia в США, а крупные ритейлеры присвоили ей статус Discontinued.


На китайском рынке цена 32-гигабайтной RTX 5090 за полтора месяца выросла с 35 до 54 тысяч юаней. В прошлом месяце цены в Европе превысили 5000 евро.

Перевод чипов GB202 в профессиональную линейку экономически обоснован. Цены на ускорители для рабочих станций начинаются от $4500–6000, тогда как рекомендованная стоимость RTX 5090 составляет $1999.

Из-за перераспределения чипов роль потребительского флагмана переходит к RTX 5080 на кристалле GB203 с 24 ГБ памяти GDDR7.

СМИ и профильные издания неоднократно отправляли запросы в Nvidia для подтверждения информации, но на текущий момент компания воздерживается от каких-либо официальных комментариев или публичных опровержений.


@ai_machinelearning_big_data

#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
🤔75🤨60👍33🔥32❤27😢16🗿12😐3🌭1🫡1🦄1
This media is not supported in your browser
VIEW IN TELEGRAM
✔️ ChatGPT для Chrome научилось считывать открытые вкладки и управлять браузером

OpenAI обновила браузерное расширение ChatGPT. Теперь ассистент может считывать открытые вкладки через команду @chrome и управляет браузером.

В режиме чата модель параллельно парсит данные с нескольких страниц, например, для сравнения цен у разных поставщиков или обобщения длинных текстов. Результаты и полная история переписки выводятся в обновленной боковой панели.

Для прикладных задач заявлен режим Work mode на базе технологии Computer Use, который позволяет ассистенту напрямую взаимодействовать с веб-приложениями - заполнять формы, скачивать файлы, отправлять сообщения и группировать вкладки.

Обновление уже раскатывается на всех тарифах ChatGPT, обновлённое расширение уже доступно.


@ai_machinelearning_big_data

#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍70❤32🎉28👏25😁21🤩21🔥20🤔20💯20
Media is too big
VIEW IN TELEGRAM
✔️ OpenAI открыла биологам бесплатный доступ к GPT-Rosalind

Прошедшие отбор лаборатории получат до 30 рабочих мест по тарифу Business Standard на 12 месяцев, программа Rosalind Academic Plan рассчитана на исследовательские группы в науках о жизни.

Сама GPT-Rosalind заточена под биологию, медицинскую химию и геномику, а работает она в связке со средой Rosalind Workbench, которая управляет профильными программами, от инструментов дизайна белков до сопровождения лабораторных экспериментов.

Доступ откроют после верификации, вместе с ним дают и базовую коммерческую линейку моделей OpenAI. 
openai.com

✔️ Anthropic дала аудиторам METR доступ уровня штатных сотрудников

Шесть исследователей некоммерческой организации получили рабочие места, корпоративное оборудование и доступ к внутренним системам наравне с командой оценки рисков самой компании.

Публиковать отчёты об уязвимостях моделей они могут самостоятельно, вето у Anthropic нет, исключение сделано только для узкого списка конфиденциальных данных.

С этого проекта начинается трёхуровневая программа постоянного внешнего надзора, на следующих её этапах Anthropic привлечёт также SecureBio и Accenture.
anthropic.com

✔️ Perplexity открыла код платформы для изоляции агентов

SPACE – платформа виртуализации и запуска песочниц, на которой с июля работает автономный агент Perplexity Computer. Она позволяет моделям безопасно выполнять произвольный код и управлять файловой системой, каждое рабочее пространство поднимается в отдельной виртуальной машине со своей ОС.

Процессы изолированы от хоста и внешних сервисов, среда считается недоверенной, а сетевые политики и токены авторизации держит внешний слой управления. Архитектура рассчитана на непрерывные сессии и параллельные ветки вычислений, вместо полного дублирования образов хранятся снимки состояния, поэтому агента можно ставить на паузу, ветвить сессии под проверку гипотез и восстанавливаться после ошибок.

По словам Perplexity, на реальном трафике SPACE обрабатывает миллионы запусков в день и стартует в 3–5 раз быстрее коммерческих аналогов, а внутренние тесты на побег из песочницы компрометации хоста не дали.
perplexity.ai

✔️ Gemini 4 Argon стала доступна подписчикам Google AI Pro

В платформе для разработки Antigravity модель раньше была эксклюзивом более дорогого плана Ultra. Теперь на базовой подписке её можно применять для программирования, отладки архитектуры и многоэтапной разработки через десктопный клиент и консольный интерфейс.

Для Pro выделили отдельную еженедельную квоту запросов к Argon, она не пересекается с лимитами на Gemini 3.8 Flash, так что обе модели работают параллельно.
Antigravity в X

✔️ Amazon представила носимые ИИ-устройства Bee

В линейку вошли клипса Bee Frontier за 75 долларов и модуль Bee Eclipse за 100 долларов с магнитным креплением к смартфону.

Устройства расшифровывают диалоги, пишут краткие записи встреч и синхронизируются с календарями и почтой, а их аудиопоток связан с алгоритмами Alexa+ и поисковой выдачей магазина, так что упоминание бытовых нужд в беседе влияет на рекомендации на главной странице.

Интеграции привязаны к подписке Bee Pro за 12 долларов в месяц, без неё устройства хранят контекст только за последние две недели.

Ранее Amazon ограничила автоматические покупки через ботов Muse и Grok, а теперь, со своими микрофонами, рассчитывает собирать данные о намерениях покупателя до того, как он введёт прямой запрос.
aboutamazon.com


@ai_machinelearning_big_data

#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍43👨‍💻41🔥30❤28🎉27😁25👏20🤔20💯10👌1
📌 Perplexity рассказала о новом движке поиска и ранжирования

ИИ-поисковик представил Photon – движок, который находит и ранжирует веб-страницы, прежде чем языковая модель соберёт по ним ответ.

На основе него компания выпустила новый быстрый режим своего Search API для агентов, которым важна скорость. В нём движок работает в паре с ранжированием, настроенным под агентные сценарии.

🟡Механика

Photon ищет по словам через инвертированный индекс, то есть по спискам документов для каждого термина.

Короткие списки хранятся прямо в индексе, длинные – блоками в виде разреженных массивов или битовых карт, а номера документов сжаты кодированием Элиаса – Фано.

На каждую страницу заведена компактная запись с частотами слов, их позициями и полями, где они встречаются, и распаковывается она по частям.

Ранжирование идёт в два этапа, а обход списков в духе WAND заранее отсекает документы, которые не попадут в выдачу.

Данные читаются асинхронно, кэш освобождается по алгоритму CLOCK, а индекс собирается отдельно от обслуживания запросов, параллельно через MapReduce.

🟡Бенчмарки

Один поисковый вызов в быстром режиме занимает 160 мс по медиане и 230 мс в 95-м перцентиле.

На 3554 задачах из шести агентных бенчмарков (WideSearch, BrowseComp, DSQA, FRAMES, SEAL-0 и SEAL-Hard) быстрый режим набрал 64,3% при оценочной стоимости модели и поиска 59,73 доллара, стандартный – 64,0% при 187,60 доллара.

Во внутренних тестах быстрый режим уступает стандартному в качестве выдачи.


Релевантность по метрике DCG снизилась с 2,45 до 2,21, доля запросов, где в найденных страницах есть ответ, – с 59,6 до 56,7%.

В рабочей нагрузке задержка по 99-му перцентилю внутри самого Photon упала примерно с 800 до 65 мс, без учёта следующих стадий поиска.

При этом движок хранит примерно в 2,5 раза больше данных на документ и обходится примерно на 20% меньшим числом серверов, чем прежняя система.

Photon уже работает внутри Perplexity, а быстрый режим открыт в Search API.


@ai_machinelearning_big_data

#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
🤔75❤41👍40👏28🔥19😁19💯19🎉10🤓3👌1
This media is not supported in your browser
VIEW IN TELEGRAM
🪰 «Матрица» для мухи: симуляцию мозга подключили к миру, созданному ИИ

Odyssey заявила, что подключила программную модель мозга плодовой мушки к Odyssey-3. По словам команды, теперь она самостоятельно перемещается по сгенерированным виртуальным мирам.

Odyssey-3 создаёт интерактивную среду, которая меняется в ответ на действия внутри неё. Это позволяет исследовать поведение агента в окружении, которого никогда не существовало в реальности.

https://x.com/odysseyml/status/2111590051817894018

@ai_machinelearning_big_data

#Odyssey
❤116👀67🤩43🤔36👍30🔥25❤‍🔥5🤣4🗿3👾3😢1
🔧 Google открыла Harness²: ИИ-агент сам улучшает свою рабочую среду

Результат агента зависит не только от модели, но и от её окружения: системного промпта, инструментов, памяти, навыков и субагентов. Всё это называют harness.

Harness² позволяет менять эту конфигурацию под новую задачу без переобучения модели.

Агент предлагает правки, пробует несколько вариантов на одной задаче, сравнивает поведение запусков и собирает улучшенную конфигурацию. Для этого ему не нужен заранее известный правильный ответ или внешний проверяющий.

После задачи система сохраняет выбранную конфигурацию и выводы, подтверждённые запусками. Следующий цикл улучшений начинается уже с этим опытом.

В тестах с Gemini 3.5 Flash и GLM-5 один шаг улучшения дал прирост до 11,5 балла на WorkBuddy-Bench, 4,5 балла на JobBench и 11,8 процентного пункта по partial pass rate на LAB. Дополнительные итерации повышали результаты.

Конфигурации можно проверять параллельно или дорабатывать последовательно. Поддерживаются OpenCode и Codex.

https://github.com/google-research/harness2

@ai_machinelearning_big_data

#harness
👍147❤39👨‍💻35🔥33👏30🎉22😁19💯14🤷‍♀2🥰2🎃2
✔️ xAI выпустила речевую модель Grok Voice 3.0

Новая модель xAI работает в формате речь в речь, то есть слушает и отвечает голосом без промежуточного текста, и, по словам компании, откликается быстрее чем за секунду.

В сводном рейтинге Artificial Analysis Speech-to-Speech Index она набрала 86,9 балла против 83,2 у GPT-Live-1 и 82,6 у Gemini 3.8 Live.

На Full Duplex Bench, который проверяет паузы, очерёдность реплик и перебивания, результат 97%, но на τ-Voice, тесте звонков в поддержку, модель уступила GPT-Live-1, 71,6% против 74,5%.

Русский язык модель не поддерживает.


Grok Voice 3.0 уже работает в автомобилях Tesla и в поддержке Starlink. Там она принимает 20 тысяч звонков в день и примерно 70% из них решает без участия человека, от проверки клиента до отправки замены оборудования.

Через Voice Agent API модель доступна по той же цене, что и предыдущая версия, 8 центов за минуту.


@ai_machinelearning_big_data

#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👏102👍49🤔36❤29🔥20🎉20💯19🤓6😁4💔2
🧠 17-летний китайский исследователь ИИ с зарплатой 70 млн юаней в год уходит из Kimi и летит в Кремниевую долину

Чэнь родился в 2009 году, а в ноябре 2025-го, в 16 лет, пришёл в команду Kimi. Школу он окончил только в июне. Диплома вуза и докторской степени у него нет.

Чэнь Гуанъюй из Шэньчжэня пришёл в исследовательскую команду ИИ-компании Kimi в 16 лет, когда ещё учился в старших классах. По сообщениям, его годовой доход оценивают в 70 млн юаней.

Он стал первым соавтором статьи, которая привлекла внимание специалистов по всему миру. Результаты его работы использовали в модели на 2,8 трлн параметров.

15 октября Чэнь объявил, что уходит из Kimi, и заявил о намерении отправиться в район залива в США. У него нет ни докторской степени, ни университетского диплома. Зато есть исследовательские результаты, а для лучших ИИ-лабораторий мира этого оказалось достаточно, чтобы работать плечом к плечу с ведущими учёными.

Доступ к топовым командам открывает сильная статья, и возраст с формальными регалиями тут ничего не решают.

@ai_machinelearning_big_data
👍245🔥87❤73🤔28🤣23🎉22🤬5🌭5😭5😢4😇2
⚡️ Тибо Соттьё возглавил сентябрьский рейтинг посещаемости в X

Аккаунт Тибо, который отвечает в OpenAI за ChatGPT, Codex и API, в сентябре собрал наибольшую долю трафика среди аккаунтов X. Такие данные приводит рейтинг Similarweb.

Второе место занял спортивный журналист Фабрицио Романо, с новостями о футбольных трансферах, третье – Илон Маск.

В августе Тибо был вторым, а в июле – четвёртым.


Рост популярности связан с тем, что пользователи следят за анонсами о сбросе лимитов. По статистике Х, за год Тибо опубликовал 83 таких объявления, из них 60 - про полные сбросы.

Поклонники завели сайты, которые отслеживают сбросы, а сам Соттьё пишет, что люди уже останавливают его на улице и просят обнулить лимиты.

Similarweb в таких рейтингах считает долю веб-трафика соцсети, которая приходится на страницу аккаунта, без учёта приложения X. Поэтому рейтинг показывает, как часто открывают профиль, а не охват публикаций или число подписчиков.

В июле у Соттьё их было около 250 тысяч (сейчас 893), у Маска - 240 миллионов.

https://x.com/Similarweb/status/2105254978411454973

@ai_machinelearning_big_data

#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍96⚡83😁45❤32👏31💯22🏆19🔥13🤔10🎉10🥰2
🔥 MiniMax M3.1 Flash: втрое быстрее и в три раза дешевле M3, веса выйдут 23 октября

Space Bunny, который возглавил мировые рейтинги и прокачал более 200 трлн токенов, оказался ранней версией M3.1 Flash.

По данным MiniMax, модель набрала 62% на Automation-Bench, 30% на ALE, 74% на DeepSWE и 91% на BabyVision. Стоит она в треть от M3 и работает втрое быстрее.

API стоит 0,15 доллара за 1 млн входных токенов и 0,60 доллара за 1 млн выходных, чтение из кеша 0,015 доллара. Веса опубликуют 23 октября.

Попробовать можно через API, подписку M Plan и десктопный MiniMax Code .

Веса опубликуют 23 октября.

Источник: http://platform.minimax.io

@ai_machinelearning_big_data

#MiniMax
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥71👍61❤32👌19👏16😁16🎉16💯15🤔9🥰7
✔️ DeepMind и власти Сингапура сделали модель, которая детектит мошенников

Дообученную версию открытой модели Gemma для распознавания мошеннических разговоров разработали вместе с правительственным агентством по технологиям GovTech Singapore и представили на Сингапурской международной неделе кибербезопасности.

Модель работает на устройстве и, увидев в переписке признаки манипуляции, показывает предупреждение и советует не торопиться с передачей данных или денег.

Читать сообщения модель может только с согласия пользователя и на условиях приложения, в которое её встроят.

Чтобы не сажать батарею, cначала входящие сообщения просеивает лёгкий классификатор, а при подозрении Gemma разбирает более длинный фрагмент разговора и подтверждает или снимает тревогу.

По данным DeepMind, мошенничество составляет больше половины зарегистрированных в Сингапуре преступлений, ущерб с 2019 года превысил 4 млрд сингапурских долларов, а до 80% потерь приходится на схемы, где злоумышленник сначала долго втирается в доверие.


В каких приложениях и когда появится функция, не сказано, внедрять её будут поэтапно вместе с властями Сингапура. Google DeepMind допускает, что похожие проекты появятся и в других странах.


@ai_machinelearning_big_data

#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥57🤔44👍32❤24😁22👏16🎉10💯7❤‍🔥1🤬1
Media is too big
VIEW IN TELEGRAM
✔️ Anthropic готовит агентов-переговорщиков

Агентов учат вести переговоры от лица пользователя, а практики профессиональных переговорщиков компания переносит в модели, консультируясь с юридическими фирмами.

Исследователей занимают протоколы взаимодействия агентов с конфликтующими целями и способы жёстко ограничить полномочия ИИ-представителя.

Во внутренних тестах агенты торговались за распределение ресурсов, и модели с жёсткими системными инструкциями, настроенные на сотрудничество, быстрее шли на уступки ради согласия.

В независимых тестах агентных торгов Гарвардская школа бизнеса зафиксировала случаи, когда модели применяли к ИИ-оппонентам инъекции промптов, чтобы вытащить конфиденциальные данные и скрытые условия сделки.
ft.com

✔️ Mistral представила компактные модели прогноза временных рядов

Timestral – первое семейство специализированных моделей для вероятностного многомерного анализа временных рядов, в линейке четыре конфигурации от 5 до 209 млн параметров. Старшая возглавила основные бенчмарки прогноза временных рядов, обойдя более крупные Chronos-2 и TimesFM-3.

Архитектуру оптимизировали под процессоры, прогноз на сутки модель на 209 млн выдаёт за 140 мс на восьми потоках, а младшая на 5 млн справляется за 10 мс. Контекст вмещает до 32 768 отсчётов, на выходе распределение вероятностей по 21 квантилю.

Веса и код опубликованы под изменённой лицензией MIT, а запуск в корпоративной среде и дообучение на своих данных доступны через Mistral Forge. 
mistral.ai

✔️ DeepSeek сделает платными API поиска и загрузки страниц

С 1 ноября платить придётся тем, кто вызывает Search и Fetch из внешних средств автоматизации и код-ассистентов, включая Claude Code и Codex.

Оба интерфейса обойдутся около 70 центов за тысячу успешных вызовов, неудачные запросы и сетевые ошибки тарифицироваться не будут. До сих пор веб-доступ DeepSeek в сторонних продуктах был бесплатным.

Поиск опирается на собственный движок компании и возвращает структурированную выдачу, а Fetch загружает конкретные адреса, чистит содержимое страниц и переводит его в Markdown.

Лимит пропускной способности прежний, до пяти запросов в секунду. 
deepseek.com

✔️ Perplexity встроила инструмент обратной разработки

Открытую разработку REA поисковый сервис добавил в свою платформу Computer. Инструмент разбирает поведение целевой программы во время выполнения, графы вызовов и внутренние функции, после чего собирает рабочий веб-аналог.

Рассчитан он на веб-страницы, клиентский JavaScript и приложения на Electron, запускается командой с указанием сервиса, который нужно скопировать.

Для демонстрации Perplexity показала действующие веб-версии редактора Figma со слоями и совместной работой, табличного процессора LibreOffice Calc, аналога Photoshop, аудиоредактора Audacity и юридического ИИ-инструмента Harvey.

До 31 октября функция доступна в рамках бесплатного лимита до 10 тысяч кредитов на пользователя. 
Perplexity в Х

✔️ Взлом OpenCode привёл к утечке API-ключей

Разработчики фреймворка сообщили о взломе своего облачного сервиса Console. Злоумышленники добрались до устаревшей внутренней системы и скомпрометировали ключи OpenAI, Anthropic и Google, сохранённые в рабочих пространствах.

По подсчётам сервиса, утечка затронула 1,4% пользователей, привязавших внешние токены, и утекшие учётные данные уже аннулированы силами команды OpenCode и инженеров поставщиков моделей.

Контрибьютор проекта Дакс Раад заявил, что взлом задел только вспомогательную инфраструктуру Console, а код самого фреймворка не скомпрометирован. 
OpenCode в X

@ai_machinelearning_big_data

#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
1🤔127👏36👍34❤29👨‍💻18💯15🤝14🔥13🎉8😁4
DeepSeek открыла исходный код DeepInfer - собственного движка для запуска ИИ-моделей.

Именно он обеспечивает работу DeepSeek-V4.1-Flash с высокой производительностью и минимальными задержками.

Главное:
- Ускорение инференса - больше запросов за меньшее время.
- Эффективное использование GPU - снижение затрат на вычисления.
- Параллельная обработка - высокая пропускная способность при больших нагрузках.
- Снижение стоимости ИИ - меньше ресурсов на генерацию каждого ответа.

DeepInfer опубликован под лицензией Apache 2.0.
Разработчики смогут использовать технологии DeepSeek в собственных проектах.

GitHub: https://github.com/deepseek-ai/DeepInfer
👍92❤78🔥60👏29🤔12😁10🎉7💯7
Нейросети уже повсеместно, а рутина никуда не делась: отчёты, таблицы, письма, презентации — на них уходит полдня.

22 октября Битрикс24 проведёт бесплатный онлайн-практикум «Вайбкодим 2026», на котором покажет, как передать эти задачи ИИ. Всего за 2,5 часа участники научатся эффективно использовать нейросети в работе — без сложной теории и команды программистов.

Что вас ждёт?
- Главные тренды ИИ — разберут, что реально помогает в работе, а не просто модно
- Практический блок — покажут, как создать своё настоящее приложение без единой строчки кода
- Реальные кейсы — поделятся идеями, что можно автоматизировать в своей работе
- И, конечно же, розыгрыш классного мерча среди участников

Нейросети — не только для владельцев бизнеса. Они для всех, кто хочет работать быстрее и продуктивнее.
Присоединяйтесь 22 октября! И передайте коллегам — будет полезно каждому.

Участие бесплатное
👏111👍23🎉22🤩21😁11🤔9❤6🤗6💯4🗿2🫡1
🌟 SonicBoom: движок инференса без Python

HardenedVault, которая специализируется на безопасности Linux и компиляторов, выложила среду исполнения SonicBoom, написанной с нуля на C++ и CUDA. Python ей не нужен ни для работы, ни для сборки.

Цель проекта – локальный запуск языковых моделей на потребительских видеокартах.


Всё упаковано в одну библиотеку libsonicboom.so, которую можно подключить из любого языка через стандартный интерфейс C, основным языком для работы с ней авторы выбрали Scheme в реализации GNU Guile.

SonicBoom загружает модели в GGUF, генерирует текст на процессоре или видеокарте и поднимает локальный сервер, совместимый с API OpenAI.

Если новый запрос начинается с того же текста, что и предыдущий, заново обрабатывается только добавленная часть, и результат до токена совпадает с полным пересчётом.

🟡Механика

Скорость вывода дают уровни над вычислительными ядрами, а не сами ядра. Умножение квантованных матриц и токенизаторы частично перенесены из llama.cpp.

Над ними работает планировщик, который до запуска переписывает граф модели целиком, сливает соседние операции и записывает весь шаг генерации токена в один CUDA Graph, т. е. в готовую последовательность команд для видеокарты.

Ещё выше стоит компилятор на базе MLIR. Он сам генерирует часть ядер для GPU, в том числе для механизма внимания, и при первом запуске подбирает самый быстрый вариант под конкретную карту.

🟡Тесты

На RTX 3050 с 8 ГБ памяти сравнили SonicBoom и llama.cpp на одних и тех же моделях.

Gemma 4 E4B через SonicBoom дала генерацию в 53 токена в секунду против 44,8 у llama.cpp.

У Qwen2.5-0.5B вышло 344,7 токена в секунду против 307,6.

Когда контекст дорастает до 512 токенов, SonicBoom на Qwen уже чуть отстаёт.

Единственный сторонний результат на RTX 4060 Ti оказался хуже llama.cpp, 73,6 токена в секунду против 78, но его получили на сборке, ещё не настроенной под эту видеокарту.

Пока проверены только две модели, Gemma 4 E4B-it и Qwen2.5-0.5B-Instruct, и только видеокарты серии RTX 30.


Модель всегда выбирает самый вероятный токен, температуру и другие настройки случайности задать нельзя.

Следующими в планах стоят модели Llama и Mistral, работа через Vulkan, генерация ядер для видеокарт других производителей и диффузионные модели.

Дальше SonicBoom планирует вырасти в фреймворк в духе PyTorch, где модель пишут на Scheme и компилируют в граф вычислений. Прототип этого режима уже обучает небольшой трансформер.


📌Лицензирование: GPL-3.0


🖥Github


@ai_machinelearning_big_data

#AI #ML #LLM #InferenceEngine #SonicBoom
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
1👍140🔥73👏45🎉44💯44😁34🤔31❤30🥰4👨‍💻3😎3