По данным источников, реальная причина дефицита видеокарт RTX 5090 в каннибализации микросхем GB202 - компания перераспределяет кристаллы в пользу сегмента профессиональных рабочих станций.
Карта уже исчезла из онлайн-магазина Nvidia в США, а крупные ритейлеры присвоили ей статус Discontinued.
На китайском рынке цена 32-гигабайтной RTX 5090 за полтора месяца выросла с 35 до 54 тысяч юаней. В прошлом месяце цены в Европе превысили 5000 евро.
Перевод чипов GB202 в профессиональную линейку экономически обоснован. Цены на ускорители для рабочих станций начинаются от $4500–6000, тогда как рекомендованная стоимость RTX 5090 составляет $1999.
Из-за перераспределения чипов роль потребительского флагмана переходит к RTX 5080 на кристалле GB203 с 24 ГБ памяти GDDR7.
СМИ и профильные издания неоднократно отправляли запросы в Nvidia для подтверждения информации, но на текущий момент компания воздерживается от каких-либо официальных комментариев или публичных опровержений.
@ai_machinelearning_big_data
#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
🤔75🤨60👍33🔥32❤27😢16🗿12😐3🌭1🫡1🦄1
This media is not supported in your browser
VIEW IN TELEGRAM
OpenAI обновила браузерное расширение ChatGPT. Теперь ассистент может считывать открытые вкладки через команду
@chrome и управляет браузером.В режиме чата модель параллельно парсит данные с нескольких страниц, например, для сравнения цен у разных поставщиков или обобщения длинных текстов. Результаты и полная история переписки выводятся в обновленной боковой панели.
Для прикладных задач заявлен режим Work mode на базе технологии Computer Use, который позволяет ассистенту напрямую взаимодействовать с веб-приложениями - заполнять формы, скачивать файлы, отправлять сообщения и группировать вкладки.
Обновление уже раскатывается на всех тарифах ChatGPT, обновлённое расширение уже доступно.
@ai_machinelearning_big_data
#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍70❤32🎉28👏25😁21🤩21🔥20🤔20💯20
Media is too big
VIEW IN TELEGRAM
Прошедшие отбор лаборатории получат до 30 рабочих мест по тарифу Business Standard на 12 месяцев, программа Rosalind Academic Plan рассчитана на исследовательские группы в науках о жизни.
Сама GPT-Rosalind заточена под биологию, медицинскую химию и геномику, а работает она в связке со средой Rosalind Workbench, которая управляет профильными программами, от инструментов дизайна белков до сопровождения лабораторных экспериментов.
Доступ откроют после верификации, вместе с ним дают и базовую коммерческую линейку моделей OpenAI.
openai.com
Шесть исследователей некоммерческой организации получили рабочие места, корпоративное оборудование и доступ к внутренним системам наравне с командой оценки рисков самой компании.
Публиковать отчёты об уязвимостях моделей они могут самостоятельно, вето у Anthropic нет, исключение сделано только для узкого списка конфиденциальных данных.
С этого проекта начинается трёхуровневая программа постоянного внешнего надзора, на следующих её этапах Anthropic привлечёт также SecureBio и Accenture.
anthropic.com
SPACE – платформа виртуализации и запуска песочниц, на которой с июля работает автономный агент Perplexity Computer. Она позволяет моделям безопасно выполнять произвольный код и управлять файловой системой, каждое рабочее пространство поднимается в отдельной виртуальной машине со своей ОС.
Процессы изолированы от хоста и внешних сервисов, среда считается недоверенной, а сетевые политики и токены авторизации держит внешний слой управления. Архитектура рассчитана на непрерывные сессии и параллельные ветки вычислений, вместо полного дублирования образов хранятся снимки состояния, поэтому агента можно ставить на паузу, ветвить сессии под проверку гипотез и восстанавливаться после ошибок.
По словам Perplexity, на реальном трафике SPACE обрабатывает миллионы запусков в день и стартует в 3–5 раз быстрее коммерческих аналогов, а внутренние тесты на побег из песочницы компрометации хоста не дали.
perplexity.ai
В платформе для разработки Antigravity модель раньше была эксклюзивом более дорогого плана Ultra. Теперь на базовой подписке её можно применять для программирования, отладки архитектуры и многоэтапной разработки через десктопный клиент и консольный интерфейс.
Для Pro выделили отдельную еженедельную квоту запросов к Argon, она не пересекается с лимитами на Gemini 3.8 Flash, так что обе модели работают параллельно.
Antigravity в X
В линейку вошли клипса Bee Frontier за 75 долларов и модуль Bee Eclipse за 100 долларов с магнитным креплением к смартфону.
Устройства расшифровывают диалоги, пишут краткие записи встреч и синхронизируются с календарями и почтой, а их аудиопоток связан с алгоритмами Alexa+ и поисковой выдачей магазина, так что упоминание бытовых нужд в беседе влияет на рекомендации на главной странице.
Интеграции привязаны к подписке Bee Pro за 12 долларов в месяц, без неё устройства хранят контекст только за последние две недели.
Ранее Amazon ограничила автоматические покупки через ботов Muse и Grok, а теперь, со своими микрофонами, рассчитывает собирать данные о намерениях покупателя до того, как он введёт прямой запрос.
aboutamazon.com
@ai_machinelearning_big_data
#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍43👨💻41🔥30❤28🎉27😁25👏20🤔20💯10👌1
ИИ-поисковик представил Photon – движок, который находит и ранжирует веб-страницы, прежде чем языковая модель соберёт по ним ответ.
На основе него компания выпустила новый быстрый режим своего Search API для агентов, которым важна скорость. В нём движок работает в паре с ранжированием, настроенным под агентные сценарии.
Photon ищет по словам через инвертированный индекс, то есть по спискам документов для каждого термина.
Короткие списки хранятся прямо в индексе, длинные – блоками в виде разреженных массивов или битовых карт, а номера документов сжаты кодированием Элиаса – Фано.
На каждую страницу заведена компактная запись с частотами слов, их позициями и полями, где они встречаются, и распаковывается она по частям.
Ранжирование идёт в два этапа, а обход списков в духе WAND заранее отсекает документы, которые не попадут в выдачу.
Данные читаются асинхронно, кэш освобождается по алгоритму
CLOCK, а индекс собирается отдельно от обслуживания запросов, параллельно через MapReduce.Один поисковый вызов в быстром режиме занимает 160 мс по медиане и 230 мс в 95-м перцентиле.
На 3554 задачах из шести агентных бенчмарков (WideSearch, BrowseComp, DSQA, FRAMES, SEAL-0 и SEAL-Hard) быстрый режим набрал 64,3% при оценочной стоимости модели и поиска 59,73 доллара, стандартный – 64,0% при 187,60 доллара.
Во внутренних тестах быстрый режим уступает стандартному в качестве выдачи.
Релевантность по метрике DCG снизилась с 2,45 до 2,21, доля запросов, где в найденных страницах есть ответ, – с 59,6 до 56,7%.
В рабочей нагрузке задержка по 99-му перцентилю внутри самого Photon упала примерно с 800 до 65 мс, без учёта следующих стадий поиска.
При этом движок хранит примерно в 2,5 раза больше данных на документ и обходится примерно на 20% меньшим числом серверов, чем прежняя система.
Photon уже работает внутри Perplexity, а быстрый режим открыт в Search API.
@ai_machinelearning_big_data
#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
🤔75❤41👍40👏28🔥19😁19💯19🎉10🤓3👌1
This media is not supported in your browser
VIEW IN TELEGRAM
🪰 «Матрица» для мухи: симуляцию мозга подключили к миру, созданному ИИ
Odyssey заявила, что подключила программную модель мозга плодовой мушки к Odyssey-3. По словам команды, теперь она самостоятельно перемещается по сгенерированным виртуальным мирам.
Odyssey-3 создаёт интерактивную среду, которая меняется в ответ на действия внутри неё. Это позволяет исследовать поведение агента в окружении, которого никогда не существовало в реальности.
https://x.com/odysseyml/status/2111590051817894018
@ai_machinelearning_big_data
#Odyssey
Odyssey заявила, что подключила программную модель мозга плодовой мушки к Odyssey-3. По словам команды, теперь она самостоятельно перемещается по сгенерированным виртуальным мирам.
Odyssey-3 создаёт интерактивную среду, которая меняется в ответ на действия внутри неё. Это позволяет исследовать поведение агента в окружении, которого никогда не существовало в реальности.
https://x.com/odysseyml/status/2111590051817894018
@ai_machinelearning_big_data
#Odyssey
❤116👀68🤩43🤔36👍30🔥25❤🔥5🤣4🗿3👾3😢1
🔧 Google открыла Harness²: ИИ-агент сам улучшает свою рабочую среду
Результат агента зависит не только от модели, но и от её окружения: системного промпта, инструментов, памяти, навыков и субагентов. Всё это называют harness.
Harness² позволяет менять эту конфигурацию под новую задачу без переобучения модели.
Агент предлагает правки, пробует несколько вариантов на одной задаче, сравнивает поведение запусков и собирает улучшенную конфигурацию. Для этого ему не нужен заранее известный правильный ответ или внешний проверяющий.
После задачи система сохраняет выбранную конфигурацию и выводы, подтверждённые запусками. Следующий цикл улучшений начинается уже с этим опытом.
В тестах с Gemini 3.5 Flash и GLM-5 один шаг улучшения дал прирост до 11,5 балла на WorkBuddy-Bench, 4,5 балла на JobBench и 11,8 процентного пункта по partial pass rate на LAB. Дополнительные итерации повышали результаты.
Конфигурации можно проверять параллельно или дорабатывать последовательно. Поддерживаются OpenCode и Codex.
https://github.com/google-research/harness2
@ai_machinelearning_big_data
#harness
Результат агента зависит не только от модели, но и от её окружения: системного промпта, инструментов, памяти, навыков и субагентов. Всё это называют harness.
Harness² позволяет менять эту конфигурацию под новую задачу без переобучения модели.
Агент предлагает правки, пробует несколько вариантов на одной задаче, сравнивает поведение запусков и собирает улучшенную конфигурацию. Для этого ему не нужен заранее известный правильный ответ или внешний проверяющий.
После задачи система сохраняет выбранную конфигурацию и выводы, подтверждённые запусками. Следующий цикл улучшений начинается уже с этим опытом.
В тестах с Gemini 3.5 Flash и GLM-5 один шаг улучшения дал прирост до 11,5 балла на WorkBuddy-Bench, 4,5 балла на JobBench и 11,8 процентного пункта по partial pass rate на LAB. Дополнительные итерации повышали результаты.
Конфигурации можно проверять параллельно или дорабатывать последовательно. Поддерживаются OpenCode и Codex.
https://github.com/google-research/harness2
@ai_machinelearning_big_data
#harness
👍147❤39👨💻35🔥33👏30🎉22😁19💯14🤷♀2🥰2🎃2
Новая модель xAI работает в формате
речь в речь, то есть слушает и отвечает голосом без промежуточного текста, и, по словам компании, откликается быстрее чем за секунду.В сводном рейтинге Artificial Analysis Speech-to-Speech Index она набрала 86,9 балла против 83,2 у GPT-Live-1 и 82,6 у Gemini 3.8 Live.
На Full Duplex Bench, который проверяет паузы, очерёдность реплик и перебивания, результат 97%, но на τ-Voice, тесте звонков в поддержку, модель уступила GPT-Live-1, 71,6% против 74,5%.
Русский язык модель не поддерживает.
Grok Voice 3.0 уже работает в автомобилях Tesla и в поддержке Starlink. Там она принимает 20 тысяч звонков в день и примерно 70% из них решает без участия человека, от проверки клиента до отправки замены оборудования.
Через Voice Agent API модель доступна по той же цене, что и предыдущая версия, 8 центов за минуту.
@ai_machinelearning_big_data
#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👏102👍49🤔36❤29🔥20🎉20💯19🤓6😁4💔2
🧠 17-летний китайский исследователь ИИ с зарплатой 70 млн юаней в год уходит из Kimi и летит в Кремниевую долину
Чэнь родился в 2009 году, а в ноябре 2025-го, в 16 лет, пришёл в команду Kimi. Школу он окончил только в июне. Диплома вуза и докторской степени у него нет.
Чэнь Гуанъюй из Шэньчжэня пришёл в исследовательскую команду ИИ-компании Kimi в 16 лет, когда ещё учился в старших классах. По сообщениям, его годовой доход оценивают в 70 млн юаней.
Он стал первым соавтором статьи, которая привлекла внимание специалистов по всему миру. Результаты его работы использовали в модели на 2,8 трлн параметров.
15 октября Чэнь объявил, что уходит из Kimi, и заявил о намерении отправиться в район залива в США. У него нет ни докторской степени, ни университетского диплома. Зато есть исследовательские результаты, а для лучших ИИ-лабораторий мира этого оказалось достаточно, чтобы работать плечом к плечу с ведущими учёными.
Доступ к топовым командам открывает сильная статья, и возраст с формальными регалиями тут ничего не решают.
@ai_machinelearning_big_data
Чэнь родился в 2009 году, а в ноябре 2025-го, в 16 лет, пришёл в команду Kimi. Школу он окончил только в июне. Диплома вуза и докторской степени у него нет.
Чэнь Гуанъюй из Шэньчжэня пришёл в исследовательскую команду ИИ-компании Kimi в 16 лет, когда ещё учился в старших классах. По сообщениям, его годовой доход оценивают в 70 млн юаней.
Он стал первым соавтором статьи, которая привлекла внимание специалистов по всему миру. Результаты его работы использовали в модели на 2,8 трлн параметров.
15 октября Чэнь объявил, что уходит из Kimi, и заявил о намерении отправиться в район залива в США. У него нет ни докторской степени, ни университетского диплома. Зато есть исследовательские результаты, а для лучших ИИ-лабораторий мира этого оказалось достаточно, чтобы работать плечом к плечу с ведущими учёными.
Доступ к топовым командам открывает сильная статья, и возраст с формальными регалиями тут ничего не решают.
@ai_machinelearning_big_data
👍245🔥87❤73🤔28🤣23🎉22🤬5🌭5😭5😢4😇2
Аккаунт Тибо, который отвечает в OpenAI за ChatGPT, Codex и API, в сентябре собрал наибольшую долю трафика среди аккаунтов X. Такие данные приводит рейтинг Similarweb.
Второе место занял спортивный журналист Фабрицио Романо, с новостями о футбольных трансферах, третье – Илон Маск.
В августе Тибо был вторым, а в июле – четвёртым.
Рост популярности связан с тем, что пользователи следят за анонсами о сбросе лимитов. По статистике Х, за год Тибо опубликовал 83 таких объявления, из них 60 - про полные сбросы.
Поклонники завели сайты, которые отслеживают сбросы, а сам Соттьё пишет, что люди уже останавливают его на улице и просят обнулить лимиты.
Similarweb в таких рейтингах считает долю веб-трафика соцсети, которая приходится на страницу аккаунта, без учёта приложения X. Поэтому рейтинг показывает, как часто открывают профиль, а не охват публикаций или число подписчиков.
В июле у Соттьё их было около 250 тысяч (сейчас 893), у Маска - 240 миллионов.
https://x.com/Similarweb/status/2105254978411454973
@ai_machinelearning_big_data
#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍96⚡83😁45❤32👏31💯22🏆19🔥13🤔10🎉10🥰2
Space Bunny, который возглавил мировые рейтинги и прокачал более 200 трлн токенов, оказался ранней версией M3.1 Flash.
По данным MiniMax, модель набрала 62% на Automation-Bench, 30% на ALE, 74% на DeepSWE и 91% на BabyVision. Стоит она в треть от M3 и работает втрое быстрее.
API стоит 0,15 доллара за 1 млн входных токенов и 0,60 доллара за 1 млн выходных, чтение из кеша 0,015 доллара. Веса опубликуют 23 октября.
Попробовать можно через API, подписку M Plan и десктопный MiniMax Code .
Веса опубликуют 23 октября.
Источник: http://platform.minimax.io
@ai_machinelearning_big_data
#MiniMax
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥71👍61❤32👌19👏16😁16🎉16💯15🤔9🥰7
Дообученную версию открытой модели Gemma для распознавания мошеннических разговоров разработали вместе с правительственным агентством по технологиям GovTech Singapore и представили на Сингапурской международной неделе кибербезопасности.
Модель работает на устройстве и, увидев в переписке признаки манипуляции, показывает предупреждение и советует не торопиться с передачей данных или денег.
Читать сообщения модель может только с согласия пользователя и на условиях приложения, в которое её встроят.
Чтобы не сажать батарею, cначала входящие сообщения просеивает лёгкий классификатор, а при подозрении Gemma разбирает более длинный фрагмент разговора и подтверждает или снимает тревогу.
По данным DeepMind, мошенничество составляет больше половины зарегистрированных в Сингапуре преступлений, ущерб с 2019 года превысил 4 млрд сингапурских долларов, а до 80% потерь приходится на схемы, где злоумышленник сначала долго втирается в доверие.
В каких приложениях и когда появится функция, не сказано, внедрять её будут поэтапно вместе с властями Сингапура. Google DeepMind допускает, что похожие проекты появятся и в других странах.
@ai_machinelearning_big_data
#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥57🤔44👍32❤24😁22👏16🎉10💯7❤🔥1🤬1
Media is too big
VIEW IN TELEGRAM
Агентов учат вести переговоры от лица пользователя, а практики профессиональных переговорщиков компания переносит в модели, консультируясь с юридическими фирмами.
Исследователей занимают протоколы взаимодействия агентов с конфликтующими целями и способы жёстко ограничить полномочия ИИ-представителя.
Во внутренних тестах агенты торговались за распределение ресурсов, и модели с жёсткими системными инструкциями, настроенные на сотрудничество, быстрее шли на уступки ради согласия.
В независимых тестах агентных торгов Гарвардская школа бизнеса зафиксировала случаи, когда модели применяли к ИИ-оппонентам инъекции промптов, чтобы вытащить конфиденциальные данные и скрытые условия сделки.
ft.com
Timestral – первое семейство специализированных моделей для вероятностного многомерного анализа временных рядов, в линейке четыре конфигурации от 5 до 209 млн параметров. Старшая возглавила основные бенчмарки прогноза временных рядов, обойдя более крупные Chronos-2 и TimesFM-3.
Архитектуру оптимизировали под процессоры, прогноз на сутки модель на 209 млн выдаёт за 140 мс на восьми потоках, а младшая на 5 млн справляется за 10 мс. Контекст вмещает до 32 768 отсчётов, на выходе распределение вероятностей по 21 квантилю.
Веса и код опубликованы под изменённой лицензией MIT, а запуск в корпоративной среде и дообучение на своих данных доступны через Mistral Forge.
mistral.ai
С 1 ноября платить придётся тем, кто вызывает Search и Fetch из внешних средств автоматизации и код-ассистентов, включая Claude Code и Codex.
Оба интерфейса обойдутся около 70 центов за тысячу успешных вызовов, неудачные запросы и сетевые ошибки тарифицироваться не будут. До сих пор веб-доступ DeepSeek в сторонних продуктах был бесплатным.
Поиск опирается на собственный движок компании и возвращает структурированную выдачу, а Fetch загружает конкретные адреса, чистит содержимое страниц и переводит его в Markdown.
Лимит пропускной способности прежний, до пяти запросов в секунду.
deepseek.com
Открытую разработку REA поисковый сервис добавил в свою платформу Computer. Инструмент разбирает поведение целевой программы во время выполнения, графы вызовов и внутренние функции, после чего собирает рабочий веб-аналог.
Рассчитан он на веб-страницы, клиентский JavaScript и приложения на Electron, запускается командой с указанием сервиса, который нужно скопировать.
Для демонстрации Perplexity показала действующие веб-версии редактора Figma со слоями и совместной работой, табличного процессора LibreOffice Calc, аналога Photoshop, аудиоредактора Audacity и юридического ИИ-инструмента Harvey.
До 31 октября функция доступна в рамках бесплатного лимита до 10 тысяч кредитов на пользователя.
Perplexity в Х
Разработчики фреймворка сообщили о взломе своего облачного сервиса Console. Злоумышленники добрались до устаревшей внутренней системы и скомпрометировали ключи OpenAI, Anthropic и Google, сохранённые в рабочих пространствах.
По подсчётам сервиса, утечка затронула 1,4% пользователей, привязавших внешние токены, и утекшие учётные данные уже аннулированы силами команды OpenCode и инженеров поставщиков моделей.
Контрибьютор проекта Дакс Раад заявил, что взлом задел только вспомогательную инфраструктуру Console, а код самого фреймворка не скомпрометирован.
OpenCode в X
@ai_machinelearning_big_data
#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
1🤔127👏36👍34❤29👨💻18💯15🤝14🔥13🎉8😁4
DeepSeek открыла исходный код DeepInfer - собственного движка для запуска ИИ-моделей.
Именно он обеспечивает работу DeepSeek-V4.1-Flash с высокой производительностью и минимальными задержками.
Главное:
- Ускорение инференса - больше запросов за меньшее время.
- Эффективное использование GPU - снижение затрат на вычисления.
- Параллельная обработка - высокая пропускная способность при больших нагрузках.
- Снижение стоимости ИИ - меньше ресурсов на генерацию каждого ответа.
DeepInfer опубликован под лицензией Apache 2.0. Разработчики смогут использовать технологии DeepSeek в собственных проектах.
GitHub: https://github.com/deepseek-ai/DeepInfer
Именно он обеспечивает работу DeepSeek-V4.1-Flash с высокой производительностью и минимальными задержками.
Главное:
- Ускорение инференса - больше запросов за меньшее время.
- Эффективное использование GPU - снижение затрат на вычисления.
- Параллельная обработка - высокая пропускная способность при больших нагрузках.
- Снижение стоимости ИИ - меньше ресурсов на генерацию каждого ответа.
DeepInfer опубликован под лицензией Apache 2.0. Разработчики смогут использовать технологии DeepSeek в собственных проектах.
GitHub: https://github.com/deepseek-ai/DeepInfer
👍92❤78🔥60👏29🤔12😁10🎉7💯7
Нейросети уже повсеместно, а рутина никуда не делась: отчёты, таблицы, письма, презентации — на них уходит полдня.
22 октября Битрикс24 проведёт бесплатный онлайн-практикум «Вайбкодим 2026», на котором покажет, как передать эти задачи ИИ. Всего за 2,5 часа участники научатся эффективно использовать нейросети в работе — без сложной теории и команды программистов.
Что вас ждёт?
- Главные тренды ИИ — разберут, что реально помогает в работе, а не просто модно
- Практический блок — покажут, как создать своё настоящее приложение без единой строчки кода
- Реальные кейсы — поделятся идеями, что можно автоматизировать в своей работе
- И, конечно же, розыгрыш классного мерча среди участников
Нейросети — не только для владельцев бизнеса. Они для всех, кто хочет работать быстрее и продуктивнее.
Присоединяйтесь 22 октября! И передайте коллегам — будет полезно каждому.
Участие бесплатное
22 октября Битрикс24 проведёт бесплатный онлайн-практикум «Вайбкодим 2026», на котором покажет, как передать эти задачи ИИ. Всего за 2,5 часа участники научатся эффективно использовать нейросети в работе — без сложной теории и команды программистов.
Что вас ждёт?
- Главные тренды ИИ — разберут, что реально помогает в работе, а не просто модно
- Практический блок — покажут, как создать своё настоящее приложение без единой строчки кода
- Реальные кейсы — поделятся идеями, что можно автоматизировать в своей работе
- И, конечно же, розыгрыш классного мерча среди участников
Нейросети — не только для владельцев бизнеса. Они для всех, кто хочет работать быстрее и продуктивнее.
Присоединяйтесь 22 октября! И передайте коллегам — будет полезно каждому.
Участие бесплатное
👏111👍23🎉22🤩21😁11🤔9❤6🤗6💯4🗿2🫡1
HardenedVault, которая специализируется на безопасности Linux и компиляторов, выложила среду исполнения SonicBoom, написанной с нуля на C++ и CUDA. Python ей не нужен ни для работы, ни для сборки.
Цель проекта – локальный запуск языковых моделей на потребительских видеокартах.
Всё упаковано в одну библиотеку
libsonicboom.so, которую можно подключить из любого языка через стандартный интерфейс C, основным языком для работы с ней авторы выбрали Scheme в реализации GNU Guile.SonicBoom загружает модели в GGUF, генерирует текст на процессоре или видеокарте и поднимает локальный сервер, совместимый с API OpenAI.
Если новый запрос начинается с того же текста, что и предыдущий, заново обрабатывается только добавленная часть, и результат до токена совпадает с полным пересчётом.
Скорость вывода дают уровни над вычислительными ядрами, а не сами ядра. Умножение квантованных матриц и токенизаторы частично перенесены из
llama.cpp.Над ними работает планировщик, который до запуска переписывает граф модели целиком, сливает соседние операции и записывает весь шаг генерации токена в один CUDA Graph, т. е. в готовую последовательность команд для видеокарты.
Ещё выше стоит компилятор на базе MLIR. Он сам генерирует часть ядер для GPU, в том числе для механизма внимания, и при первом запуске подбирает самый быстрый вариант под конкретную карту.
На RTX 3050 с 8 ГБ памяти сравнили SonicBoom и
llama.cpp на одних и тех же моделях.Gemma 4 E4B через SonicBoom дала генерацию в 53 токена в секунду против 44,8 у
llama.cpp.У Qwen2.5-0.5B вышло 344,7 токена в секунду против 307,6.
Когда контекст дорастает до 512 токенов, SonicBoom на Qwen уже чуть отстаёт.
Единственный сторонний результат на RTX 4060 Ti оказался хуже
llama.cpp, 73,6 токена в секунду против 78, но его получили на сборке, ещё не настроенной под эту видеокарту.Пока проверены только две модели, Gemma 4 E4B-it и Qwen2.5-0.5B-Instruct, и только видеокарты серии RTX 30.
Модель всегда выбирает самый вероятный токен, температуру и другие настройки случайности задать нельзя.
Следующими в планах стоят модели Llama и Mistral, работа через Vulkan, генерация ядер для видеокарт других производителей и диффузионные модели.
Дальше SonicBoom планирует вырасти в фреймворк в духе PyTorch, где модель пишут на Scheme и компилируют в граф вычислений. Прототип этого режима уже обучает небольшой трансформер.
@ai_machinelearning_big_data
#AI #ML #LLM #InferenceEngine #SonicBoom
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
1👍140🔥73👏45🎉44💯44😁34🤔31❤30🥰4👨💻3😎3
Новая версия климатического эмулятора Института Аллена воспроизводит ливни, ураганный ветер и перепады давления с детализацией до 3 км.
Обычно такие данные дают глобальные модели от NOAA, разрешающие отдельные грозы, но их запуск требует больших вычислительных ресурсов.
По оценке Ai2, глобальные данные с разрешением 3 км HiRO-ACEv2 выдаёт примерно в 300 раз дешевле модели X-SHiELD, а для отдельного региона расчёт может обойтись примерно в 100 раз дешевле.
Эмулятор умеет запускать многолетние сценарии (в анонсе - десятилетние), и выдавать каждые 6 часов осадки, ветер на высоте 10 метров и давление на уровне моря как по всей планете, так и по выбранному региону.
Работает он в полосе от 66 градусов южной широты до 70 градусов северной. Пока модель повторяет только климат X-SHiELD, поэтому сценарии потепления или реальную историю погоды по архиву ERA5 она не воспроизводит.
Климатический эмулятор ACE считает атмосферу на грубой сетке 100 км, а диффузионная модель HiRO доводит его результат до 3 км.
В новой версии HiRO уточняет сразу несколько полей, а не только осадки, как раньше.
Если на вход HiROv2 подать загрублённые данные X-SHiELD, статистика детализированных полей совпадает с оригиналом с точностью до 3%, включая события, которые встречаются раз на миллион точек.
Суммарную энергию тропических циклонов модель оценивает точно, в том числе для штормов, которых не было в обучающих данных.
Ураганы получаются с реалистичным глазом и полосами дождя, но ветер и давление вокруг глаза распределены несимметричнее, чем у X-SHiELD.
В десятилетнем прогоне полной системы климатические средние и распределения осадков, ветра и давления близки к X-SHiELD.
Учебные ноутбуки доступны в репозитории ACE на GitHub, готовые прогоны можно посмотреть в веб-демо.
@ai_machinelearning_big_data
#AI #ML #Climate #HiROACEv2 #Ai2
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍114🔥65🤩51🎉50👏46😁41🤔33💯32❤29🤝8👌6