Есть устойчивое мнение, что серьезное обучение нейросетей возможно только на чипах одной известной компании.
В Zyphra решили доказать обратное, и, в сотрудничестве с AMD и IBM провели эксперимент, который на практике доказал, что есть альтернатива.
Стартап опубликовал техотчет и результат - модель ZAYA1. Это первая модель архитектуры MoE, обученная полностью на платформе AMD.
Сеттинг проекта был действительно "красным": графические процессоры AMD Instinct, сетевые интерфейсы AMD Pensando и программный стек ROCm.
ZAYA1 получилась довольно интересной. У неё 8.3 млрд. общих параметров, из которых активных всего 800 миллионов.
Несмотря на компактность, в тестах она выглядит бодро. В ризонинге, математике и программирование ZAYA1 обошла Llama-3-8B и OLMoE. А по общим показателям встала в один ряд с Qwen3-4B и гугловской Gemma3-12B.
Обучение проходило на кластере IBM Cloud, где модель переварила 14 трлн. токенов. Но дело не только в железе, в папйплайне использовали архитектурные инновации:
⚠️ Для запуска инференса потребуется ветка
zaya форка transformers из репозитория Zyphra.@ai_machinelearning_big_data
#AI #ML #LLM #MoE #Zyphra
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍49❤22🔥13😁7🦄3🙏1
Media is too big
VIEW IN TELEGRAM
Университет Цинхуа опубликовал в Nature Machine Intelligence работу, декларирующую новый эмпирический закон развития ИИ - Densing Law. Согласно их данным, «плотность способностей» языковых моделей растет по экспоненте: количество параметров, необходимых для достижения фиксированного уровня качества, сокращается вдвое каждые 3,5 месяца.
Как следствие, стоимость инференса падает в 2 раза каждые 2,6 месяца, что подтверждается рыночной динамикой цен на API (падение в 266 раз за неполные 2 года).
Авторы прогнозируют скорый расцвет Edge AI: с учетом прогресса мобильных чипов, эффективная мощность моделей, способных работать локально на смартфонах и часах, теперь удваивается каждые 88 дней.
nature.com
Администрация киберпространства Китая заблокировала возможность использования ускорителей Nvidia при развертывании новых вычислительных мощностей ByteDance. По данным The Information, материнская компания TikTok, ставшая в этом году крупнейшим закупщиком оборудования Nvidia в регионе, теперь располагает внушительными складскими запасами железа, которое невозможно пустить в дело из-за регуляторных ограничений.
Этот запрет стал очередным шагом Пекина в кампании по снижению зависимости от американских технологий. Власти принудительно переориентируют техгигантов на использование отечественной продукции, продвигая решения от Huawei и Cambricon в качестве безальтернативной замены импортному кремнию.
theinformation.com
Столица ОАЭ стала четвертым городом в мире и первой локацией на Ближнем Востоке, где агрегатор начал массовую эксплуатацию роботакси. Технологическим партнером выступил китайский стартап WeRide: их автономные автомобили теперь курсируют в районе острова Яс и доступны для заказа в приложении через тарифы UberX и Uber Comfort.
Хотя в США Uber уже возит пассажиров без водителей в Остине, Финиксе и Атланте, запуск в Абу-Даби знаменует начало масштабной глобальной экспансии. В ближайшие пять лет партнеры планируют вывести беспилотные авто WeRide на улицы еще 15 городов, включая европейский рынок.
cnbc.com
Новая функция Retake в платформе LTX приносит точечный контроль в видео-продакшен, она умеет «переснимать» конкретные временные отрезки внутри ролика без потери общей целостности сцены.
Технически это работает как темпоральный инпэйнт: модель перегенерирует выделенный фрагмент (от 2 до 16 секунд), жестко привязываясь к контексту соседних кадров для сохранения освещения, динамики и стиля. Это дает возможность менять реплики персонажей, корректировать актерскую игру или переписывать концовку сцены, оставляя остальной футаж нетронутым.
Инструмент уже доступен всем пользователям платформы и через API.
ltx.studio
Google опубликовала на YouTube полную версию документальной ленты The Thinking Game. Картина, съемки которой заняли 5 лет, погружает зрителя во внутреннюю кухню лаборатории DeepMind и показывает эволюцию команды: от первых побед в стратегических играх до решения фундаментальной биологической проблемы с помощью AlphaFold.
В центре сюжета не только технические прорывы, но и личная история сооснователя DeepMind Демиса Хассабиса, посвятившего жизнь созданию AGI.
youtube.com
@ai_machinelearning_big_data
#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍58❤27🥰9🔥2🦄2