Media is too big
VIEW IN TELEGRAM
Amazon анонсировала S3 Vectors - нативную поддержку векторного поиска прямо внутри своего вездесущего объектного хранилища. Заявлено, что это может снизить затраты на хранение и обработку векторов до 90%.
По сути, AWS предлагает не отдельный сервис, а новый тип бакета
vector bucket. Внутри него вы создаете векторные индексы, указывая размерность векторов и метрику расстояния (косинусную или евклидову).Вы просто загружаете в индекс свои эмбеддинги вместе с метаданными для фильтрации, а S3 берет на себя всю грязную работу по хранению, автоматической оптимизации и обеспечению субсекундного ответа на запросы. Никакого управления инфраструктурой.
Один бакет может содержать до 10 тысяч индексов, а каждый индекс, в свою очередь, десятки миллионов векторов.
S3 Vectors бесшовно интегрируется с Bedrock Knowledge Bases. Теперь при создании базы знаний для RAG-приложения можно просто указать S3-бакет в качестве векторного хранилища.
Процесс создания RAG-пайплайна для тех, кто уже живет в облаке AWS, упрощается до нескольких кликов. То же самое касается и SageMaker Unified Studio, где эта интеграция тоже доступна из коробки.
AWS предлагает гибкую, многоуровневую стратегию. Нечасто используемые или «холодные» векторы можно экономично хранить в S3 Vectors. А когда для части данных потребуется максимальная производительность и низкая задержка в реальном времени, например, для системы рекомендаций, их можно быстро экспортировать в OpenSearch.
Это очень прагматичный инженерный подход, позволяющий балансировать между стоимостью и производительностью.
Пока сервис находится в статусе превью и доступен в регионах US East (N. Virginia), US East (Ohio), US West (Oregon), Europe (Frankfurt), and Asia Pacific (Sydney) Regions.
Попробовать S3 Vectors можно в Amazon S3 console.
@ai_machinelearning_big_data
#AI #ML #RAG #Amazon
Please open Telegram to view this post
VIEW IN TELEGRAM
❤5🔥1
Forwarded from Machinelearning
China Telecom совместно с TeleAI спроектировали фреймворк AI Flow, который рассматривает ИИ и сети передачи данных как единую систему.
AI Flow - это не просто очередной метод оптимизации, а цельная парадигма. Она предлагает отойти от идеи монолитного ИИ к распределенному и коллаборативному, где интеллект может перетекать по сети туда, где он в данный момент нужнее всего и где для него есть ресурсы.
Идея в том, чтобы разумно распределять нагрузку: простейшие операции выполняются на самом гаджете, более сложные и требующие низкой задержки — на ближайшем edge-сервере, а самое тяжелые задачи и ресурсоемкий инференс остаются в облаке.
AI Flow предлагает конкретные механизмы для такой концепции - спекулятивное декодирование, где легкая модель на устройстве быстро генерирует черновик ответа, а мощная модель на эдже его лишь верифицирует и корректирует.
Это не просто набор моделей разного размера, а целое семейство с архитектурно согласованными скрытыми представлениями.
Маленькая, средняя и большая модели устроены настолько похоже, что они могут бесшовно передавать друг другу эстафету инференса.
Модель на смартфоне обрабатывает первые несколько слоев, а затем ее промежуточный результат подхватывает модель на сервере и продолжает вычисления ровно с того же места, без какого-либо дополнительного преобразования данных.
Пайплайн AI Flow делает возможным взаимодействие разных моделей, от LLM и VLM до диффузионных генераторов.
Через такую коллаборацию рождается эмерджентный интеллект – коллективная интуиция, превышающая возможности отдельных сетей, где несколько агентов генерируют черновые решения, затем сервер-оркестратор выбирает лучшие фрагменты, объединяет их и возвращает итоговый ответ для уточнения с учетом контекста каждого из них.
В этом и фишка: после такой синергии ответ становится богаче и более осмысленным, ведь сходятся разные точки зрения и узкопрофильные знания моделей-участников.
Ее крупнейшая ветвь содержит 7 млрд. параметров и способна порождать early-exit подсети с эффективным числом параметров в 3, 4, 5 и 6 млрд:
@ai_machinelearning_big_data
#AI #ML #LLM #AIFlow #TeleAI
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍5❤3
Что это значит?
OpenAI строит новый дата-центр под *чудовищную* нагрузку:
— 4.5 ГВт вычислений (это больше, чем у некоторых стран)
— стоимость — $30 млрд в год 😳
💸 SoftBank? Больше не при делах:
— «SoftBank не участвует в финансировании»
— переговоры по деньгам сорвались ещё в январе
Oracle теперь главный поставщик чипов для OpenAI.
4,5 гигаватта — этого достаточно, чтобы обеспечить электричеством 3,4 миллиона домов.
OpenAI буквально строит инфраструктуру с потреблением энергии на уровне небольшого города — только ради обучения ИИ.
@ai_machinelearning_big_data
#openai #news #ml #ai
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤6👍3🔥3😁1🤯1
Forwarded from Machinelearning
Hierarchical Reasoning Model, (HRM) - рекуррентная архитектура, которая черпает вдохновение в принципах работы человеческого мозга. В ее основе лежат 2 взаимозависимых рекуррентных модуля:
Эта структура дает модели достигать вычислительной глубины, необходимой для сложных рассуждений, при этом сохраняя стабильность и эффективность во время обучения, чего так не хватает стандартным трансформерам.
Процесс кардинально отличается от того, что происходит в обычных рекуррентных сетях, которые склонны к преждевременной сходимости, когда их скрытое состояние быстро стабилизируется, и дальнейшие вычисления практически прекращаются. В HRM все иначе:
Таким образом, вычислительный путь низкоуровневого модуля перезапускается, направляя его к новой точке локального равновесия. Механизм не дает системе застрять и позволяет ей последовательно выполнять множество различных, но взаимосвязанных этапов решения, выстраивая длинные логические цепочки.
Тестовая модель HRM с 27 млн. параметров, обученная всего на 1000 примерах без какого-либо претрейна или CoT-пар, показала неожиданно высокие результаты .
На задачах, требующих глубокого поиска и перебора вариантов ( Sudoku-Extreme ) и поиск оптимального пути ( Maze 30x30 ), HRM достигла почти идеальной точности, а вот CoT-методы полностью провалились с результатом 0%.
На бенчмарке ARC-AGI-1, HRM показывает точность в 40.3%. Для сравнения, o3-mini-high показала 34.5%, а Claude 3.7 с контекстом 8K - 21.2%.
@ai_machinelearning_big_data
#AI #ML #HRM #SapientInc
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍7🔥4❤2🥰1
Forwarded from Machinelearning
Научить робота уверенно брать предметы - это, кажется, вечная тема в робототехнике. Несмотря на десятилетия исследований, надежные и универсальные системы захвата до сих пор остаются скорее теорией, чем реальностью.
Стоит копнуть глубже стандартных демо, и выясняется, что на сложных бенчмарках, FetchBench например, точность лучших систем едва дотягивает до 20%. Это фундаментальный барьер, мешающий внедрять роботов в реальные, неструктурированные среды.
GraspGen - фреймворк для генерации 6-DOF захватов, который не только показывает SOTA результаты, но и вводит новый, крайне интересный подход к обучению.
В его основе лежит связка из генератора на базе Diffusion Transformer и дискриминатора, знакомая всем по GAN-ам архитектура, но с важным отличием.
Генератор, получив на вход облако точек объекта, предлагает множество вариантов захвата, а дискриминатор оценивает их качество и отсеивает неудачные.
И вот тут-то и кроется основная идея, которую в NVIDIA назвали «On-Generator Training». Вместо того чтобы обучать дискриминатор на заранее собранном офлайн-датасете из "хороших" и "плохих" захватов, его учат непосредственно на тех ошибках, которые генерирует его подопечный - диффузионная модель.
Иными словами, дискриминатор становится экспертом не в захватах вообще, а в типичных промахах конкретного генератора. Он учится распознавать и отбраковывать именно те ложноположительные варианты, которые сам генератор считает удачными, но которые на самом деле приведут к провалу. Такой подход создает мощную и целенаправленную обратную связь.
Разработчики выпустили симулированный датасет, содержащий более 53 млн. примеров захватов для 3 разных типов манипуляторов, включая параллельные захваты и вакуумные присоски.
В симуляции на сете ACRONYM GraspGen показывает AUC (площадь под кривой точность-покрытие) 0.94, это больше ближайших конкурентов на 48%.
На комплексном бенче FetchBench он обошел предыдущих лидеров M2T2 и Contact-GraspNet на 7.8% и 16.9% соответственно.
Но самое главное - это тесты на реальном железе. В экспериментах с роботом UR10 в зашумленной среде GraspGen достиг общей успешности в 81.3%, в то время как M2T2 и AnyGrasp показали лишь 52.6% и 63.7%.
Код, веса моделей и датасет уже доступны на GitHub и Hugging Face.
Авторы позаботились об энтузиастах: есть подробные инструкции по установке через Docker или pip, готовые демо-скрипты, позволяющие визуализировать захваты для своих облаков точек или 3D-моделей буквально в несколько команд.
Более того, GraspGen изначально спроектирован как модульная и расширяемая система. Разработчики предоставляют подробный туториал, который объясняет, как генерировать данные и обучать модели для совершенно новых объектов и, что важнее, новых типов манипуляторов, реализуя принцип BYOD.
Интеграция с симулятором Isaac Lab для еще более продвинутой генерации данных и возможность дообучения на реальных данных.
@ai_machinelearning_big_data
#AI #ML #Robotics #GraspGen #NVIDIA
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤3👍1🔥1
Forwarded from Machinelearning
В основе технологического стека - семейство моделей Codestral, с обновленной моделью Codestral 25.08.
Эта версия показала измеримые улучшения, подтвержденные на реальных кодовых базах: на 30% увеличилось количество принятых автодополнений, на 10% вырос объем сохраняемого после подсказки кода, а число генераций, когда модель производит слишком длинный и некорректный код, сократилось на 50%.
В режиме чата модель также стала лучше: ее способность следовать инструкциям выросла на 5% по метрике IF Eval v8, а общие возможности в программировании улучшились в среднем на 5% по тесту MultiplE.
За это отвечает Codestral Embed, модель для создания векторных представлений, специально спроектированная для кода, а не для обычного текста. По заявлениям Mistral, она превосходит эмбеддинг-решения от OpenAI и Cohere в реальных задачах по извлечению кода.
Ключевое преимущество - возможность настройки размерности эмбеддингов (до 256 измерений с квантованием до INT8), что позволяет балансировать между качеством поиска и хранением данных, сохраняя высокую производительность.
Они реализованные через Devstral - агентскую систему на базе фреймворка OpenHands. Система ориентирована на задачи рефакторинга, генерации тестов и создание pull-реквестов.
На бенче SWE-Bench Verified модель Devstral Small 1.1 выбивает 53.6%, а Devstral Medium - 61.6%, значительно опережая Claude 3.5 и GPT-4.1-mini.
Devstral Small (24 млрд параметров) может работать на одной Nvidia RTX 4090 или Mac с 32 ГБ ОЗУ, что идеально для локальных или изолированных сред.
Все эти возможности объединяются в плагине Mistral Code для IDE от JetBrains и VS Code. Он автодополняет код с помощью Codestral 25.08 и автоматизирует рутину: написание коммитов или docstring’ов через Devstral, и семантический поиск на базе Codestral Embed.
Плагин учитывает контекст из
Git diffs, истории терминала и инструментов статического анализа.Для корпоративных клиентов предусмотрено развертывание в облаке, VPC или полностью on-prem, а также интеграция с SSO, ведение логов аудита и отсутствие обязательной телеметрии.
@ai_machinelearning_big_data
#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
❤4👍2
Forwarded from Machinelearning
🚀 Tencent расширяет экосистему Hunyuan LLM и выкладывают в открытый доступ еще 4 компактных моделей — 0.5B, 1.8B, 4B и 7B!
Эти модели заточены под low-power устройства: ПК, смартфоны, авто, умные дома и пользовательские GPU.
Модели легко настраиваются под вертикальные задачи и запускаются даже на одной карте.
💡 Особенности:
✅ Fast/slow thinking режимы: лаконичные или глубокие ответы
✅ 256K контекст и продвинутые агентные способности (tool use, планирование, reasoning)
✅ Хорошие метрики на тестах по языку, математике и логике
✅ Модели готовы к продакшену — работают с SGLang, vLLM, TensorRT-LLM
🖥 GitHub:
- 0.5B: https://github.com/Tencent-Hunyuan/Hunyuan-0.5B
- 1.8B: https://github.com/Tencent-Hunyuan/Hunyuan-1.8B
- 4B: https://github.com/Tencent-Hunyuan/Hunyuan-4B
- 7B: https://github.com/Tencent-Hunyuan/Hunyuan-7B
🤗 Hugging Face:
- 0.5B: https://huggingface.co/tencent/Hunyuan-0.5B-Instruct
- 1.8B: https://huggingface.co/tencent/Hunyuan-1.8B-Instruct
- 4B: https://huggingface.co/tencent/Hunyuan-4B-Instruct
- 7B: https://huggingface.co/tencent/Hunyuan-7B-Instruct
🔗 Подробнее: https://hunyuan.tencent.com/modelSquare/home/list
@ai_machinelearning_big_data
#Tencent #Hunyuan #ml #llm #ai #opensource
Эти модели заточены под low-power устройства: ПК, смартфоны, авто, умные дома и пользовательские GPU.
Модели легко настраиваются под вертикальные задачи и запускаются даже на одной карте.
💡 Особенности:
✅ Fast/slow thinking режимы: лаконичные или глубокие ответы
✅ 256K контекст и продвинутые агентные способности (tool use, планирование, reasoning)
✅ Хорошие метрики на тестах по языку, математике и логике
✅ Модели готовы к продакшену — работают с SGLang, vLLM, TensorRT-LLM
- 0.5B: https://github.com/Tencent-Hunyuan/Hunyuan-0.5B
- 1.8B: https://github.com/Tencent-Hunyuan/Hunyuan-1.8B
- 4B: https://github.com/Tencent-Hunyuan/Hunyuan-4B
- 7B: https://github.com/Tencent-Hunyuan/Hunyuan-7B
🤗 Hugging Face:
- 0.5B: https://huggingface.co/tencent/Hunyuan-0.5B-Instruct
- 1.8B: https://huggingface.co/tencent/Hunyuan-1.8B-Instruct
- 4B: https://huggingface.co/tencent/Hunyuan-4B-Instruct
- 7B: https://huggingface.co/tencent/Hunyuan-7B-Instruct
🔗 Подробнее: https://hunyuan.tencent.com/modelSquare/home/list
@ai_machinelearning_big_data
#Tencent #Hunyuan #ml #llm #ai #opensource
Please open Telegram to view this post
VIEW IN TELEGRAM
❤5👍3🔥2
Forwarded from Machinelearning
Embedding Atlas — опенсорсный инструмент от Apple для интерактивной визуализации больших наборов векторных представлений, который позволяет не просто смотреть на облако точек, а полноценно с ним работать. И что самое приятное, он способен отрисовывать до нескольких миллионов точек благодаря реализации на WebGPU.
Embedding Atlas сам находит скопления в данных и подписывает их, позволяя мгновенно сориентироваться в общей структуре датасета. Чтобы отделить реальные кластеры от случайных выбросов, используется оценка плотности ядра с отрисовкой контуров плотности.
Решена и вечная проблема визуализаций - "каша" из перекрывающихся точек. Embedding Atlas использует технологию order-independent transparency, так что даже при большом наложении точек картинка остаётся четкой и информативной.
В инструменте есть поиск в реальном времени и нахождение ближайших соседей. Можно ввести текстовый запрос или просто кликнуть на любую точку в облаке, и Embedding Atlas мгновенно подсветит наиболее похожие на нее данные.
Еще есть интерактивный фильтр по метаданным. Например, можно выбрать на гистограмме определенный класс объектов, и визуализация тут же отфильтрует эмбединги, оставив только соответствующие ему точки.
Дает три варианта интеграции: утилиту командной строки для быстрой визуализации датафреймов, виджет для Jupyter, позволяющий встраивать атлас прямо в ноутбуки, и компонент для Streamlit, если вы создаете полноценные веб-приложения.
Этот пакет для тех, кто хочет встроить визуализацию в собственные веб-приложения. Он предоставляет готовые UI-компоненты в виде API:
Table, EmbeddingView, EmbeddingViewMosaic и EmbeddingAtlas.@ai_machinelearning_big_data
#AI #ML #Embedding #Visualisation #Apple
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🤩7❤3👍3
Forwarded from Machinelearning
Google представила g-AMIE (guardrailed-AMIE) — расширенную версию своей исследовательской системы AMIE, которая работает в паре с врачом по принципу асинхронного надзора.
Идея проста: ИИ собирает анамнез, а врач принимает решения. Для этого была разработана многоагентная система на базе Gemini 2.0 Flash и специальный веб-интерфейс "кабинет врача"
Агент-диалог ведёт беседу с пациентом, собирая информацию. Его работа делится на 3 фазы: общий сбор анамнеза, целенаправленная проверка первоначального дифференциального диагноза и заключительная фаза с ответами на вопросы пациента.Агент-ограничитель следит за тем, чтобы агент-диалог не давал никаких индивидуальных медицинских советов, диагнозов или планов лечения, при необходимости перефразируя его ответы.Агент SOAP-записи генерирует подробную медицинскую карту в популярном формате SOAP, разделяя задачи предварительных итогов (жалобы пациента, объективные данные) и вывода (оценка и план лечения).После сбора анамнеза сгенерированная SOAP-запись и черновик заключения отправляются на проверку врачу через «кабинет врача». Врач может редактировать документы и либо одобрить отправку сообщения, либо принять решение о необходимости очной консультации.
Чтобы оценить эффективность такого подхода, было проведено рандомизированное слепое исследование в формате виртуального объективного структурированного клинического экзамена (ОСКЭ) на 60 клинических сценариях.
В исследовании участвовали пациенты, g-AMIE и 2 контрольные группы: врачи общей практики и медсестры-практики/ассистенты врачей. Обеим человеческим группам было предписано работать в тех же ограничениях, что и g-AMIE, то есть только собирать анамнез без предоставления советов. Затем их SOAP-записи и проекты сообщений оценивались группой опытных врачей-наблюдателей.
Во-первых, g-AMIE успешно справился с задачей и ни разу не был уличён в предоставлении индивидуальных медицинских советов.
Во-вторых, его способность извлекать ключевую информацию из беседы с пациентом была оценена выше, чем у обеих контрольных групп. SOAP-записи, сгенерированные g-AMIE, были признаны более полными, точными и читаемыми.
Врачи-наблюдатели чаще предпочитали работать с записями от ИИ и с большей вероятностью одобряли составленные им сообщения для пациентов.
Более того, дифференциальные диагнозы и планы лечения, основанные на данных от g-AMIE, были оценены как более адекватные.
g-AMIE оказался более "многословным", что, с одной стороны, способствовало лучшему установлению контакта с пациентом (тестовые пациенты отметили его эмпатию), но с другой — приводило к более длительному времени проверки записей врачами.
Во-вторых, хотя в записях g-AMIE и встречались галлюцинации, их частота была сопоставима с ошибками памяти у людей.
Интересно, что медсестры и ассистенты врачей показали себя лучше, чем врачи общей практики, как в сборе анамнеза, так и в соблюдении ограничений.
Авторы объясняют это тем, что врачи не привыкли воздерживаться от советов во время консультации и их стандартный рабочий процесс был нарушен. Поэтому результаты не следует интерпретировать как прямое превосходство ИИ над клиницистами в реальном мире, так как люди не были обучены работать в этой новой парадигме.
@ai_machinelearning_big_data
#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍4❤2🔥2🥰1
Forwarded from Machinelearning
По слухам, которые появились из-за поста инженера DeepMind Патрика Лоебера в сети Х, на этой неделе мы увидим инпейнт-модель для редактирования изображений под названием Nano Banana.
Модель наделала шуму на Lmarena, да и тестеры предварительных версий отмечают способность вносить очень точечные изменения в изображение, не затрагивая другие его элементы.
При этом качество изображений, генерируемое Nano Banana сопоставимо с результатами более крупных и ресурсоемких систем.
Официально Google пока не объявляла дату запуска и не раскрывала информацию о ценах.
@ai_machinelearning_big_data
#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
❤7👍3🔥2
Forwarded from Machinelearning
Media is too big
VIEW IN TELEGRAM
Разработкой занимается новое подразделение компании Марка Цукерберга Superintelligence Labs. Модель, которую некоторые внутри компании называют Llama 4.5, должна исправить недостатки предыдущих версий: слабую производительность в кодинге и логических рассуждениях. Параллельно команда работает над исправлением ошибок в уже выпущенных версиях Llama 4 и фоном допиливает флагманскую модель "Behemoth".
businessinsider.com
FastVLM - линейка ультрабыстрых VL-моделей с гибридным энкодером FastViTHD, который значительно сокращает количество визуальных токенов и ускоряет их обработку. В сравнении с LLaVA-1.5, FastVLM показала в 3.2 раза более быстрый TTFT при сопоставимой производительности, а с LLaVa-OneVision модель достигает аналогичных результатов на бенчмарках, используя в 3.4 раза меньший энкодер.
В семейство входят три модели размером 500 миллионов, 1.5 миллиарда и 7 миллиардов параметров. Все они уже доступны на Hugging Face для некоммерческого использования.
huggingface.co
Обновление принесло значительные улучшения в качестве движений, визуальной детализации, согласованности и точности исполнения текстовых запросов. Новая функция Agent позволяет создать 5–30-секундный ролик, просто загрузив одно фото.
Генерация видео в разрешении 360p занимает 5 секунд, а 1080p - около минуты. До 1 сентября 2025 года доступ к V5 предоставляется бесплатно. Модель работает через веб-интерфейс, мобильные приложения и API.
Pixverse в сети X
Интеграция позволяет разработчикам генерировать и рефакторить код, а также общаться с ИИ, не покидая редактор. Изменения применяются в реальном времени и могут быть проверены в интерфейсе, похожем на pull-request.
Gemini работает через открытый протокол Agent Client Protocol, созданный Zed для связи ИИ-агентов со средами разработки. Zed основан на Rust и позиционируется как открытая альтернатива Microsoft VS Code.
developers.googleblog.com
Исследователи из Университета Ваасы предложили дешевую и экологичную альтернативу электронным датчикам для контроля состояния продуктов. Технология основана на использовании функциональных чернил, которые меняют цвет при изменении температуры или влажности, а сверточные нейронные сети с высокой точностью распознают даже малейшие изменения, которые не улавливают традиционные методы машинного зрения. Это решает проблему своевременного обнаружения порчи или повреждений.
Такие индикаторы можно наносить прямо на упаковку вместе с обычными этикетками, что почти не увеличивает стоимость. Технология может найти применение в пищевой промышленности и в фармацевтике для отслеживания условий хранения продукции.
interestingengineering.com
xAI обвиняет Xuechen Li в краже технологий Grok и попытке передать их OpenAI.
Факты:
- Продал акции xAI на $7 млн и уволился.
- Скопировал секретные файлы Grok на личное хранилище.
- Удалял логи и признался письменно.
xAI требует: вернуть и удалить данные, запретить Li работать над ИИ в OpenAI и выплатить компенсацию.
@ai_machinelearning_big_data
#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
❤3👍2🔥2
Forwarded from Machinelearning
💡 Исследователи из ByteDance и Stanford предложили новый метод для генерации длинных видео — Mixture of Contexts.
🔑 В чём проблема:
Когда видео становится длинным, внимание модели сильно «раздувается»: растёт стоимость вычислений, модель теряет детали на генерациях, забывает персонажей и «дрейфует».
⚡ Чем интересен Mixture of Contexts:
- Видео разбивается на куски (кадры, шоты, подписи).
- Каждый запрос выбирает только нужные чанки, вместо того чтобы учитывать всю историю.
- Для этого используется простая оценка релевантности: сравнение признаков чанков с текущим запросом.
- Обязательно учитываются два «якоря»: полный текстовый промпт и локальный шот для деталей видео.
- Causal mask блокирует внимание к будущим кадрам, чтобы не было зацикливаний.
- Дальше применяется Flash Attention только к выбранным чанкам — вычисления растут не с длиной всего видео, а только с полезным контекстом.
📊 Результаты:
- В 7 раз меньше FLOPs
- В 2.2 раза быстрее работа
- На длинных сценах (180k токенов) отсекается 85% ненужного внимания
🎥 Итог:
- Короткие клипы сохраняют качество
- Длинные сцены становятся более плавными, а персонажи — стабильными
- Время генерации заметно сокращается
Главное: модель учится сама понимать, на что смотреть, получая «память» на минуты видео без изменения базовой архитектуры.
🟠 Подробнее
@ai_machinelearning_big_data
#AI #ML #ByteDance #Stanford #videogeneration
🔑 В чём проблема:
Когда видео становится длинным, внимание модели сильно «раздувается»: растёт стоимость вычислений, модель теряет детали на генерациях, забывает персонажей и «дрейфует».
⚡ Чем интересен Mixture of Contexts:
- Видео разбивается на куски (кадры, шоты, подписи).
- Каждый запрос выбирает только нужные чанки, вместо того чтобы учитывать всю историю.
- Для этого используется простая оценка релевантности: сравнение признаков чанков с текущим запросом.
- Обязательно учитываются два «якоря»: полный текстовый промпт и локальный шот для деталей видео.
- Causal mask блокирует внимание к будущим кадрам, чтобы не было зацикливаний.
- Дальше применяется Flash Attention только к выбранным чанкам — вычисления растут не с длиной всего видео, а только с полезным контекстом.
📊 Результаты:
- В 7 раз меньше FLOPs
- В 2.2 раза быстрее работа
- На длинных сценах (180k токенов) отсекается 85% ненужного внимания
🎥 Итог:
- Короткие клипы сохраняют качество
- Длинные сцены становятся более плавными, а персонажи — стабильными
- Время генерации заметно сокращается
Главное: модель учится сама понимать, на что смотреть, получая «память» на минуты видео без изменения базовой архитектуры.
@ai_machinelearning_big_data
#AI #ML #ByteDance #Stanford #videogeneration
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍5❤1
Forwarded from Machinelearning
⚡️ Ling-flash-2.0 теперь в открытом доступе! ⚡️
Модель на 100B параметров, но задействовано всего ≈6.1B активных, что делает модель очень экономной в вычислительной нагрузке.
🚀 Чем хороша Ling-flash-2.0
- Обучена на более чем 20 триллионах токенов с до-обучением и RL-этапами.
- Демонстрирует state-of-the-art производительность среди плотных моделей до 40B параметров.
- Особенно хороша в сложном рассуждении, генерации кода и задачах с фронтендом.
⚙️ Архитектура и эффективность
- MoE-архитектура с активированием лишь части параметров (activation ratio 1/32).
- Много технических фишек: продвинутое распределение экспертов, баланс внимания, схема маршрутизации без вспомогательных потерь и др.
- На железе H20 модель генерирует 200+ токенов в секунду - в 3× быстрее по сравнению с плотной моделью 36B.
- Поддерживает контексты до 128K токенов (с YaRN).
https://huggingface.co/inclusionAI/Ling-flash-2.0
@ai_machinelearning_big_data
#moe #llm #ml #ai #opensource
Модель на 100B параметров, но задействовано всего ≈6.1B активных, что делает модель очень экономной в вычислительной нагрузке.
🚀 Чем хороша Ling-flash-2.0
- Обучена на более чем 20 триллионах токенов с до-обучением и RL-этапами.
- Демонстрирует state-of-the-art производительность среди плотных моделей до 40B параметров.
- Особенно хороша в сложном рассуждении, генерации кода и задачах с фронтендом.
⚙️ Архитектура и эффективность
- MoE-архитектура с активированием лишь части параметров (activation ratio 1/32).
- Много технических фишек: продвинутое распределение экспертов, баланс внимания, схема маршрутизации без вспомогательных потерь и др.
- На железе H20 модель генерирует 200+ токенов в секунду - в 3× быстрее по сравнению с плотной моделью 36B.
- Поддерживает контексты до 128K токенов (с YaRN).
https://huggingface.co/inclusionAI/Ling-flash-2.0
@ai_machinelearning_big_data
#moe #llm #ml #ai #opensource
👍4❤2🔥2
⚡️AI Studio: создание ИИ-агентов без навыков программирования
Yandex B2B Tech представила обновлённую платформу AI Studio. Теперь компании могут собирать ИИ-агентов без навыков программирования, используя облачные генеративные модели. Это поможет снять часть рутинных задач с бухгалтерии, HR и других сотрудников.
🚀 Основные возможности:
- Голосовые агенты на базе realtime API для контакт-центров с ответами в реальном времени.
- AI Search: поиск по изображениям, таблицам и документам, подключение к интернету.
- Мультиагентные сценарии для комплексных задач.
- Готовые решения: резюмирование встреч, SpeechSense для анализа звонков, Нейроюрист для юридических вопросов.
@machinelearning_ru
#ai #agents #cloud #ml
Yandex B2B Tech представила обновлённую платформу AI Studio. Теперь компании могут собирать ИИ-агентов без навыков программирования, используя облачные генеративные модели. Это поможет снять часть рутинных задач с бухгалтерии, HR и других сотрудников.
🚀 Основные возможности:
- Голосовые агенты на базе realtime API для контакт-центров с ответами в реальном времени.
- AI Search: поиск по изображениям, таблицам и документам, подключение к интернету.
- Мультиагентные сценарии для комплексных задач.
- Готовые решения: резюмирование встреч, SpeechSense для анализа звонков, Нейроюрист для юридических вопросов.
@machinelearning_ru
#ai #agents #cloud #ml
❤3👎3👍1😁1
Forwarded from Machinelearning
Media is too big
VIEW IN TELEGRAM
Deutsche Bank предупреждает: нынешний рост инвестиций в ИИ неустойчив.
Расходы на дата-центры и оборудование удерживают США от рецессии, но без них рост ВВП близок к нулю. Goldman оценивает капзатраты в $368 млрд к августу 2025 года.
К 2030 году отрасли потребуется $2 трлн годовой выручки, но прогнозируется дефицит в $800 млрд. Продуктивность от ИИ придёт, но слишком медленно, чтобы оправдать такие масштабы инвестиций.
Fortune
KAT-Dev-32B достигает 62,4% на SWE-Bench Verified, входя в топ-5 среди всех open-source моделей.
KAT-Coder идёт ещё дальше - 73,4%, что ставит его в один ряд с ведущими проприетарными решениями.
HF
InclusionAI анонсировала Ring-flash-linear-2.0, открытое решение с комбинированным вниманием (линейным + стандартным). При активации лишь 6,1 млрд параметров она демонстрирует производительность, сопоставимую с плотной моделью на 40 млрд параметров.
Модель основана на Ling-flash-base-2.0 и дообучена на 1 триллионе токенов. Благодаря использованию MoE и гибридной архитектуре она достигает почти линейной временной сложности и устойчивого потребления памяти - что ускоряет и удешевляет инференс.
Ring-flash-linear-2.0 поддерживает контексты длиной до 128 000 токенов, показывая конкурентные результаты в задачах рассуждения, математики, программирования и генерации текста.
Модель распространяется под лицензией MIT.
HF
В Science Magazine опубликовано исследование, которое описывает новую технологию редактирования ДНК. Она позволяет вносить крупные и точные изменения прямо в нужное место генома человека — то, чего не могли обеспечить существующие методы вроде CRISPR.
CRISPR работает грубо: разрезает ДНК и надеется, что клетка правильно её восстановит. Более точные версии редактируют лишь крошечные участки - десятки или сотню «букв» ДНК. Но большинство болезней связано не с одной мутацией, а с распределёнными изменениями по всему геному.
Учёные нашли решение в бактериальных «прыгающих генах» - так называемых мостовых РНК. Они позволяют безопасно и точно вставлять, удалять или переставлять фрагменты длиной до 1 миллиона пар оснований.
В эксперименте новая технология исправила ДНК-повторы, вызывающие атаксию Фридрейха - редкое неврологическое заболевание. Тот же подход можно применить к болезни Хантингтона и другим тяжёлым наследственным патологиям.
В институте Arc уверены: комбинация их ДНК-модели Evo (для проектирования «здоровых» последовательностей) и метода Bridge recombination (для внедрения изменений) может стать основой будущей «Тьюринговой машины для биологии» — системы, способной переписывать геном с высокой точностью.
Paper
Лицо сохраняется точным, а движения выглядят плавно и естественно.
Главное новшество - два специальных адаптера. ID-adapter закрепляет лицо во всех кадрах, чтобы оно не «менялось» при генерации, а Ref-adapter переносит детали исходного фото - волосы, глаза, текстуру кожи.
Lynx построена на Diffusion Transformer и обучена на базе из 50,2 млн пар изображений и видео с разными выражениями лица, светом и фоном. Это помогает модели уверенно сохранять идентичность человека даже в сложных условиях.
Моделька выйдет персонализированное видео высокого качества, где совпадают лицо, мимика и мелкие детали внешности.
byteaigc
С 10 по 14 ноября участников ждут ежедневные лекции, практические задания и финальный проект для портфолио. В программе — основы архитектуры агентов, работа с Tool Use и API, контекст-инженеринг и память, метрики качества и оптимизация, а также создание первой мультиагентной системы по протоколу Agent2Agent. Регистрация открыта, участие доступно всем без отбора.
Rsvp
@ai_machinelearning_big_data
#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
❤7👍5
Forwarded from Machinelearning
Модель объединяет понимание, генерацию и редактирование аудио без привязки к таймстампам. Основой стал новый токенайзер MingTok-Audio, на котором построен единый Speech LLM. Одновременно выпущен бенчмарк для свободного редактирования речи.
GitHub / Tokenizer / Model / Benchmark
Основатель Coursera Эндрю Ын выпустил бесплатный курс по нейросетям.
В курсе: базовые основы Deep Learning, практические задания и советы по построению карьеры в AI.
Первая лекция уже доступна, все материалы и расписание — открыты. Отличный шанс провести выходные с пользой и глубже разобраться в мире нейросетей.
Первая лекция / Расписание
Почти 40% роста ВВП США за последний квартал обеспечили капитальные вложения в технологии, главным образом связанные с AI.
UBS прогнозирует, что расходы компаний на AI-инфраструктуру достигнут $375 млрд в 2025 году и вырастут до $500 млрд в 2026-м. Но основной рост идёт не от самого AI, а от строительства «фабрик мощности» - дата-центров и инфраструктуры. По оценке Brookfield Asset Management, за ближайшие 10 лет в эту сферу уйдёт $7 трлн.
По данным Минторга США, инвестиции в софт и компьютерное оборудование (без учёта зданий дата-центров) дали четверть всего экономического роста за квартал.
Этот всплеск трат меняет и фондовый рынок: как отмечает Deutsche Bank, индекс S&P 500 вырос на 13.81% с начала года, тогда как равновзвешенный вариант прибавил лишь 7.65%. То есть рост обеспечивают в основном «Великолепная семёрка» технологических гигантов.
X
Дети 4–5 классов учатся два часа утром по индивидуальным программам в науке, математике и чтении, а после обеда занимаются проектами и жизненными навыками.
Учителей здесь называют «гидами» - они мотивируют, а не преподают, получая шестизначные зарплаты. Школа утверждает, что её ученики входят в топ-1% по тестам, хотя педагоги скептически относятся к роли ИИ.
Обучение стоит от $40 000 в год, но основатели считают модель примером будущего образования.
cbsnews
Один из величайших математиков современности, Теренс Тао, использовал искусственный интеллект, чтобы решить задачу на MathOverflow о последовательности наименьших общих кратных.
У него было теоретическое подозрение, что ответ отрицательный, но требовались конкретные числовые параметры для построения контрпримера. Сначала Тао просил ИИ сгенерировать Python-код для поиска, но из-за неверных параметров и долгого времени выполнения этот путь оказался неэффективным.
Затем он перешёл к пошаговому алгоритму: ИИ выполнял эвристические расчёты, помогая сузить диапазон параметров. В итоге удалось получить рабочие значения, которые Тао проверил самостоятельно с помощью короткого Python-скрипта, также созданного ИИ.
Такая стратегия позволила сэкономить часы ручного кодирования и отладки: ИИ не только ускорил поиск, но и выявил несколько ошибок в начальных рассуждениях. Этот случай показывает, как современные системы могут становиться реальными ассистентами даже в фундаментальной математике.
mathstodon
@ai_machinelearning_big_data
#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
❤2👍2
Forwarded from Machinelearning
Media is too big
VIEW IN TELEGRAM
Облачный стартап Lambda объявил о многомиллиардном соглашении с Microsoft на создание новой инфраструктуры для ИИ. Она будет оснащена десятками тысяч чипов Nvidia, в частности системами NVIDIA GB300 NVL72. Точная сумма сделки не раскрывается.
Lambda была основана в 2012 году и специализируется на облачных сервисах для обучения и развертывания ИИ-моделей. Новое соглашение позволит ей значительно нарастить мощности на фоне растущего спроса на ИИ. В планах не только аренда дата-центров, но и строительство собственной инфраструктуры.
lambda.ai
Китайский техногигант выпустил предварительную ризонинг-версию своей топовой модели Qwen3-Max, которая все еще находится на стадии обучения. Модель показала в тестах стопроцентный результат на сложных бенчмарках для оценки логического мышления (AIME 2025 и HMMT).
Под капотом - 1 трлн. параметров на архитектуре MoE, так же как и в родительской Max, Alibaba обещает, что обучение будет продолжено. Попробовать превью уже можно в Qwen Chat и через API Alibaba Cloud.
Qwen в сети X
IBM опубликовала новое семейство открытых моделей Granite 4.0 Nano, которые созданы для работы в составе ИИ-агентов. Версия на 350 млн. параметров может работать на обычном CPU с 8–16 ГБ ОЗУ, а для варианта на 1,5 млрд. хватит GPU с 6-8 ГБ видеопамяти.
Семейство построено на гибридной архитектуре Mamba-2+Transformer, что позволило снизить потребление памяти на 70% и удвоить скорость инференса по сравнению с аналогами. По словам IBM, Granite 4.0 Nano показывают SOTA в следовании инструкциям и использовании инструментов. Все модели под Apache 2.0 и доступны на HuggingFace.
huggingface.co
В Университете KAUST создали ИИ-агента Huxley-Gödel Machine (HGM), который может самосовершенствоваться, изменяя собственный код. Система не затрагивает ядро языковой модели, а переписывает окружающую ее инфраструктуру: управляющую логику, скрипты и инструменты.
Главное отличие от конкурентов в фокусе на долгосрочной продуктивности, а не на результатах в бенчах. Для этого был создан показатель Clade Metaproductivity (CMP), который мониторит совокупную эффективность всех потомков агента.
В тесте SWE-Bench Verified, HGM-агент на базе GPT-5-mini решил 61.4% проблем. Это лучше, чем существующие агенты с той же моделью. Код агента доступен на Github.
arxiv.org
Skyfall-GS способна создавать детализированные и проходимые 3D-модели городов, используя только стандартные спутниковые изображения. В отличие от старых методов, которые могут воссоздать лишь крыши, Skyfall-GS генерирует недостающие элементы, что на выходе дает фотореалистичные городские пространства.
Пайплайн состоит из 3D Gaussian splatting (базовый 3D-каркас города) и диффузионных моделей, которые дорисовывают недостающие элементы (стены зданий и текстуры на уровне земли).
Skyfall-GS работает с 11 FPS на потребительском GPU и, по тестам, лучше аналогичных методик. Код проекта опубликован на GitHub.
skyfall-gs.jayinnn.dev
@ai_machinelearning_big_data
#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
❤7👍2👏1
Forwarded from Machinelearning
Media is too big
VIEW IN TELEGRAM
Президент США подписал указ о создании единой государственной ИИ-платформы. Проект, реализация которого поручена Министерству энергетики, должен радикально ускорить научные исследования и сократить циклы открытий в биотехнологиях и энергетике с нескольких лет до дней.
Инициатива мобилизует инфраструктуру 17 федеральных исследовательских центров. Их суперкомпьютеры и накопленные за десятилетия массивы научных данных будут использованы для обучения специализированных моделей. Новая платформа позволит ИИ-агентам автономно планировать эксперименты, проверять гипотезы и генерировать прогнозы в области химии, биологии и инженерии.
whitehouse.gov
ChatGPT получил обновление, которое устраняет барьер между способами ввода: голосовой чат теперь интегрирован непосредственно в основное окно переписки. Это позволяет пользователям бесшовно переключаться между речью и набором текста, не переходя в отдельный режим.
Теперь во время голосовой сессии можно свободно просматривать историю сообщений, сгенерированные изображения или карты, а ответы ассистента автоматически дублируются в текстовом виде.
Функция уже доступна в мобильных приложениях и веб-версии. Для тех, кто хочет пользоваться голосовым интерфейсом отдельно, OpenAI оставила возможность вернуть его через настройки в разделе Voice Mode.
OpenAi в сети Х
Fara-7B — компактная агентная модель от Microsoft Research на базе Qwen2.5-VL для автономной работы с интерфейсами. Модель умеет анализировать скриншоты, генерировать команды для мыши и клавиатуры, предсказывая точные пиксельные координаты.
В бенчмарках Fara-7B обошла существующие решения и выполняет задачи в разы дешевле крупных моделей - средняя стоимость сессии составляет меньше 3-х центов. Веса модели опубликованы на Hugging Face под лицензией MIT.
microsoft.com
Гарвардская медшкола представила popEVE - нейросеть, способную с высокой точностью выявлять патогенные мутации в геноме для решения проблем диагностики редких наследственных болезней, причины которых врачи зачастую не могут найти годами.
PopEVE объединяет генеративный ИИ с языковой моделью для белков и статистикой человеческих популяций. Система умеет корректно сравнивать опасность мутаций, расположенных в абсолютно разных генах, и выдавать унифицированный клинический рейтинг риска. Предыдущие модели не справлялись с такой кросс-генной калибровкой.
Эффективность системы подтвердили на выборке из 30 000 пациентов. Модель успешно определила причину болезни в трети случаев и попутно обнаружила 123 гена, ранее не связывавшихся с развитием патологий.
harvard.edu
Илон Маск анонсировал амбициозный эксперимент: в 2026 году следующая версия модели xAI бросит вызов сильнейшим киберспортивным командам мира. Матч планируется не просто как шоу, а как критический тест на пути к AGI.
Для чистоты эксперимента инженеры введут жесткие технические ограничения, уравнивающие шансы. Модель не будет подключаться к API игры — она должна «смотреть» на монитор через камеру с имитацией обычного человеческого зрения. Скорость реакции и частоту кликов также лимитируют до физических возможностей человека. Предполагается, что Grok 5 освоит сложные механики MOBA-стратегии с нуля, опираясь только на чтение документации и самостоятельные эксперименты в ходе игры.
Elon Musk в сети Х
@ai_machinelearning_big_data
#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
❤4👍3🔥3
Forwarded from Machinelearning
Media is too big
VIEW IN TELEGRAM
В Школе анализа данных, где готовят специалистов по ИИ, началось обучение по применению ИИ в естественно-научных исследованиях. На программу подали заявки ученые из 37 регионов - больше всего запросов получили от экспертов в областях физики, медицины и химии. В итоге зачислили 50 молодых исследователей: от магистрантов до кандидатов наук из Москвы, Петербурга, Уфы, Иркутска, Владивостока и Екатеринбурга.
Участники изучают основы ИИ и сразу применяют инструменты в своих задачах. С каждой командой работает эксперт ШАДа: помогает выбрать методы и спланировать эксперимент. Если проекту нужны тяжелые вычисления, подключаются мощности Yandex Cloud.
Команда из Institute of Science Tokyo анонсировала фреймворк PianoKPM Net, способный с высокой точностью определять активность мышц рук без использования нательных датчиков. Обычно для этого требуется инвазивная и дорогая электромиография, но новая архитектура реконструирует паттерны мышечных сокращений, анализируя только видеозапись.
В основе системы - уникальный датасет, собранный на базе 12 часов игры профессиональных пианистов, где визуальные данные синхронизированы с реальными сигналами мышц. Технология превращает обычную камеру в диагностический инструмент, что важно для реабилитационной медицины, спортивной аналитики и создания продвинутых интерфейсов «человек-компьютер». Авторы планируют выложить датасет и модель в открытый доступ.
techxplore.com
Project Prometheus поглотил разработчика агентного ИИ General Agents. Сделка прошла в закрытом режиме еще летом и сопровождалась переходом команды инженеров из DeepMind и Tesla в структуру Prometheus. Цель Prometheus: создание ИИ-систем для поддержки сложных производств автомобилестроения и космической отрасли.
Главный актив General Agents - технология Ace для автономного управления интерфейсами и приложениями. Хотя изначально Ace создавался для автоматизации рутинны на ПК, в рамках Prometheus эти наработки, судя по всему, будут масштабированы для индустриальных сценариев.
wired.com
Глава направления Sora в OpenAI Билл Пиблз сообщил, что бесплатные аккаунты теперь ограничены всего 6 видеогенерациями в сутки, так как текущие графические процессоры буквально плавятся от запросов. Это ограничение не выглядит временным: компания прямо предлагает докупать генерации по мере необходимости, хотя условия для подписчиков ChatGPT Plus и Pro пока остались прежними.
Google приняла аналогичные меры, урезав бесплатный доступ к инструменту Nano Banana Pro до 2 изображений в день. Техгигант предупредил, что лимиты могут меняться динамически и без уведомлений. Кроме того, под ограничения попал и доступ бесплатных пользователей к модели Gemini 3 Pro.
theverge.com
ИИ-поисковик получил функцию "persistent memory", которая позволяет запоминать предпочтения, интересы и детали предыдущих диалогов. Теперь система автоматически создает "постоянный контекст" пользователя, а ответы становятся персонализированными и требуют меньше уточняющих запросов.
Perplexity извлекает факты из хранилища памяти и напрямую использует их при формировании ответа. Этот контекстный слой работает поверх любой выбранной модели без потери накопленных знаний о пользователе. Функция полностью управляема: сбор данных можно отключить в настройках, а в режиме инкогнито история не сохраняется.
perplexity.ai
@ai_machinelearning_big_data
#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
❤6👍1🔥1
Forwarded from Machinelearning
Компания представила сразу 2 версии модели для кодинга: флагманскую Devstral 2 (123 млрд. параметров) и облегченную Devstral Small 2 (24 млрд).
Старшая модель выбила 72,2% в бенчмарке SWE-bench Verified, закрепив за собой статус одного из лучших инструментов с открытыми весами.
Благодаря контекстному окну в 256k токенов, алгоритм способен удерживать в памяти структуру больших проектов и корректно управлять зависимостями.
Для локального запуска на GPU или CPU подойдет версия Small 2, опубликованная под лицензией Apache 2.0.
Старшая версия требует серьезного железа (от 4-х H100), но обещает быть до 7 раз экономичнее проприетарных аналогов уровня Claude Sonnet.
Вместе с моделями разработчики анонсировали утилиту Mistral Vibe CLI, которая позволяет внедрять ИИ-агентов непосредственно в терминал для автоматизации рефакторинга и оркестрации изменений сразу в нескольких файлах.
@ai_machinelearning_big_data
#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤2👍2