⚡️ GGUF-версии GPT-OSS от Unsloth.

Unsloth конвертировали обе GPT-OSS (20B и 120B) и исправили ошибки, чтобы повысить качество инференса.

🟡Оптимальный сетап:

🟢20B работает со скоростью более 10 токенов/с при полной точности на 14 ГБ оперативной памяти.

🟢120B с полной точностью будет давать >40 токенов/с на примерно 64 ГБ ОЗУ.

Минимальных требований для запуска моделей нет, запуститься можно даже если у вас всего 6 ГБ и только CPU, но инференс будет медленнее.

GPU не требуется , особенно для модели 20B, но его наличие значительно увеличивает скорость вывода (~80 токенов/с). С чем-то вроде H100 можно получить пропускную способность 140 токенов/с, и это значительно быстрее, чем у OpenAI в ChatGPT.

Модели можно запустить через llama.cpp, LM Studio или Open WebUI. Если модель 120B слишком медленная, попробуйте версию 20B - она очень быстрая и работает не хуже o3-mini.

Помимо моделей формата GGUF c полной точностью, Unsloth сделали версии с 4-bit и 16-bit точностью. 4-бинтый квант, кстати, можно файнтюнить на 24 ГБ VRAM.

📌 Подробная пошаговая инструкция по локальному запуску и файнтюну - в документации Unsloth.


🟡Набор моделей
🟡Документация


@ai_machinelearning_big_data

#AI #ML #GPTOSS #GGUF #Unsloth

🚀 Jan-v1: локальная 4B-модель для веба — опенсорсная альтернатива Perplexity Pro

📌 Что умеет
- SimpleQA: 91% точности, чуть выше Perplexity Pro — и всё это полностью локально.
- Сценарии: быстрый веб-поиск и глубокое исследование (Deep Research).

Из чего сделана
- Базируется на Qwen3-4B-Thinking (контекст до 256k), дообучена в Jan на рассуждение и работу с инструментами.

Где запускать
- Jan, llama.cpp или vLLM.

Как включить поиск в Jan
- Settings → Experimental Features → On
- Settings → MCP Servers → включите поисковый MCP (например, Serper)

Модели
- Jan-v1-4B: https://huggingface.co/janhq/Jan-v1-4B
- Jan-v1-4B-GGUF: https://huggingface.co/janhq/Jan-v1-4B-GGUF

@ai_machinelearning_big_data

#ai #ml #local #Qwen #Jan

✔️ Projects в ChatGPT стали доступны для всех.

Функция "Проекты" (Projects) теперь доступна не только по подписке, но и для бесплатных пользователей ChatGPT. "Проекты" работают как цифровые рабочие пространства, где можно объединять чаты, справочные файлы и пользовательские инструкции, связанные с одной долгосрочной задачей. Основная фишка "Проектов" - встроенная память. ChatGPT запоминает контекст всех разговоров и документов в рамках конкретного проекта.

Вместе с этим OpenAI увеличила лимиты на загрузку файлов (до 5 для бесплатных аккаунтов, Plus до 25, а Pro до 40), добавила элементы управления памятью для каждого проекта и возможность их кастомизации. Обновление уже доступно в веб-версии и в приложении для Android, релиз для iOS ожидается в ближайшее время.
OpenAI в сети X

✔️ DeepSeek работает над автономным ИИ-агентом.

Китайский стартап разрабатывает платформу на базе агентного ИИ. Новая система проектируется для самостоятельного выполнения многошаговых задач от имени пользователя, требуя лишь минимальных начальных инструкций.

Ключевой особенностью ИИ-агента станет способность к самообучению и улучшению своих действий на основе предыдущего опыта. По информации от источников, знакомых с планами компании, основатель DeepSeek Лян Вэньфэн нацелен на запуск нового программного обеспечения уже в четвертом квартале этого года.
bloomberg.com

✔️ CoreWeave покупает OpenPipe.

Облачный провайдер CoreWeave объявил о приобретении стартапа OpenPipe. Компания помогает разработчикам создавать кастомизированные ИИ-агенты с использованием RL через свой популярный опен-сорс инструментарий ART (Agent Reinforcement Trainer).

Эта сделка продолжает стратегию CoreWeave по расширению технологического стека, начатую с покупки платформы Weights & Biases в марте. Вся команда и клиентская база OpenPipe переходят в CoreWeave. Финансовые условия сделки стороны не раскрывают.
businesswire.com

✔️ OpenAI запускает платформу для трудоустройства и сертификации ИИ-специалистов.

Компания анонсировала создание собственной экосистемы для найма, которая объединит ИИ-платформу для поиска работы и расширенную программу сертификации, чтобы напрямую связать работодателей с кандидатами, чьи навыки в области ИИ можно верифицировать. Сама платформа будет использовать модели для сопоставления компетенций соискателей с требованиями вакансий, опираясь на собственную таксономию навыков.

Система сертификации вырастет из OpenAI Academy и предложит несколько уровней квалификации: от базовой ИИ-грамотности до продвинутого промпт-инжиниринга. Процесс обучения и сдачи экзаменов будет интегрирован в режим Study непосредственно в ChatGPT. Для корпоративных клиентов предусмотрена интеграция через SSO и API, а также механизм обратной связи для адаптации учебных курсов под реальные запросы рынка.
openai.com

✔️ NVIDIA и Университет Эссекса провели крупнейшую в истории симуляцию в статистической физике.

Инженеры из Университет Эссекса при поддержке NVIDIA установили новый мировой рекорд в компьютерном моделировании. Эксперимент позволил впервые на практике наблюдать термодинамический предел — ключевое понятие, объясняющее, как свойства материи проявляются в макроскопических системах.

Для симуляции использовалась стоечная архитектура NVIDIA GB200 NVL72, которая позволила смоделировать поведение до 70 триллионов взаимодействующих частиц. Система достигла рекордной производительности почти в 115 000 обновлений решетки в наносекунду.

Результаты исследования, опубликованные в Physical Review Research, могут ускорить разработку новых дисплеев, магнитных материалов и дать более глубокое понимание фундаментальных свойств материи.
essex.ac.uk


@ai_machinelearning_big_data

#news #ai #ml

📌Почему языковые модели галлюцинируют.

OpenAI опубликовали исследование о причинах галлюцинации LLM.

Галлюцинации - это не мистический сбой в сознании ИИ, а вполне предсказуемый побочный эффект его обучения.

Представьте, что перед моделью стоит задача бинарной классификации - определить, является ли предложенное утверждение корректным или нет. Математическая выкладка в исследовании проста: уровень ошибок генерации как минимум в 2 раза превышает уровень ошибок классификации. Если модель не способна надежно отличить факт от вымысла, она неизбежно будет этот вымысел генерировать.

🟡Все начинается еще на претрейне.

Даже на идеально чистых данных статистические цели обучения подталкивают модель к генерации ошибок. Особенно это касается фактов, которые редко встречаются в обучающей выборке.

В работе вводится понятие singleton rate — доля фактов, которые появились в данных лишь один раз. Теоретический расклад показывает, что уровень галлюцинаций модели будет как минимум равен этой доле.

Проще говоря, если 20% фактов о днях рождения в датасете встретились единожды, модель будет выдумывать дни рождения как минимум в 20% случаев.

🟡Эксперименты это подтверждают.

Модель DeepSeek-V3, на просьбу назвать день рождения одного из авторов статьи, трижды выдала неверные даты: 03-07, 15-06 и 01-01. Ни одна из них не была даже близка к правильной (осенью).

В другом тесте, где нужно было сосчитать количество букв D в слове DEEPSEEK, та же DeepSeek-V3 выдавала 2 или 3, а модели компании Марка Цукерберга и Claude 3.7 Sonnet доходили до 6 и 7.

При этом базовые модели после претрейна часто показывают отличную калибровку. Например, у предобученной GPT-4 ожидаемая ошибка калибровки составляла всего 0.007, что говорит о высокой статистической адекватности ее предсказаний. Кто бы сомневался.

🟡Почему галлюцинации не исчезают после пост-тренинга и RLHF?

Ответ на этот вопрос - в системе оценки. Большинство современных бенчмарков поощряют угадывание. Модели, по сути, постоянно находятся в режиме сдачи экзамена, где за правильный ответ дают 1 балл, а за пустой бланк или ответ я не знаю - 0. В такой системе оптимальная стратегия при неуверенности - только угадать. Любой шанс на правильный ответ лучше, чем гарантированный ноль.

Эту гипотезу подтвердили анализом популярных оценочных наборов.

В GPQA, MMLU-Pro, Omni-MATH, SWE-bench и HLE используется строго бинарная система оценки (правильно/неправильно). Возможности получить частичный балл за честное признание в незнании там просто нет. Из 10 рассмотренных в исследовании популярных бенчмарков только один, WildBench, присуждает частичные баллы за ответы формата я не знаю. Остальные же фактически наказывают модель за отказ галлюцинировать, создавая эпидемию штрафов за неуверенность и поощряя ее выдавать правдоподобную ложь.

🟡Что делать инженерам.

OpenAI предлагает встраивать явные целевые уровни уверенности в рубрики, вводить поведенческую калибровку и оценивать модели по секциям с разными порогами уверенности.

Еще рекомендуют включают мониторинг singleton-rate на корпусе, измерение вероятности важных ответов, комбинирование RAG с верификацией фактов и изменение лидербордов чтобы ответы я не знаю не штрафовались автоматически.

🔜 Читать статью полностью


@ai_machinelearning_big_data

#AI #ML #LLM #Research #OpenAI

✔️ Deutsche Bank: бум ИИ держит экономику США, но он нестабилен

Deutsche Bank предупреждает: нынешний рост инвестиций в ИИ неустойчив.

Расходы на дата-центры и оборудование удерживают США от рецессии, но без них рост ВВП близок к нулю. Goldman оценивает капзатраты в $368 млрд к августу 2025 года.

К 2030 году отрасли потребуется $2 трлн годовой выручки, но прогнозируется дефицит в $800 млрд. Продуктивность от ИИ придёт, но слишком медленно, чтобы оправдать такие масштабы инвестиций.
Fortune

✔️ KAT-Dev-32B и KAT-Coder - новые модели для Кодинга.

KAT-Dev-32B достигает 62,4% на SWE-Bench Verified, входя в топ-5 среди всех open-source моделей.
KAT-Coder идёт ещё дальше - 73,4%, что ставит его в один ряд с ведущими проприетарными решениями.
HF

✔️ InclusionAI выпустила Ring-flash-linear-2.0 — эффективную гибридную модель

InclusionAI анонсировала Ring-flash-linear-2.0, открытое решение с комбинированным вниманием (линейным + стандартным). При активации лишь 6,1 млрд параметров она демонстрирует производительность, сопоставимую с плотной моделью на 40 млрд параметров.

Модель основана на Ling-flash-base-2.0 и дообучена на 1 триллионе токенов. Благодаря использованию MoE и гибридной архитектуре она достигает почти линейной временной сложности и устойчивого потребления памяти - что ускоряет и удешевляет инференс.

Ring-flash-linear-2.0 поддерживает контексты длиной до 128 000 токенов, показывая конкурентные результаты в задачах рассуждения, математики, программирования и генерации текста.
Модель распространяется под лицензией MIT.
HF

✔️ Новый прорыв в Science Magazine: технология для «переписывания» ДНК

В Science Magazine опубликовано исследование, которое описывает новую технологию редактирования ДНК. Она позволяет вносить крупные и точные изменения прямо в нужное место генома человека — то, чего не могли обеспечить существующие методы вроде CRISPR.

CRISPR работает грубо: разрезает ДНК и надеется, что клетка правильно её восстановит. Более точные версии редактируют лишь крошечные участки - десятки или сотню «букв» ДНК. Но большинство болезней связано не с одной мутацией, а с распределёнными изменениями по всему геному.

Учёные нашли решение в бактериальных «прыгающих генах» - так называемых мостовых РНК. Они позволяют безопасно и точно вставлять, удалять или переставлять фрагменты длиной до 1 миллиона пар оснований.

В эксперименте новая технология исправила ДНК-повторы, вызывающие атаксию Фридрейха - редкое неврологическое заболевание. Тот же подход можно применить к болезни Хантингтона и другим тяжёлым наследственным патологиям.

В институте Arc уверены: комбинация их ДНК-модели Evo (для проектирования «здоровых» последовательностей) и метода Bridge recombination (для внедрения изменений) может стать основой будущей «Тьюринговой машины для биологии» — системы, способной переписывать геном с высокой точностью.
Paper

✔️ ByteDance выпустила модель Lynx, которая превращает одну фотографию человека в реалистичный видеоролик.

Лицо сохраняется точным, а движения выглядят плавно и естественно.

Главное новшество - два специальных адаптера. ID-adapter закрепляет лицо во всех кадрах, чтобы оно не «менялось» при генерации, а Ref-adapter переносит детали исходного фото - волосы, глаза, текстуру кожи.

Lynx построена на Diffusion Transformer и обучена на базе из 50,2 млн пар изображений и видео с разными выражениями лица, светом и фоном. Это помогает модели уверенно сохранять идентичность человека даже в сложных условиях.

Моделька выйдет персонализированное видео высокого качества, где совпадают лицо, мимика и мелкие детали внешности.
byteaigc

✔️ Kaggle и Google проведут бесплатный пятидневный интенсив по ИИ-агентам.

С 10 по 14 ноября участников ждут ежедневные лекции, практические задания и финальный проект для портфолио. В программе — основы архитектуры агентов, работа с Tool Use и API, контекст-инженеринг и память, метрики качества и оптимизация, а также создание первой мультиагентной системы по протоколу Agent2Agent. Регистрация открыта, участие доступно всем без отбора.
Rsvp

@ai_machinelearning_big_data

#news #ai #ml