⚡️ GGUF-версии GPT-OSS от Unsloth.

Unsloth конвертировали обе GPT-OSS (20B и 120B) и исправили ошибки, чтобы повысить качество инференса.

🟡Оптимальный сетап:

🟢20B работает со скоростью более 10 токенов/с при полной точности на 14 ГБ оперативной памяти.

🟢120B с полной точностью будет давать >40 токенов/с на примерно 64 ГБ ОЗУ.

Минимальных требований для запуска моделей нет, запуститься можно даже если у вас всего 6 ГБ и только CPU, но инференс будет медленнее.

GPU не требуется , особенно для модели 20B, но его наличие значительно увеличивает скорость вывода (~80 токенов/с). С чем-то вроде H100 можно получить пропускную способность 140 токенов/с, и это значительно быстрее, чем у OpenAI в ChatGPT.

Модели можно запустить через llama.cpp, LM Studio или Open WebUI. Если модель 120B слишком медленная, попробуйте версию 20B - она очень быстрая и работает не хуже o3-mini.

Помимо моделей формата GGUF c полной точностью, Unsloth сделали версии с 4-bit и 16-bit точностью. 4-бинтый квант, кстати, можно файнтюнить на 24 ГБ VRAM.

📌 Подробная пошаговая инструкция по локальному запуску и файнтюну - в документации Unsloth.


🟡Набор моделей
🟡Документация


@ai_machinelearning_big_data

#AI #ML #GPTOSS #GGUF #Unsloth

🚀 Jan-v1: локальная 4B-модель для веба — опенсорсная альтернатива Perplexity Pro

📌 Что умеет
- SimpleQA: 91% точности, чуть выше Perplexity Pro — и всё это полностью локально.
- Сценарии: быстрый веб-поиск и глубокое исследование (Deep Research).

Из чего сделана
- Базируется на Qwen3-4B-Thinking (контекст до 256k), дообучена в Jan на рассуждение и работу с инструментами.

Где запускать
- Jan, llama.cpp или vLLM.

Как включить поиск в Jan
- Settings → Experimental Features → On
- Settings → MCP Servers → включите поисковый MCP (например, Serper)

Модели
- Jan-v1-4B: https://huggingface.co/janhq/Jan-v1-4B
- Jan-v1-4B-GGUF: https://huggingface.co/janhq/Jan-v1-4B-GGUF

@ai_machinelearning_big_data

#ai #ml #local #Qwen #Jan

⚡️ DeepCode — открытая AI-платформу для автоматической генерации кода.

DeepCode превращает научные статьи и технические документы в готовые проекты, включая фронтенд, бэкенд и полноценные репозитории.

🔹 Основные возможности:
• Paper2Code — реализация идей из исследований в рабочий код
• Text2Web — генерация интерфейсов по описанию
• Text2Backend — автоматическое создание масштабируемых серверов
• Поддержка длинных документов и многофайловых проектов

🔜 В ближайшее время разработчики обещают:
• Автоматическую проверку и валидацию кода
• Повышение скорости генерации
• Улучшенную работу с требованиями
• Бенчмарки воспроизведения научных статей (PaperBench)

Проект полностью open source: https://github.com/HKUDS/DeepCode

@pythonl

#deepcode #AI #coding

✔️ Projects в ChatGPT стали доступны для всех.

Функция "Проекты" (Projects) теперь доступна не только по подписке, но и для бесплатных пользователей ChatGPT. "Проекты" работают как цифровые рабочие пространства, где можно объединять чаты, справочные файлы и пользовательские инструкции, связанные с одной долгосрочной задачей. Основная фишка "Проектов" - встроенная память. ChatGPT запоминает контекст всех разговоров и документов в рамках конкретного проекта.

Вместе с этим OpenAI увеличила лимиты на загрузку файлов (до 5 для бесплатных аккаунтов, Plus до 25, а Pro до 40), добавила элементы управления памятью для каждого проекта и возможность их кастомизации. Обновление уже доступно в веб-версии и в приложении для Android, релиз для iOS ожидается в ближайшее время.
OpenAI в сети X

✔️ DeepSeek работает над автономным ИИ-агентом.

Китайский стартап разрабатывает платформу на базе агентного ИИ. Новая система проектируется для самостоятельного выполнения многошаговых задач от имени пользователя, требуя лишь минимальных начальных инструкций.

Ключевой особенностью ИИ-агента станет способность к самообучению и улучшению своих действий на основе предыдущего опыта. По информации от источников, знакомых с планами компании, основатель DeepSeek Лян Вэньфэн нацелен на запуск нового программного обеспечения уже в четвертом квартале этого года.
bloomberg.com

✔️ CoreWeave покупает OpenPipe.

Облачный провайдер CoreWeave объявил о приобретении стартапа OpenPipe. Компания помогает разработчикам создавать кастомизированные ИИ-агенты с использованием RL через свой популярный опен-сорс инструментарий ART (Agent Reinforcement Trainer).

Эта сделка продолжает стратегию CoreWeave по расширению технологического стека, начатую с покупки платформы Weights & Biases в марте. Вся команда и клиентская база OpenPipe переходят в CoreWeave. Финансовые условия сделки стороны не раскрывают.
businesswire.com

✔️ OpenAI запускает платформу для трудоустройства и сертификации ИИ-специалистов.

Компания анонсировала создание собственной экосистемы для найма, которая объединит ИИ-платформу для поиска работы и расширенную программу сертификации, чтобы напрямую связать работодателей с кандидатами, чьи навыки в области ИИ можно верифицировать. Сама платформа будет использовать модели для сопоставления компетенций соискателей с требованиями вакансий, опираясь на собственную таксономию навыков.

Система сертификации вырастет из OpenAI Academy и предложит несколько уровней квалификации: от базовой ИИ-грамотности до продвинутого промпт-инжиниринга. Процесс обучения и сдачи экзаменов будет интегрирован в режим Study непосредственно в ChatGPT. Для корпоративных клиентов предусмотрена интеграция через SSO и API, а также механизм обратной связи для адаптации учебных курсов под реальные запросы рынка.
openai.com

✔️ NVIDIA и Университет Эссекса провели крупнейшую в истории симуляцию в статистической физике.

Инженеры из Университет Эссекса при поддержке NVIDIA установили новый мировой рекорд в компьютерном моделировании. Эксперимент позволил впервые на практике наблюдать термодинамический предел — ключевое понятие, объясняющее, как свойства материи проявляются в макроскопических системах.

Для симуляции использовалась стоечная архитектура NVIDIA GB200 NVL72, которая позволила смоделировать поведение до 70 триллионов взаимодействующих частиц. Система достигла рекордной производительности почти в 115 000 обновлений решетки в наносекунду.

Результаты исследования, опубликованные в Physical Review Research, могут ускорить разработку новых дисплеев, магнитных материалов и дать более глубокое понимание фундаментальных свойств материи.
essex.ac.uk


@ai_machinelearning_big_data

#news #ai #ml

📌Почему языковые модели галлюцинируют.

OpenAI опубликовали исследование о причинах галлюцинации LLM.

Галлюцинации - это не мистический сбой в сознании ИИ, а вполне предсказуемый побочный эффект его обучения.

Представьте, что перед моделью стоит задача бинарной классификации - определить, является ли предложенное утверждение корректным или нет. Математическая выкладка в исследовании проста: уровень ошибок генерации как минимум в 2 раза превышает уровень ошибок классификации. Если модель не способна надежно отличить факт от вымысла, она неизбежно будет этот вымысел генерировать.

🟡Все начинается еще на претрейне.

Даже на идеально чистых данных статистические цели обучения подталкивают модель к генерации ошибок. Особенно это касается фактов, которые редко встречаются в обучающей выборке.

В работе вводится понятие singleton rate — доля фактов, которые появились в данных лишь один раз. Теоретический расклад показывает, что уровень галлюцинаций модели будет как минимум равен этой доле.

Проще говоря, если 20% фактов о днях рождения в датасете встретились единожды, модель будет выдумывать дни рождения как минимум в 20% случаев.

🟡Эксперименты это подтверждают.

Модель DeepSeek-V3, на просьбу назвать день рождения одного из авторов статьи, трижды выдала неверные даты: 03-07, 15-06 и 01-01. Ни одна из них не была даже близка к правильной (осенью).

В другом тесте, где нужно было сосчитать количество букв D в слове DEEPSEEK, та же DeepSeek-V3 выдавала 2 или 3, а модели компании Марка Цукерберга и Claude 3.7 Sonnet доходили до 6 и 7.

При этом базовые модели после претрейна часто показывают отличную калибровку. Например, у предобученной GPT-4 ожидаемая ошибка калибровки составляла всего 0.007, что говорит о высокой статистической адекватности ее предсказаний. Кто бы сомневался.

🟡Почему галлюцинации не исчезают после пост-тренинга и RLHF?

Ответ на этот вопрос - в системе оценки. Большинство современных бенчмарков поощряют угадывание. Модели, по сути, постоянно находятся в режиме сдачи экзамена, где за правильный ответ дают 1 балл, а за пустой бланк или ответ я не знаю - 0. В такой системе оптимальная стратегия при неуверенности - только угадать. Любой шанс на правильный ответ лучше, чем гарантированный ноль.

Эту гипотезу подтвердили анализом популярных оценочных наборов.

В GPQA, MMLU-Pro, Omni-MATH, SWE-bench и HLE используется строго бинарная система оценки (правильно/неправильно). Возможности получить частичный балл за честное признание в незнании там просто нет. Из 10 рассмотренных в исследовании популярных бенчмарков только один, WildBench, присуждает частичные баллы за ответы формата я не знаю. Остальные же фактически наказывают модель за отказ галлюцинировать, создавая эпидемию штрафов за неуверенность и поощряя ее выдавать правдоподобную ложь.

🟡Что делать инженерам.

OpenAI предлагает встраивать явные целевые уровни уверенности в рубрики, вводить поведенческую калибровку и оценивать модели по секциям с разными порогами уверенности.

Еще рекомендуют включают мониторинг singleton-rate на корпусе, измерение вероятности важных ответов, комбинирование RAG с верификацией фактов и изменение лидербордов чтобы ответы я не знаю не штрафовались автоматически.

🔜 Читать статью полностью


@ai_machinelearning_big_data

#AI #ML #LLM #Research #OpenAI

💰 OpenAI заключила гигантский контракт с Oracle на $300 млрд на облачные вычисления сроком примерно на 5 лет - сообщает Wall Street Journal.

Это один из крупнейших договоров на облачные вычисления в истории.

Расходы на инфраструктуру для ИИ продолжают расти рекордными темпами, несмотря на опасения «перегрева» рынка.

⚡ Масштаб сделки:
- OpenAI потребуется 4,5 гигаватта мощности - это больше, чем две плотины Гувера, или электричество для 4 миллионов домов.
- Oracle уже демонстрирует рост: акции компании подскочили, а Ларри Эллисон (глава Oracle) за сутки заработал $101 млрд и стал самым богатым человеком на планете, обогнав Илона Маска.

Рынок ИИ-вычислений превращается в арену сделок планетарного масштаба — где стоимость инфраструктуры измеряется сотнями миллиардов долларов и требует энергопотребления на уровне целых стран.

🟢 Подробнее: wsj .com/business/openai-oracle-sign-300-billion-computing-deal-among-biggest-in-history-ff27c8fe

@ai_machinelearning_big_data

#AI #Cloud #OpenAI #Oracle #DataCenters

✔️ Deutsche Bank: бум ИИ держит экономику США, но он нестабилен

Deutsche Bank предупреждает: нынешний рост инвестиций в ИИ неустойчив.

Расходы на дата-центры и оборудование удерживают США от рецессии, но без них рост ВВП близок к нулю. Goldman оценивает капзатраты в $368 млрд к августу 2025 года.

К 2030 году отрасли потребуется $2 трлн годовой выручки, но прогнозируется дефицит в $800 млрд. Продуктивность от ИИ придёт, но слишком медленно, чтобы оправдать такие масштабы инвестиций.
Fortune

✔️ KAT-Dev-32B и KAT-Coder - новые модели для Кодинга.

KAT-Dev-32B достигает 62,4% на SWE-Bench Verified, входя в топ-5 среди всех open-source моделей.
KAT-Coder идёт ещё дальше - 73,4%, что ставит его в один ряд с ведущими проприетарными решениями.
HF

✔️ InclusionAI выпустила Ring-flash-linear-2.0 — эффективную гибридную модель

InclusionAI анонсировала Ring-flash-linear-2.0, открытое решение с комбинированным вниманием (линейным + стандартным). При активации лишь 6,1 млрд параметров она демонстрирует производительность, сопоставимую с плотной моделью на 40 млрд параметров.

Модель основана на Ling-flash-base-2.0 и дообучена на 1 триллионе токенов. Благодаря использованию MoE и гибридной архитектуре она достигает почти линейной временной сложности и устойчивого потребления памяти - что ускоряет и удешевляет инференс.

Ring-flash-linear-2.0 поддерживает контексты длиной до 128 000 токенов, показывая конкурентные результаты в задачах рассуждения, математики, программирования и генерации текста.
Модель распространяется под лицензией MIT.
HF

✔️ Новый прорыв в Science Magazine: технология для «переписывания» ДНК

В Science Magazine опубликовано исследование, которое описывает новую технологию редактирования ДНК. Она позволяет вносить крупные и точные изменения прямо в нужное место генома человека — то, чего не могли обеспечить существующие методы вроде CRISPR.

CRISPR работает грубо: разрезает ДНК и надеется, что клетка правильно её восстановит. Более точные версии редактируют лишь крошечные участки - десятки или сотню «букв» ДНК. Но большинство болезней связано не с одной мутацией, а с распределёнными изменениями по всему геному.

Учёные нашли решение в бактериальных «прыгающих генах» - так называемых мостовых РНК. Они позволяют безопасно и точно вставлять, удалять или переставлять фрагменты длиной до 1 миллиона пар оснований.

В эксперименте новая технология исправила ДНК-повторы, вызывающие атаксию Фридрейха - редкое неврологическое заболевание. Тот же подход можно применить к болезни Хантингтона и другим тяжёлым наследственным патологиям.

В институте Arc уверены: комбинация их ДНК-модели Evo (для проектирования «здоровых» последовательностей) и метода Bridge recombination (для внедрения изменений) может стать основой будущей «Тьюринговой машины для биологии» — системы, способной переписывать геном с высокой точностью.
Paper

✔️ ByteDance выпустила модель Lynx, которая превращает одну фотографию человека в реалистичный видеоролик.

Лицо сохраняется точным, а движения выглядят плавно и естественно.

Главное новшество - два специальных адаптера. ID-adapter закрепляет лицо во всех кадрах, чтобы оно не «менялось» при генерации, а Ref-adapter переносит детали исходного фото - волосы, глаза, текстуру кожи.

Lynx построена на Diffusion Transformer и обучена на базе из 50,2 млн пар изображений и видео с разными выражениями лица, светом и фоном. Это помогает модели уверенно сохранять идентичность человека даже в сложных условиях.

Моделька выйдет персонализированное видео высокого качества, где совпадают лицо, мимика и мелкие детали внешности.
byteaigc

✔️ Kaggle и Google проведут бесплатный пятидневный интенсив по ИИ-агентам.

С 10 по 14 ноября участников ждут ежедневные лекции, практические задания и финальный проект для портфолио. В программе — основы архитектуры агентов, работа с Tool Use и API, контекст-инженеринг и память, метрики качества и оптимизация, а также создание первой мультиагентной системы по протоколу Agent2Agent. Регистрация открыта, участие доступно всем без отбора.
Rsvp

@ai_machinelearning_big_data

#news #ai #ml

💡 RND1 - новая экспериментальная модель с 30 миллиардами параметров, построенная по архитектуре Sparse Mixture-of-Experts, где активно 3 миллиарда параметров.

Она была преобразована из предварительно обученной авторегрессионной модели (Qwen3-30B-A3B) и затем дополнительно обучена на 500 миллиардах токенов, чтобы полностью поменять поведениие диффузионной модели.

Обычные модели (AR, автогрессионные) пишут текст слово за словом, а RND1 создаёт всё предложение сразу и потом пошагово уточняет его, как будто “проявляет” текст из шума.

Это - Diffusion Language Model (DLM), аналог диффузионных моделей, которые рисуют картинки, только здесь она “рисует” слова.

🔄 Как её сделали

Команда Radical Numerics придумала, как превратить готовую модель в диффузионную без обучения с нуля.

Они просто поменяли тип внимания и дообучили модель на новой задаче.

Этот метод называется AR-to-Diffusion Conversion (A2D) - то есть конверсия из автогрессионной модели в диффузионную.

Как это происходит:
1. Берут сильную GPT-подобную модель.
2. Меняют механизм внимания — теперь модель видит весь контекст сразу.
3. Продолжают обучение по диффузионной задаче.
4. Используют разные скорости обучения для разных частей сети, чтобы модель не забыла старое, но научилась новому способу мышления.

⚙️ Что под капотом

▪ Mixture-of-Experts (MoE) - у модели 30 млрд параметров, но реально работают только 3 млрд за раз. Это делает её мощной, но экономной.

▪ Непрерывное дообучение - старые знания не стираются, а “встраиваются” в новый режим.

▪ Огромные батчи - модель учится на больших партиях данных, чтобы стабилизировать обучение, ведь она не обрабатывает все токены сразу.

✔️ Почему это интересно

- Параллельная генерация - текст создаётся быстрее, без пошаговой задержки.
- Меньше затрат - активных параметров всего 3 млрд, при этом качество как у больших GPT.
- Новая архитектура - открывает дорогу гибридным моделям, сочетающим плюсы AR и DLM.
- Полностью открытый код и веса - можно исследовать, изменять, запускать самому.
- Первый серьёзный шаг к самосовершенствующемуся ИИ- модель может не только обучаться, но и помогать в проектировании следующей версии.

Это реально интересный метод, RND1 показывает, что ИИ можно не просто обучать, а перестраивать - менять его саму логику мышления без начала “с нуля”.

Похоже, это может стать фундаментом для систем Recursive Self-Improvement (RSI), когда ИИ способен создавать и улучшать самого себя.

🟠Blog: https://radicalnumerics.ai/blog/rnd1

🟠Code: https://github.com/RadicalNumerics/RND1

🟠Report: https://radicalnumerics.ai/assets/rnd1_report.pdf

🟠Веса: https://huggingface.co/radicalnumerics/RND1-Base-0910

@ai_machinelearning_big_data


#RND1 #RadicalNumerics #AI #DLM #DiffusionModel #MoE #OpenSource