В твиттер уже утекла системная карта GPT-4.5
«Это наша самая большая модель, которая продолжает парадигму масштабирования претрейна и ризонинга» – пишут в ней
Также в доке есть бенчмарки: много оценок безопасности и чуть-чуть качества. По ощущениям в кодинге хуже, чем o3-mini и даже o1, но отстает не сильно.
Стоит смотреть скорее на приросты относительно GPT-4o (это примерно 10х) + в доке прямо говорят, что это не frontier модель, а новая самая большая модель компании. Она лучше в письме, лучше понимает мир в целом и общение с ней более «человечное».
https://cdn.openai.com/gpt-4-5-system-card.pdf
«Это наша самая большая модель, которая продолжает парадигму масштабирования претрейна и ризонинга» – пишут в ней
Также в доке есть бенчмарки: много оценок безопасности и чуть-чуть качества. По ощущениям в кодинге хуже, чем o3-mini и даже o1, но отстает не сильно.
Стоит смотреть скорее на приросты относительно GPT-4o (это примерно 10х) + в доке прямо говорят, что это не frontier модель, а новая самая большая модель компании. Она лучше в письме, лучше понимает мир в целом и общение с ней более «человечное».
https://cdn.openai.com/gpt-4-5-system-card.pdf
1😐70❤30👍13🔥8
Итак, GPT-4.5 вышла
Еще раз: в сравнении с o1 на математике и кодинге модель хуже (неудивительно, это другой подход). Но нельзя бесконечно скейлить только ризонинг, и, с другой стороны, это самая большая и самая накаченная знаниями о мире модель. Она поглотила МНОГО текста и лучше подходит для простых нетехнических задач, креатива, написания текстов, социального взаимодействия и просто разговоров. То есть, это лучшая модель для НЕайти обывателя.
Отдельно отмечают глубокий элаймент и то, что модель стала безопаснее и этичнее. Ее долго тюнили на предпочтения, и ответы получаются емкие и естественные. Кроме того, в GPT-4.5 сократили процент галлюцинаций.
Пока доступно только Pro, в течение следующей недели добавят в плюс и тим. В API завезут сегодня, цены пока ждем
Блог: openai.com/index/introducing-gpt-4-5/
Еще раз: в сравнении с o1 на математике и кодинге модель хуже (неудивительно, это другой подход). Но нельзя бесконечно скейлить только ризонинг, и, с другой стороны, это самая большая и самая накаченная знаниями о мире модель. Она поглотила МНОГО текста и лучше подходит для простых нетехнических задач, креатива, написания текстов, социального взаимодействия и просто разговоров. То есть, это лучшая модель для НЕайти обывателя.
Отдельно отмечают глубокий элаймент и то, что модель стала безопаснее и этичнее. Ее долго тюнили на предпочтения, и ответы получаются емкие и естественные. Кроме того, в GPT-4.5 сократили процент галлюцинаций.
Пока доступно только Pro, в течение следующей недели добавят в плюс и тим. В API завезут сегодня, цены пока ждем
Блог: openai.com/index/introducing-gpt-4-5/
1👍103❤35🔥12😁6👨💻2🌚1
У OpenAI закончились графические процессоры 😢
По крайней мере, так говорит Сэм Альтман. Вчера после выпуска GPT-4.5 он написал в X:
Скинемся по 200 долларов Сэму на чипы?💵
P.S. Кстати цены на API зверские. 75$ за миллион токенов на input и 150$ (сколько????) на output. Это в два раза дороже, чем o1, o3-mini и 4o вместе взятые.
По крайней мере, так говорит Сэм Альтман. Вчера после выпуска GPT-4.5 он написал в X:
Это гигантская дорогая модель. Мы действительно хотели выпустить ее в версиях Plus и Pro одновременно, но мы сильно выросли, и у нас закончились GPU. На следующей неделе мы добавим десятки тысяч GPU и выпустим ее в Plus. (Скоро их будет сотни тысяч, и я почти уверен, что вы будете использовать все)
Скинемся по 200 долларов Сэму на чипы?
P.S. Кстати цены на API зверские. 75$ за миллион токенов на input и 150$ (сколько????) на output. Это в два раза дороже, чем o1, o3-mini и 4o вместе взятые.
Please open Telegram to view this post
VIEW IN TELEGRAM
1😁162👍20❤9🙈9🔥3⚡2🍌1💘1
Пятый и последний день опенсорса от DeepSeek (будем скучать)
Сегодня у нас целая файловая система 3FS (Fire-Flyer File System). Она глобально оптимизирует работу с данными и в обучении, и в инференсе. То есть позволяет:
🔵 Быстро загружать и сохранять данные для обучения модели
🔵 Мгновенно получать доступ к нужным частям данных, что очень важно для инференса
🔵 Сокращать повторные вычисления и увеличивать скорость работы
Внутри – умная параллельная сортировка, цепочная репликация, KVCache, параллельный чекпоинтинг и другие хаки, особенно актуальные именно для ML-систем. В общем, достаточно масштабно.
В тестах на чтения вся эта красота достигает пропускной способности 6.6 ТиБ/с на 180 узлах: github.com/deepseek-ai/3FS
Сегодня у нас целая файловая система 3FS (Fire-Flyer File System). Она глобально оптимизирует работу с данными и в обучении, и в инференсе. То есть позволяет:
Внутри – умная параллельная сортировка, цепочная репликация, KVCache, параллельный чекпоинтинг и другие хаки, особенно актуальные именно для ML-систем. В общем, достаточно масштабно.
В тестах на чтения вся эта красота достигает пропускной способности 6.6 ТиБ/с на 180 узлах: github.com/deepseek-ai/3FS
Please open Telegram to view this post
VIEW IN TELEGRAM
1❤82🔥36👍25👀10🤯2
Please open Telegram to view this post
VIEW IN TELEGRAM
😁73👍21🔥9🤔7❤3🍌2
This media is not supported in your browser
VIEW IN TELEGRAM
CTO социальных платформ VK Сергей Ляджин в подкасте рассуждал о AI-технологиях в продуктах компании и технологических вызовах, которые в целом нас ожидают.
Это интересно: он говорил не только про улучшение пользовательских сценариев, но и создание новых, которых еще нет. AI меняет нас, мы меняем AI, и каждый раз появляется что-то новое.
Полный выпуск смотрите здесь.
Это интересно: он говорил не только про улучшение пользовательских сценариев, но и создание новых, которых еще нет. AI меняет нас, мы меняем AI, и каждый раз появляется что-то новое.
Полный выпуск смотрите здесь.
😐60👍23❤13🔥7🌚5😁3🙈2🤯1
По интернету пролетела новость о том, что в следующем квартале Meta планирует выпустить собственный ИИ-чат. Компания будет тестировать подписочную систему и добавлять в чат инструменты: все, как в популярных ChatGPT, Сlaude и тд.
Тем временем реакция Альтмана: "ок, пойду сделаю соцсеть"
Тем временем реакция Альтмана: "ок, пойду сделаю соцсеть"
1😁179😎19🔥15👍3🤯3❤1
Ух ты: сегодня на первом месте в топе paper of the day на Hugging Face статья от Sber AI и AIRI
Она посвящена новой и первой опенсорсной (!) модели переноса головы с картинки на картинку GHOST 2.0.
Задача похожа на face swap, но немного сложнее: тут нужно адаптировать голову под всю сцену, следить за цветом кожи, контрастом и другими характеристиками. В то же время, решения получаются практичнее. Например, в отличие от face swap, ничего не ломается, если форма лиц source (откуда переносим) и target (куда переносим) разная.
Архитектура GHOST 2.0 похожа на единственное существовавшее до этого момента решение – модель HeSer (Head Swapper), из которой позаимствовали идею двух основных модулей.
1. Aligner – модуль, реконструирующий голову для вставки в таргет. В основе подобие StyleGAN, входной эмбеддинг для которого генерируют три энкодера. Первые два считывают лицо, прическу и другие детали с source изображения. Последний – позу и выражение лица с target изображения, и меняли относительно HeSer именно его.
В старом решении один из энкондеров был избыточен, обучался с ликами и сильно все портил. Пришлось корректировать и архитектуру, и лосс, и датасет, и процесс трейна. На этом этапе уже виден огромный прогресс по сравнению с HeSer (см. картинку 1).
2. Blender – вставка головы в target фон. В оригинале здесь работала связка извлечения цветного референса для раскраски + сама зашивающая в таргет все маски и изображения модель UNet. Однако оказалось, что генератор цвета провоцирует появления серых областей, а из-за UNet вокруг головы образуется белое пространство.
Поэтому в архитектуре заменили принцип работы и того, и другого. Color Creator теперь сам заполняет все серые области на основе общих оттенков изображения, а в UNet добавили механизм экстраполяции маски, который как бы накладывает фон еще раз поверх вставки головы. При этом, чтобы вырезанных областей от маски не оставалось, картинки еще и постобрабатывали с помощью Kandinsky 2.2. Он с помощью простого запроса качественно закрашивал серость без необходимости файнтюнинга.
Результат – налицо голову. Метрики подросли, да и на глаз качество результатов сильно приятнее предыдущих алгоритмов.
🔥 Страница проекта | Хабр | Статья | Демо
Она посвящена новой и первой опенсорсной (!) модели переноса головы с картинки на картинку GHOST 2.0.
Задача похожа на face swap, но немного сложнее: тут нужно адаптировать голову под всю сцену, следить за цветом кожи, контрастом и другими характеристиками. В то же время, решения получаются практичнее. Например, в отличие от face swap, ничего не ломается, если форма лиц source (откуда переносим) и target (куда переносим) разная.
Архитектура GHOST 2.0 похожа на единственное существовавшее до этого момента решение – модель HeSer (Head Swapper), из которой позаимствовали идею двух основных модулей.
1. Aligner – модуль, реконструирующий голову для вставки в таргет. В основе подобие StyleGAN, входной эмбеддинг для которого генерируют три энкодера. Первые два считывают лицо, прическу и другие детали с source изображения. Последний – позу и выражение лица с target изображения, и меняли относительно HeSer именно его.
В старом решении один из энкондеров был избыточен, обучался с ликами и сильно все портил. Пришлось корректировать и архитектуру, и лосс, и датасет, и процесс трейна. На этом этапе уже виден огромный прогресс по сравнению с HeSer (см. картинку 1).
2. Blender – вставка головы в target фон. В оригинале здесь работала связка извлечения цветного референса для раскраски + сама зашивающая в таргет все маски и изображения модель UNet. Однако оказалось, что генератор цвета провоцирует появления серых областей, а из-за UNet вокруг головы образуется белое пространство.
Поэтому в архитектуре заменили принцип работы и того, и другого. Color Creator теперь сам заполняет все серые области на основе общих оттенков изображения, а в UNet добавили механизм экстраполяции маски, который как бы накладывает фон еще раз поверх вставки головы. При этом, чтобы вырезанных областей от маски не оставалось, картинки еще и постобрабатывали с помощью Kandinsky 2.2. Он с помощью простого запроса качественно закрашивал серость без необходимости файнтюнинга.
Результат – на
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
1👍97🔥45❤16😁8🤯6🤓4🗿4🍌3🌭1
Новое видео от Андрея Карпаты: «Как я использую LLM»
Это большой гайд по тому, как подобрать оптимальный инструмент для ваших задач и при этом сэкономить время и деньги. В программе:
Все таймкоды на видео помечены, общая продолжительность 2 часа. То что нужно на выходные
youtu.be/EWvNQjAaOHw
Это большой гайд по тому, как подобрать оптимальный инструмент для ваших задач и при этом сэкономить время и деньги. В программе:
– Как работают экосистемы LLM
– ChatGPT под капотом
– Ценообразование: как не переплачивать
– Ризонеры: когда и как их использовать
– Поиск в интернете, deep research, tool use
– Что такое advanced voice mode
– Claude и его артефакты
– Cursor
– NotebookLM
– Генераторы видео и картинок
– Память в ChatGPT
– И даже кастомные GPTs
Все таймкоды на видео помечены, общая продолжительность 2 часа. То что нужно на выходные
youtu.be/EWvNQjAaOHw
1👍146❤37🔥21😐3🌭1🍌1
Маржинальность DeepSeek составляет 545%. Или нет?
Сегодня внезапно случился шестой, незапланированный, день опенсорса от DeepSeek. Они рассказали о том, как устроен онлайн-инференс моделей DeepSeek-V3/R1 и о том, сколько они зарабатывают на наценке.
Итак, инференс делится на два этапа: Prefilling и Decoding. То есть сначала модель разбивает запрос на токены и формирует эмбеддинги, а затем генерируют выходные токены один за одним. При этом Prefilling легко распараллелить между кучей GPU и проблем тут нет.
А вот с декодингом все сложнее. Тут возникают задержки из-за обмена данными между процессорами и экспертами MoE. Сюда то как раз и встаивают систему DualPipe, о которой мы подробно рассказывали в четвертый день опенсорса DeepSeek. Благодаря ней этапы передачи данных перекрываются вычислениями.
Интересно так же то, что на каждом слое модели при этом доступны аж по 256 экспертов, хотя для одного запроса активируются всего 8. Зачем? Все просто: если один эксперт оказывается перегружен или занят, токены могут быть направлены к другому, что обеспечивает балансировку нагрузки. Плюсом отказоустойчивость и оптимизация вычислений в разных конфигурациях.
А теперь немного экономики.
➖ Сервис работает на H800. За 24 часа пиковая занятость достигала 278 узлов, а средняя – 226.75 узлов. При условии, что каждый узел содержит 8 GPU, ежедневные затраты составляют примерно $87,072.
➖ Всего за сутки обработано 608 миллиардов входных токенов, из которых 56.3% (342 млрд) – это попадания в on-disk KV cache. Сгенерировано 168 миллиардов выходных токенов (средняя скорость генерации – 20–22 токена в секунду)
➖ При стандартном ценообразовании R1, входящие токены оцениваются в $0.14 в кэше или в $0.55 без кэша, а аутпут токены – $2.19 за миллион. То есть общая выручка составляет $562,027, что приводит к маржинальности 545%.
Но это число, конечно, завышено. Во-первых, у DeepSeek-V3 более низкие цены. Во-вторых, в веб-версии все работает бесплатно. В-третьих, даже на API есть ночные скидки.
И тем не менее, с такими оптимизациями и скоростью система остается очень даже экономически эффективной. Очень интересный шеринг от DeepSeek, в общем, таким очень редко кто делится
https://github.com/deepseek-ai/open-infra-index/blob/main/202502OpenSourceWeek/day_6_one_more_thing_deepseekV3R1_inference_system_overview.md
Сегодня внезапно случился шестой, незапланированный, день опенсорса от DeepSeek. Они рассказали о том, как устроен онлайн-инференс моделей DeepSeek-V3/R1 и о том, сколько они зарабатывают на наценке.
Итак, инференс делится на два этапа: Prefilling и Decoding. То есть сначала модель разбивает запрос на токены и формирует эмбеддинги, а затем генерируют выходные токены один за одним. При этом Prefilling легко распараллелить между кучей GPU и проблем тут нет.
А вот с декодингом все сложнее. Тут возникают задержки из-за обмена данными между процессорами и экспертами MoE. Сюда то как раз и встаивают систему DualPipe, о которой мы подробно рассказывали в четвертый день опенсорса DeepSeek. Благодаря ней этапы передачи данных перекрываются вычислениями.
Интересно так же то, что на каждом слое модели при этом доступны аж по 256 экспертов, хотя для одного запроса активируются всего 8. Зачем? Все просто: если один эксперт оказывается перегружен или занят, токены могут быть направлены к другому, что обеспечивает балансировку нагрузки. Плюсом отказоустойчивость и оптимизация вычислений в разных конфигурациях.
А теперь немного экономики.
Но это число, конечно, завышено. Во-первых, у DeepSeek-V3 более низкие цены. Во-вторых, в веб-версии все работает бесплатно. В-третьих, даже на API есть ночные скидки.
И тем не менее, с такими оптимизациями и скоростью система остается очень даже экономически эффективной. Очень интересный шеринг от DeepSeek, в общем, таким очень редко кто делится
https://github.com/deepseek-ai/open-infra-index/blob/main/202502OpenSourceWeek/day_6_one_more_thing_deepseekV3R1_inference_system_overview.md
Please open Telegram to view this post
VIEW IN TELEGRAM
1❤117👍74🔥26😁3💯2😎2
Парень создал тулзу для прохождения собеседований, прошел с помощью нее в Amazon, а теперь его могут отчислить из университета
Разработчика зовут Чунгин Ли. Сейчас он учится в Колумбийском университете и работает над ИИ-приложением InterviewCoder для прохождения технических интервью. Ежемесячный доход стартапа уже составляет 30 тысяч долларов, а он запустился всего месяц назад.
Так вот около недели назад Чунгин решил испытать свое детище в поле, пошел вместе с InterviewCoder проходить собеседование в Amazon и в итоге «с блеском» получил офер.
Об успехе приложения он радостно рассказал в твиттере, опубликовал на ютубе запись собеса и получил кучу просмотров и пользователей (кстати, работать в Amazon он на самом деле не собирался).
В Amazon тоже увидели твиты парня и, когда поняли, что их «обманули», видимо сильно обиделись. Они написали гневное письмо ему, а затем и в его университет с просьбой «принять меры» в отношении и студента, и приложения, которое он продает. Теперь Чунгина могут отчислить.
Сам он, кстати, прокомментировал письмо так: «Лол, не задавайте тупых вопросов на собеседованиях, и люди не будут пользоваться такими штуками»
Парня жалко, конечно, но если это не лучшая реклама, то что? www.interviewcoder.co/
Разработчика зовут Чунгин Ли. Сейчас он учится в Колумбийском университете и работает над ИИ-приложением InterviewCoder для прохождения технических интервью. Ежемесячный доход стартапа уже составляет 30 тысяч долларов, а он запустился всего месяц назад.
Так вот около недели назад Чунгин решил испытать свое детище в поле, пошел вместе с InterviewCoder проходить собеседование в Amazon и в итоге «с блеском» получил офер.
Об успехе приложения он радостно рассказал в твиттере, опубликовал на ютубе запись собеса и получил кучу просмотров и пользователей (кстати, работать в Amazon он на самом деле не собирался).
В Amazon тоже увидели твиты парня и, когда поняли, что их «обманули», видимо сильно обиделись. Они написали гневное письмо ему, а затем и в его университет с просьбой «принять меры» в отношении и студента, и приложения, которое он продает. Теперь Чунгина могут отчислить.
Сам он, кстати, прокомментировал письмо так: «Лол, не задавайте тупых вопросов на собеседованиях, и люди не будут пользоваться такими штуками»
Парня жалко, конечно, но если это не лучшая реклама, то что? www.interviewcoder.co/
😁312🔥83👍49💯21🫡12❤9🐳3🌚3⚡1🌭1
Вышла интересная статья, в которой показали эффективный способ расширения контекстного окна
Продолжается борьба между сторонниками RAG и модельного подхода, в котором контекстное окно пытаются расширить только за счет архитектурных хаков, а не за счет пост-оберток. На эту тему выходит все больше статей. Самая яркая из последних – Infinite Retrieval из Китая.
В этой работе впервые показали способ расширения контекста, который выбивает 100% на бенчмарке «Иголка в стоге сена». Это когда мы вставляем целевое предложение («иглу») в корпус случайных документов («стог сена») и задаем вопрос, на который можно ответить, только используя информацию в «игле».
Раньше некоторые подходы тоже выбивали 100%, НО только на исходном размере контекстного окна модели. А тут взяли малюсенький Qwen2.5-0.5B-Instruct с контекстом 32К, расширили контекст до 1 миллиона (!) и получили результат 100%. Очень круто. Разбираемся, что под капотом 👇
В целом, все построено на привычном подходе кэширования ключей и значений для критически важной информации. Но есть два ключевых отличия:
Чем-то похоже на недавнюю статью DeepSeek (наш разбор). Очень ждем, пока что-то такое наконец будет в опенсорс продакшене.
arxiv.org/abs/2502.12962
Продолжается борьба между сторонниками RAG и модельного подхода, в котором контекстное окно пытаются расширить только за счет архитектурных хаков, а не за счет пост-оберток. На эту тему выходит все больше статей. Самая яркая из последних – Infinite Retrieval из Китая.
В этой работе впервые показали способ расширения контекста, который выбивает 100% на бенчмарке «Иголка в стоге сена». Это когда мы вставляем целевое предложение («иглу») в корпус случайных документов («стог сена») и задаем вопрос, на который можно ответить, только используя информацию в «игле».
Раньше некоторые подходы тоже выбивали 100%, НО только на исходном размере контекстного окна модели. А тут взяли малюсенький Qwen2.5-0.5B-Instruct с контекстом 32К, расширили контекст до 1 миллиона (!) и получили результат 100%. Очень круто. Разбираемся, что под капотом 👇
В целом, все построено на привычном подходе кэширования ключей и значений для критически важной информации. Но есть два ключевых отличия:
1. Текст предварительно разбивается на логически завершённые сегменты. Так, чтобы в кэше оставались не отдельные токены, а самые важные законченные мысли
2. Определение значимости сегментов встраивается не поверх, а прямо последним слоем в модель. То есть релевантная информация извлекается прямо во время инференса
Чем-то похоже на недавнюю статью DeepSeek (наш разбор). Очень ждем, пока что-то такое наконец будет в опенсорс продакшене.
arxiv.org/abs/2502.12962
🔥93👍42❤16🤯5💘1
GPT-4.5 нужна в основном для следующей thinking модели
По итогу нескольких дней тестирования можно сказать, что новая GPT-4.5, пожалуй, самая неоднозначная модель OpenAI на сегодняшний день. Она много чего знает, но плоха в точных задачах по сравнению с ризонерами, а еще чрезвычайно дорого стоит. Если в чате с ней поговорить прикольно, то в API сценариев, при которых ее стоило бы использовать, почти нет.
Единственная надежда: GPT-4.5 пригодится OpenAI для следующего поколения ризонеров. Также, как V3 послужила базой для R1 и, предположительно, 4o — для o1, GPT-4.5 может стать отправной точкой для o3/o4/GPT-5. И если скачок будет такой же, как у o1 относительно 4o, то эта модель насытит очень многие сложные бенчмарки.
Но есть нюанс: цена. Цены на o1 больше цен на 4o в 6 раз. А GPT-4.5 уже сама по себе конски дорогая, куда уж еще больше? Даже если получится немного снизить цены, как это вышло с o3-mini (она в два раза дешевле 4o), все равно в сухом остатке мы получаем довольно недоступный ИИ.
Будем надеяться, у OpenAI есть туз в рукаве
По итогу нескольких дней тестирования можно сказать, что новая GPT-4.5, пожалуй, самая неоднозначная модель OpenAI на сегодняшний день. Она много чего знает, но плоха в точных задачах по сравнению с ризонерами, а еще чрезвычайно дорого стоит. Если в чате с ней поговорить прикольно, то в API сценариев, при которых ее стоило бы использовать, почти нет.
Единственная надежда: GPT-4.5 пригодится OpenAI для следующего поколения ризонеров. Также, как V3 послужила базой для R1 и, предположительно, 4o — для o1, GPT-4.5 может стать отправной точкой для o3/o4/GPT-5. И если скачок будет такой же, как у o1 относительно 4o, то эта модель насытит очень многие сложные бенчмарки.
Но есть нюанс: цена. Цены на o1 больше цен на 4o в 6 раз. А GPT-4.5 уже сама по себе конски дорогая, куда уж еще больше? Даже если получится немного снизить цены, как это вышло с o3-mini (она в два раза дешевле 4o), все равно в сухом остатке мы получаем довольно недоступный ИИ.
Будем надеяться, у OpenAI есть туз в рукаве
🔥79👍29😁13❤10👨💻3⚡1🤔1