Разбираем релиз Perforator от Яндекса: система профилирования уровня Google, но в опенсорсе
Яндекс выложил в открытый доступ систему непрерывного профилирования, которую использует внутри компании для анализа производительности сервисов. Если проще, то это инструмент, который анализирует код компании в реальном времени и показывает, где идут лишние расходы на серверы. До этого подобные инструменты были доступны только внутри крупных технологических компаний, за деньги или тратили больше ресурсов на мониторинг.
Что интересного:
🔷 Масштаб внедрения впечатляет: Perforator уже внедрен в крупнейших сервисах Яндекса. К примеру, он мониторит нагрузки серверов Поиска и Рекламы.
🔷 Техническая реализация: Инструмент работает без необходимости модификации исходного кода и использует возможности eBPF для сбора данных прямо в ядре Linux. Поддерживает C, C++, Go и Rust.
🔷 Экономический эффект: до 20% снижение затрат на серверное оборудование.
Ну мед 🍯
Статья: https://habr.com/ru/companies/yandex/articles/875070/
https://github.com/yandex/perforator
Яндекс выложил в открытый доступ систему непрерывного профилирования, которую использует внутри компании для анализа производительности сервисов. Если проще, то это инструмент, который анализирует код компании в реальном времени и показывает, где идут лишние расходы на серверы. До этого подобные инструменты были доступны только внутри крупных технологических компаний, за деньги или тратили больше ресурсов на мониторинг.
Что интересного:
Ну мед 🍯
Статья: https://habr.com/ru/companies/yandex/articles/875070/
https://github.com/yandex/perforator
Please open Telegram to view this post
VIEW IN TELEGRAM
🤯67❤35🔥21👍14🫡7🌚3😐3😁1
🔥85👍25😁11❤6
У некоторых юзеров ChatGPT в модели GPT-4o появился переключатель «Thinking»
Пока непонятно, в чем концепция. Возможно это какой-то low-compute режим рассуждений, возможно переключатель на o1 (?). Пока единственное отличие видится в том, что в 4o можно грузить файлы.
Может быть, так OpenAI собирается раскатить немного ризонинга на фри пользователей (хотя пока непонятно, будет ли фича доступна им вообще).
Пока непонятно, в чем концепция. Возможно это какой-то low-compute режим рассуждений, возможно переключатель на o1 (?). Пока единственное отличие видится в том, что в 4o можно грузить файлы.
Может быть, так OpenAI собирается раскатить немного ризонинга на фри пользователей (хотя пока непонятно, будет ли фича доступна им вообще).
🤔60😁17🔥14❤6👍2🤪2
EpochAI говорят, что в 2025 нас ждет еще больше моделей, обученных на огромных кластерах
Сейчас примерная планка передовых моделей – 10^25 FLOP (10 септиллионов операций с плавающей запятой). В переводе на железо это больше 5к H100 и больше 15к А100.
Всего сейчас таких моделей насчитывают 24. Первой стала GPT-4. В 2023 ее обучали на 25000 А100, следом пошли Inflection-2 и Gemini.
Если тенденции сохранятся, в этом году таких моделей станет намного больше. Нечто подобное уже случалось: GPT-3 обучался на 10^23 FLOP в 2020 году, а к 2024 было уже 80+ моделей выше этого уровня.
epoch.ai/data/large-scale-ai-models
Сейчас примерная планка передовых моделей – 10^25 FLOP (10 септиллионов операций с плавающей запятой). В переводе на железо это больше 5к H100 и больше 15к А100.
Всего сейчас таких моделей насчитывают 24. Первой стала GPT-4. В 2023 ее обучали на 25000 А100, следом пошли Inflection-2 и Gemini.
Если тенденции сохранятся, в этом году таких моделей станет намного больше. Нечто подобное уже случалось: GPT-3 обучался на 10^23 FLOP в 2020 году, а к 2024 было уже 80+ моделей выше этого уровня.
epoch.ai/data/large-scale-ai-models
👍47🔥17❤8
Сэм продолжает тратить инвестиции на мощное железо и пообещал, что завтра нас ждут какие-то апдейты 😉
Please open Telegram to view this post
VIEW IN TELEGRAM
❤58😁17🔥10🍌2👍1
CEO Nvidia вызвали на ковер в Белый Дом
По сообщениям сразу нескольких СМИ Трамп и Хуанг должны встретиться сегодня, в пятницу. Цель встречи неизвестна, предположительно разговор пойдет о DeepSeek и о том, как они могли заполучить GPU несмотря на ограничения США.
Напоминаем, что сразу после выхода R1 акции Nvidia драматично обвалились, убытки компании составили сотни миллиардов долларов
По сообщениям сразу нескольких СМИ Трамп и Хуанг должны встретиться сегодня, в пятницу. Цель встречи неизвестна, предположительно разговор пойдет о DeepSeek и о том, как они могли заполучить GPU несмотря на ограничения США.
Напоминаем, что сразу после выхода R1 акции Nvidia драматично обвалились, убытки компании составили сотни миллиардов долларов
👍86🌚37🔥23😁17❤3🕊2☃1
Модель будет доступна даже для бесплатных юзеров (правда, лимиты будут небольшие, скорее всего). С ней можно будет использовать поиск + она сразу же доступна в API по цене ниже o1.
В зависимости от скейла рассуждений o3 либо немного хуже o1-mini (low режим, самый дешевый), либо немного лучше нее (medium режим), либо обходит даже полноценную o1 (high режим).
🍯 🍯 🍯
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍77😎20❤11🔥7🍌4👏2😁1
Вышли результаты o3-mini на LiveBench
(Livebench примечателен тем, что он постоянно обновляется, минимизируя всевозможные лики и гарантируя, что задачи не устаревают и не становятся слишком простыми. В общем это почти как арена)
На кодинге модель рвет абсолютно всех с огромным отрывом, и в среднем она лучше R1 (но не по математике).
В математике, кстати, сначала результаты были аномально низкими, но затем организаторы признались, что случайно допустили ошибку, и пересчитали среднее.
(Livebench примечателен тем, что он постоянно обновляется, минимизируя всевозможные лики и гарантируя, что задачи не устаревают и не становятся слишком простыми. В общем это почти как арена)
На кодинге модель рвет абсолютно всех с огромным отрывом, и в среднем она лучше R1 (но не по математике).
В математике, кстати, сначала результаты были аномально низкими, но затем организаторы признались, что случайно допустили ошибку, и пересчитали среднее.
👍70🔥17❤12
OpenAI смотрит в сторону опенсорса
Вчера в честь выхода o3-mini Сэм Альтман запустил на реддите AMA (ask me anything). Его спросили, не планирует ли стартап релизить какие-нибудь веса или ресерчи, на что Сэм ответил так:
Кроме того, в этом треде с лидами OpenAI поднялись еще несколько интересных тем:
➖ Сэм признал, что DeepSeek очень хорош. «Мы, конечно, создадим лучшие модели, но сохраним меньшее преимущество, чем раньше», – сказал он.
➖ На вопрос о том, каким будет ИИ в 2030, вице-президент по инжинирингу Шринивас Нараянан предсказал, что к тому времени наше взаимодействие с ИИ «в корне изменится», поскольку он будет постоянно работать над задачами в фоновом режиме от нашего имени.
➖ Вскоре нас ждут обновления в голосовом режиме, а еще OpenAI все еще планирует выпустить GPT-5. Таймлайна пока нет, но Сэм написал: «быстрый взлет ИИ более вероятен, чем я думал пару лет назад».
Прочитать ама полностью можно здесь
Вчера в честь выхода o3-mini Сэм Альтман запустил на реддите AMA (ask me anything). Его спросили, не планирует ли стартап релизить какие-нибудь веса или ресерчи, на что Сэм ответил так:
«Да, мы обсуждаем это. Лично я считаю, что мы оказались на неправильной стороне истории и нам необходимо разработать другую стратегию опенсорса. Но не все в openai разделяют эту точку зрения. Также это не является для нас высшим приоритетом на данный момент»
Кроме того, в этом треде с лидами OpenAI поднялись еще несколько интересных тем:
Прочитать ама полностью можно здесь
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
😁75👍36🔥11❤9🐳3🍌3