Data Secrets
77.3K subscribers
6.04K photos
592 videos
20 files
2.42K links
Главный по машинному обучению

Сотрудничество: @veron_28

РКН: clck.ru/3FY3GN
Download Telegram
Разбираем релиз Perforator от Яндекса: система профилирования уровня Google, но в опенсорсе

Яндекс выложил в открытый доступ систему непрерывного профилирования, которую использует внутри компании для анализа производительности сервисов. Если проще, то это инструмент, который анализирует код компании в реальном времени и показывает, где идут лишние расходы на серверы. До этого подобные инструменты были доступны только внутри крупных технологических компаний, за деньги или тратили больше ресурсов на мониторинг.

Что интересного:

🔷 Масштаб внедрения впечатляет: Perforator уже внедрен в крупнейших сервисах Яндекса. К примеру, он мониторит нагрузки серверов Поиска и Рекламы.

🔷 Техническая реализация: Инструмент работает без необходимости модификации исходного кода и использует возможности eBPF для сбора данных прямо в ядре Linux. Поддерживает C, C++, Go и Rust.

🔷 Экономический эффект: до 20% снижение затрат на серверное оборудование.

Ну мед 🍯

Статья: https://habr.com/ru/companies/yandex/articles/875070/

https://github.com/yandex/perforator
Please open Telegram to view this post
VIEW IN TELEGRAM
🤯6735🔥21👍14🫡7🌚3😐3😁1
Воу: вышел Mistral 3 Small

24B параметров, лицензия Apache 2.0, на инференсе летает со скоростью 150 токенов/секунду. По метрикам сопоставима с Llama 3.3 70B, Qwen 2.5 32B и GPT-4o mini.

Блогпост здесь

Веса уже на торенте, ссылка тут
🔥85👍25😁116
У некоторых юзеров ChatGPT в модели GPT-4o появился переключатель «Thinking»

Пока непонятно, в чем концепция. Возможно это какой-то low-compute режим рассуждений, возможно переключатель на o1 (?). Пока единственное отличие видится в том, что в 4o можно грузить файлы.

Может быть, так OpenAI собирается раскатить немного ризонинга на фри пользователей (хотя пока непонятно, будет ли фича доступна им вообще).
🤔60😁17🔥146👍2🤪2
EpochAI говорят, что в 2025 нас ждет еще больше моделей, обученных на огромных кластерах

Сейчас примерная планка передовых моделей – 10^25 FLOP (10 септиллионов операций с плавающей запятой). В переводе на железо это больше 5к H100 и больше 15к А100.

Всего сейчас таких моделей насчитывают 24. Первой стала GPT-4. В 2023 ее обучали на 25000 А100, следом пошли Inflection-2 и Gemini.

Если тенденции сохранятся, в этом году таких моделей станет намного больше. Нечто подобное уже случалось: GPT-3 обучался на 10^23 FLOP в 2020 году, а к 2024 было уже 80+ моделей выше этого уровня.

epoch.ai/data/large-scale-ai-models
👍47🔥178
Data просто хочет быть свободной
😁330👍6017💯10🔥52
Сэм продолжает тратить инвестиции на мощное железо и пообещал, что завтра нас ждут какие-то апдейты 😉
Please open Telegram to view this post
VIEW IN TELEGRAM
58😁17🔥10🍌2👍1
CEO Nvidia вызвали на ковер в Белый Дом

По сообщениям сразу нескольких СМИ Трамп и Хуанг должны встретиться сегодня, в пятницу. Цель встречи неизвестна, предположительно разговор пойдет о DeepSeek и о том, как они могли заполучить GPU несмотря на ограничения США.

Напоминаем, что сразу после выхода R1 акции Nvidia драматично обвалились, убытки компании составили сотни миллиардов долларов
👍86🌚37🔥23😁173🕊21
🚀 Вышла o3-mini

Модель будет доступна даже для бесплатных юзеров (правда, лимиты будут небольшие, скорее всего). С ней можно будет использовать поиск + она сразу же доступна в API по цене ниже o1.

В зависимости от скейла рассуждений o3 либо немного хуже o1-mini (low режим, самый дешевый), либо немного лучше нее (medium режим), либо обходит даже полноценную o1 (high режим).

🍯 🍯 🍯
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍77😎2011🔥7🍌4👏2😁1
Вышли результаты o3-mini на LiveBench

(Livebench примечателен тем, что он постоянно обновляется, минимизируя всевозможные лики и гарантируя, что задачи не устаревают и не становятся слишком простыми. В общем это почти как арена)

На кодинге модель рвет абсолютно всех с огромным отрывом, и в среднем она лучше R1 (но не по математике).

В математике, кстати, сначала результаты были аномально низкими, но затем организаторы признались, что случайно допустили ошибку, и пересчитали среднее.
👍70🔥1712
OpenAI смотрит в сторону опенсорса

Вчера в честь выхода o3-mini Сэм Альтман запустил на реддите AMA (ask me anything). Его спросили, не планирует ли стартап релизить какие-нибудь веса или ресерчи, на что Сэм ответил так:

«Да, мы обсуждаем это. Лично я считаю, что мы оказались на неправильной стороне истории и нам необходимо разработать другую стратегию опенсорса. Но не все в openai разделяют эту точку зрения. Также это не является для нас высшим приоритетом на данный момент»


Кроме того, в этом треде с лидами OpenAI поднялись еще несколько интересных тем:

Сэм признал, что DeepSeek очень хорош. «Мы, конечно, создадим лучшие модели, но сохраним меньшее преимущество, чем раньше», – сказал он.

На вопрос о том, каким будет ИИ в 2030, вице-президент по инжинирингу Шринивас Нараянан предсказал, что к тому времени наше взаимодействие с ИИ «в корне изменится», поскольку он будет постоянно работать над задачами в фоновом режиме от нашего имени.

Вскоре нас ждут обновления в голосовом режиме, а еще OpenAI все еще планирует выпустить GPT-5. Таймлайна пока нет, но Сэм написал: «быстрый взлет ИИ более вероятен, чем я думал пару лет назад».

Прочитать ама полностью можно здесь
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
😁75👍36🔥119🐳3🍌3