Data Secrets
77.3K subscribers
6.04K photos
592 videos
20 files
2.42K links
Главный по машинному обучению

Сотрудничество: @veron_28

РКН: clck.ru/3FY3GN
Download Telegram
Кстати, а вы знали, что в уставе OpenAI явно прописано, что если другая компания будет обгонять их в гонке за AGI, то они бросят конкуренцию и станут помогать этому проекту?

Вот выдержка (опубликовано в 2018 году):

«Мы обеспокоены тем, что разработка AGI на поздней стадии превратится в конкурентную гонку без времени на адекватные меры безопасности. Поэтому, если проект, ориентированный на ценности и безопасность, приблизится к созданию AGI раньше нас, мы обязуемся прекратить конкуренцию и начать помогать этому проекту. Мы проработаем детали в соглашениях для каждого конкретного случая, но типичным условием запуска может быть «больше, чем равные шансы на успех в течение следующих двух лет»


Интересно, а в Stargate это читали? 🙂
Please open Telegram to view this post
VIEW IN TELEGRAM
😁319🔥31💅17🤪138👍4🤔3🐳1
Как с помощью ML создали Геокодер, масштабируемый для разных стран

Команда API Яндекс Карт создала Геокодер c использованием deep learning, который определяет точные локации по запросу пользователя. При этом инструмент:

Использует контрастивное обучение, active learning, аугментацию и LLM-генерацию.

Работает даже с опечатками и “народными” запросами на разных языках.

Можно быстро запустить в новой стране за пару недель.

В статье полное описание механизма работы, почитать полностью можно здесь.
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥49👍1713🌚2
Китай, остановись: Qwen дропнули еще одну новую модель Qwen2.5-Max

Это судя по всему огромная Mixture-of-Expert модель, которую предобучали на 20 триллионах токенах и дообучали, по классике, с помощью файнтюнинга и RLHF.

На метриках она показывает себя на уровне DeepSeek-v3, GPT-4o и Claude 3.5 Sonnet, кое-где даже лучше. На HumanEval, например, набрано 73 с хвостиком, это очень неплохо.

Модель уже можно бесплатно попробовать на HF и в Qwen чате, а также она уже вышла в API

Напоминаем, что предыдущий релиз Qwen состоялся... вчера. Всем желаем такой продуктивности
🫡84🤯3428🔥10👍5😁21
Тут нейросетка DeepSeek заявляет, что вообще-то она YandexGPT

Причина простая: разрабы минимизировали стоимость обучения, используя буквально все данные из интернета, в том числе и синтетические от YandexGPT😐
Please open Telegram to view this post
VIEW IN TELEGRAM
1😁417🔥76🌚169👀7🫡5🍌2
Альтман с утра радует селфи с Наделлой и пишет, что сотрудничество OpenAI и Microsoft выходит на новый уровень

Шире улыбка == больше GPU
😁213👍21💅17🔥8🍌4😐42🗿2
Media is too big
VIEW IN TELEGRAM
Тем временем вокруг DeepSeek продолжают строить теории заговора

Один из крупнейших ИИ-инвесторов в мире Дэвид О. Сакс на американском телевидении говорит, например, что R1 – это дистилляция из o1, и этому есть доказательства.

В стартапе Альтмана, видимо, позицию разделяют: Bloomberg сообщает, что Microsoft начали расследовать возможную "кражу" данных OpenAI компаниями из группы DeepSeek.

"Должно быть обидно, когда кто-то крадет твою интеллектуальную собственность и делает из этого прибыль" – комментируют в Твиттере статью Bloomberg пользователи. На данный момент на стартап подали уже более 10 групповых исков, связанных с авторскими правами.
😁221🤪59🔥14🤔9👍81🍌1
HuggingFace делятся статистикой: количество скачиваний и лайков на аккаунте DeepSeek растет вертикально и R1 уже вошла в топ-10 самых залайканных моделей в истории платформы

P.S. не будьте как HuggingFace, следите за читаемостью цветовой палитры на ваших графиках
👍152😁88🔥3010🤯2
Ян Лекун: «Реакция рынка на DeepSeek необоснована»

«Большинство заблуждается по поводу инвестиций в AI-инфраструктуру. Большая часть этих миллиардов тратится на инфраструктуру для инференса, а не на обучение.

Запуск AI-ассистентов для миллиардов людей требует огромных вычислительных ресурсов. Если добавить обработку видео, логическое рассуждение, работу с памятью и другие возможности в AI-системы, стоимость их работы будет только расти.

Единственный важный вопрос — будут ли ваши пользователи готовы платить достаточно (напрямую или косвенно), чтобы оправдать капитальные и операционные затраты. »


Переводим: по мнению Лекуна, качество модели не имеет смысла, если у компании нет устойчивой экономики. Другими словами, даже если DeepSeek технологически конкурентоспособен, его способность изменить рынок зависит только от того, сможет ли он эффективно монетизироваться.

Тем временем OpenAI, которые работают в огромный минус уже 10 лет: 😐
Please open Telegram to view this post
VIEW IN TELEGRAM
😁282👍51🤔14🗿105👌3🤯1👻1
Слив данных DeepSeek. Что известно?

Сегодня ночью компания Wiz, которая занимается облачной кибер-безопасностью, объявила у себя в блоге, что обнаружила открытую базу данных DeepSeek, содержащую «чувствительную информацию».

Эта база данных ClickHouse включает в себя более миллиона строк логов, содержащих историю чатов, секретные ключи, детали бэкенда и другую высококонфиденциальную информацию.


Никаких особых навыков белым хакерам не потребовалось: они просто поискали по субдоменам с необычными портами, и нашли хосты, которые привели к БД. Чтобы в нее зайти, также не потребовалось никакой аутентификации, и ресерчеры сразу попали на страницу с доступом к исполнению SQL запросов и добрались до таблиц.

Хакеры предупреждают, что если ИИ будет развиваться такими темпами и дальше, а разработчики не будут уделять нужного внимания безопасности, нас всех ждут еще более ужасные утечки.

DeepSeek ситуацию пока не прокомментировали
🤯190👍30🌭20😐12😁109🌚3👌1😎1
А вот и более приятные новости: там заехал PyTorch 2.6!

🔷 Теперь torch.compile наконец можно использовать с последним Python 3.13

🔷 AOTInductor – компилятор для ускорения моделей – получил сразу несколько новых фичей. Теперь в нем появился "минификатор", который помогает находить ошибки в моделях, создавая минимальный код, воспроизводящий проблему.

Также добавили совместимость в режиме режим ABI (это означает, что ничего гарантировано не сломается при переезде на будущие версии торча). А еще появился новый формат упаковки моделей и поддержка вычислений на GEMM/CONV.

🔷 Появился параметр torch.compiler.set_stance, с помощью которого можно управлять поведением torch.compile. Например, настроить, чтобы код выполнялся в "жадном" режиме (без лишней компиляции).

Полный список обновлений можно посмотреть здесь
Please open Telegram to view this post
VIEW IN TELEGRAM
55👍27🔥159
Грядет Llama4 reasoning!

От этом написал на фейсбуке Марк Цукерберг. Он также говорит, что Meta уже закончили претрейн Llama4 mini, и что полномасштабная Llama4 станет omni-моделью (как GPT-4o) и будет обладать фичами агентов (как Sonnet).

Я думаю, что 2025 вполне может стать годом, когда Llama и опенсорс станут самыми передовыми и широко используемыми моделями ИИ.

Наша цель при создании Llama 3 состояла в том, чтобы сделать модели с открытым исходным кодом просто конкурентоспособными по сравнению с закрытыми моделями, а цель Llama 4 — занять лидирующие позиции на рынке.


Ну какова гонка! 🤩
Please open Telegram to view this post
VIEW IN TELEGRAM
122🔥60👍27❤‍🔥2🤔2
Сегодня опубликовали международный AI Safety Report, в котором неожиданно показали некоторые ранние метрики o3

График наверху (конкретные модели, с которыми сравнивали, не указывают, тут только абстрактное сравнение относительно дат релизов). В отчете результаты прокомментировали так:

Это значительно более высокие результаты, чем у любой модели до этого, в ряде самых сложных тестов в области программирования, абстрактного и научного мышления.

В некоторых из этих тестов o3 превосходит многих (но не всех) экспертов-людей. Кроме того, она совершает прорыв в ключевом тесте на абстрактное мышление, который многие эксперты до недавнего времени считали недостижимым.


Полностью отчет можно посмотреть здесь (300 страниц на секундочку!)
🔥50👍207😁2🍌1
Разбираем релиз Perforator от Яндекса: система профилирования уровня Google, но в опенсорсе

Яндекс выложил в открытый доступ систему непрерывного профилирования, которую использует внутри компании для анализа производительности сервисов. Если проще, то это инструмент, который анализирует код компании в реальном времени и показывает, где идут лишние расходы на серверы. До этого подобные инструменты были доступны только внутри крупных технологических компаний, за деньги или тратили больше ресурсов на мониторинг.

Что интересного:

🔷 Масштаб внедрения впечатляет: Perforator уже внедрен в крупнейших сервисах Яндекса. К примеру, он мониторит нагрузки серверов Поиска и Рекламы.

🔷 Техническая реализация: Инструмент работает без необходимости модификации исходного кода и использует возможности eBPF для сбора данных прямо в ядре Linux. Поддерживает C, C++, Go и Rust.

🔷 Экономический эффект: до 20% снижение затрат на серверное оборудование.

Ну мед 🍯

Статья: https://habr.com/ru/companies/yandex/articles/875070/

https://github.com/yandex/perforator
Please open Telegram to view this post
VIEW IN TELEGRAM
🤯6735🔥21👍14🫡7🌚3😐3😁1
Воу: вышел Mistral 3 Small

24B параметров, лицензия Apache 2.0, на инференсе летает со скоростью 150 токенов/секунду. По метрикам сопоставима с Llama 3.3 70B, Qwen 2.5 32B и GPT-4o mini.

Блогпост здесь

Веса уже на торенте, ссылка тут
🔥85👍25😁116
У некоторых юзеров ChatGPT в модели GPT-4o появился переключатель «Thinking»

Пока непонятно, в чем концепция. Возможно это какой-то low-compute режим рассуждений, возможно переключатель на o1 (?). Пока единственное отличие видится в том, что в 4o можно грузить файлы.

Может быть, так OpenAI собирается раскатить немного ризонинга на фри пользователей (хотя пока непонятно, будет ли фича доступна им вообще).
🤔60😁17🔥146👍2🤪2