Data Secrets
77.4K subscribers
6.04K photos
593 videos
20 files
2.43K links
Главный по машинному обучению

Сотрудничество: @veron_28

РКН: clck.ru/3FY3GN
Download Telegram
На случай если вы, также как и мы, пропустили, что вышла YOLO 11, сообщаем: вышла YOLO 11!

Как всегда – быстрее выше сильнее предыдущей версии. Меньше параметров, точность выше, улучшенный фиче экстракшен.

Попробовать:

from ultralytics import YOLO

# Load a COCO-pretrained YOLO11n model
model = YOLO("yolo11n.pt")

# Train the model on the COCO8 example dataset for 100 epochs
results = model.train(data="coco8.yaml", epochs=100, imgsz=640)

# Run inference with the YOLO11n model on the 'bus.jpg' image
results = model("path/to/bus.jpg")
42🔥19👍11🗿4🤯2🤩2🤨2
Тем временем все только и говорят, что о новой LLM от Nvidia, которая на метриках бьет GPT-4o и Sonnet 3.5

На самом деле, конечно, бьет она их не на всех бенчмарках, но на Arena Hard, AlpacaEval 2 и MT-Bench – да, а это уже очень хорошо.

Модель опенсорсная (веса), и под капотом у нее Llama-3.1-70B-Instruct под секретным соусом RLHF.

Также релизнули Llama-3.1-Nemotron-70B-Reward, которая заняла второе место на ревард бенче.
36👍12🔥8🤔6
Вышел PyTorch 2.5 🤩

Все основные изменения связаны с flex attention. Теперь оно сможет принимать на вход маски и скейлы, использовать разреженные блоки, а также передавать параметры сразу в ядра triton. Также добавили CuDNN для SDPA и что-то улучшили в torch.compile

Подробности - в блоге
Please open Telegram to view this post
VIEW IN TELEGRAM
52🔥14👍11
Data Secrets
Обычный день в команде аналитиков
Обычный день в команде аналитиков v2.0
😁179👍15🔥10💯8🤪6❤‍🔥3
На выставке GITEX Global 2024 в Дубае ряд спикеров из Сбера, Института AIRI и группы компаний ЦРТ обсудили развитие технологий искусственного интеллекта в России и за рубежом. Выступления прошли в рамках сессии AI Journey.

Специалисты обсудили достижения в области AI, а также ряд смежных вопросов, напрямую касающихся отрасли. Были затронуты темы:

• Синергии больших языковых моделей (LLM) и классических подходов в разработке AI-решений;
• Адаптация образования к новым AI-инструментам;
• Создания суверенной большой языковой модели, учитывающей локальные стандарты и потребности.

В этом году трек AI Journey также включили в программы ведущих конференций в Узбекистане, Индии и ОАЭ.
😁18👍11🔥5🌭2🍌1💘1
Второй стартап Сэма Альтмана – Worldcoin – показал на мероприятии в Сан-Франциско новую систему сканирования радужных оболочек глаз

Зачем такая система нужна? Чтобы определить, человек ли вы. Вот так вот надо смотреть в будущее. Вообще, все технологии Worldcoin (теперь уже они просто World, кстати) сосредоточены на идее проверки "человечности" и честном распределении благ, созданных ИИ, среди людей. Все это стоит на черепахе под названием блокчейн.

Если для вас это звучит странно – не удивляйтесь: для многих стран мира тоже. Например, правительства некоторых стран ЕС и Кении пытались приостановить работу стартапа из-за "непрозрачности".

Сообщается, что OpenAI и World – несвязные проекты и следуют разным миссиям. Однако ко-фаундер Worldcoin говорит, что они с Альтманом уже обсуждали идеи внедрения криптовалют Worldcoin в продукты OpenAI.
🤯30👍15🤪86🤔3🌚2🗿2❤‍🔥1
Для любителей пофайнтюнить: на Kaggle началось интересное соревнование, в котором опять нужно предсказывать человеческие предпочтения на Chatbot Arena

Задача проста: вам предоставляют рельные диалоги пользователей с Chatbot Arena, а вам нужно научить свою reward модель качественно предсказывать, ответы какой модели юзеру понравятся больше. Это действительно актуальная проблема сегодняшнего ресерча – многие крупные лабы даже выпускают reward модели вместе с основными своими семействами (пример).

Самое интересное: что-то очень похожее, если не идентичное, уже проводилось совсем недавно (мы писали об этом здесь), поэтому для желающих поучаствовать есть отличная точка старта.
👍17🔥74
DeepSeek внезапно зарелизили мультимодальную модель Janus

Названо в честь многоликого бога, видимо: модель может принимать на вход и выплевывать текст и картинки, обрабатывая их унифицированно.

Моделька довольно компактная, она основана на DeepSeek-LLM-1.3b-base, и дообучена на корпусе из 500В токенов. В качестве вижн энкодера используется SigLIP-L: картинки на вход принимаются в разрешении 384х384. А для генерации используется этот токенизатор.

Репа | Веса
21👍17🔥7😁3
Огонь: Facebook Research зашерили библиотеку lingua, заточенную под обучение и инференс LLM в ресерче

Акцент тут именно на слове ресерч. По сути, библиотека создана из компонент PyTorch, которые подобраны и сконфигурированы так, чтобы исследователям было проще проверять новые гипотезы: подбирать лоссы, архитектуру, данные и ид.

Подробности и инструкции по установке – в этом репозитории
🔥61👍127🕊5🍓2
Breaking! Еще одна нобелевка достается…
😁119👍10👏82🐳2
Microsoft переживает, что ее любимый ребенок сепарируется от родителя

Речь об OpenAI, конечно. New York Time пишет, что пятилетнее партнерство подорвало постоянное финансовое давление со стороны OpenAI (также известное как "дайте еще деняк"). Также Microsoft беспокоит, что их ИИ системы слишком сильно завязаны на технологии OpenAI.

И не зря беспокоятся. Ведь теперь, когда OpenAI станет коммерческой организацией, она сможет разорвать сделку, если создаст AGI (это будет прописано в новом соглашении).

Кроме того, именно сейчас обсуждается, сколько именно акций и какие права управления получит IT-гигант после смены структуры стартапа. Интересно, чем это все кончится.
🔥41👍147👻5😁3
Библиотека lingua оказалась не единственным сегодняшним дропом Meta FAIR ресерчеров. Они релизнули целую пачку крутых штук:

➡️ Meta Spirit LM: мультимодальная (речь+текст) LLM с открытым исходным кодом. Есть два варинианта модели: одна попроще, которая немного хуже справляется с генерацией звука – Spirit LM Base, и затюненая на речь Spirit LM Expressive, которая хорошо ловит почти любые интонации и отвечать умеет с более естественнным звучанием.

➡️  Meta Segment Anything Model 2.1: обновленный чекпоинт знаменитого SAM – модели для сегментации. Добавили аугментацию, немного вырастили метрики, оптимизировали модель под последовательности подлиннее.

➡️ Layer Skip: метод для ускорения инференса LLM. Идея понятна из названия: пропускаем часть слоев. Эти слои потом используются для проверки и редакции "ранних" выходов. В репозитории можно найти Layer Skip чекпоинты для Llama 3, Llama 2, и Code Llama, а также исходный код.

➡️ SALSA: моделька для взлома lattice-based криптографии (мировой стандарт шифрования). Звучит неожиданно, но все ради благой цели: "мы надеемся, что сообщество будет опираться на наши исследования, чтобы обеспечить будущую безопасность криптографических систем".

➡️ MEXMA: предобученный cross-lingual энкодер для предложений. Говорят, что хорошо работает на смежных задачах, например на классификации.

➡️ Meta Open Materials: открытые модели и датасеты для задачи materials discovery (открытие новых материалов).

➡️ Self-Taught Evaluator: новый метод генерации синтетических данных для обучения ревард моделей для RLHF без участия человеческих аннотаций.
Please open Telegram to view this post
VIEW IN TELEGRAM
27🔥9❤‍🔥7👍5
В твиттере парад мемов: пользователи фантазируют о будущем с роботами Tesla
1😁8928🔥14👍4😐2🙈1
В компании ByteDance выяснили, что стажер два месяца вставлял палки в колеса соседней команды, которая занималась обучением моделек

Зачем он это делал – непонятно, но получалось у него хорошо. Целых два месяца работы 30 сотрудников из-за него пошли прахом.

Он умудрялся загружать порченные Pickle-файлы, полные вредоносного кода, удалял чекпоинты, специально добавлял баги в корпоративный форк PyTorch, и при всем при этом сидел на созвонах и делал вид, что тоже ищет решение проблемы.

Маньяк нашего времени
😁167🫡22🙈13🤨10👍85🤯5🔥21🐳1