Data Secrets
77.4K subscribers
6.07K photos
593 videos
20 files
2.44K links
Главный по машинному обучению

Сотрудничество: @veron_28

РКН: clck.ru/3FY3GN
Download Telegram
Data Secrets
С вас 200 долларов
С вас 200 долларов v2
😁373🔥38🌚16👍83👏3🤯3🦄1
Media is too big
VIEW IN TELEGRAM
Помните Model Context Protocol от Anthropic?

Это открытый протокол, который позволяет интегрировать любую LLM в любой источник данных. С помощью MCP клиенты (то есть LLM или другие ИИ-инструменты) могут подсоединяться к любому совместимому серверу (то есть приложению или другому источнику данных). Побробности – в этом нашем посте.

Так вот, MCP вызвал настолько широкий и позитивный отклик а сообществе, что стартап даже решил провести хакатон именно на основе этой технологии. Он прошел на выходных: всего за 3 часа участникам нужно было выдать какую-то интересную идею применения MCP и воплотить ее. Вот победители:

– Приз зрительских симпатий: Santa Claude – сервис для автоматического серчинга новогодних подарков и их заказа с amazon.

– Productivity award: Clauduct Manager – ИИ-продакт, который создает, сортирует и пишет таски и тикеты в Linear.

– Code award: Claude Voyager – соединение клода с окружением, в котором он может полностью автономно управлять проектом.

Все эти проекты кажутся привычными. Но их смысл в том, что это НЕ кастомные решения по интеграции модельки в сервис, а реализованные всего за пару часов идеи применения готового протокола, и это очень круто. Если хотите попробовать поиграть с MCP сами, то наверху мы прикрепили краткий видео-гайд из Твиттера с объяснением того, как это сделать
👍42🔥1311
Data Secrets
На бенчмарке MERA опубликовали модель, которую обходит только GPT-4о На ключевом русскоязычном ИИ-бенчмарке MERA второе место теперь занимает новая модель, которая обходит все русскоязычные модели в мире и уступает только GPT-4о. Вместо названия модели неизвестные…
Тайна елочки на бечмарке раскрыта: это новые мощные модели от Т-Технологий, куда входит Т-Банк

В релиз вошли две языковые модели – новая T-Pro на 32B параметров и обновленная T-Lite на 7В. Обе стали SOTA русского языка среди открытых моделей на индустриальных бенчмарках (MERA, ruMMLU, Ru Arena Hard, MT Bench и AlpacaEval).

Под капотом обеих моделей Qwen-2.5, который дообучали с помощью Continual Pretraining. Это чтобы модель прокачалась на русском, но не забыла свои базовые навыки и не просела на метриках, как это часто бывает. К тому же, такой подход на 80-90% сокращает косты.

Интересно, что это именно узконаправленные открытые модели. То есть, в отличие от универсального ChatGPT, они специализируются на решении конкретных задач. Соответственно, у них отдельно прокачан уровень доменных знаний и умение выполнять практические задачи бизнеса. Получается, теперь все могут абсолютно бесплатно брать T-Pro и T-Lite и идти прикручивать их к своим голосовым помощникам, агентам поддержки и пр. Б – буст!

Веса уже лежат на HuggingFace
🎄64👍287❤‍🔥5😐2🤝2👀1🤪1
В Meta показали метод Coconut, который позволяет моделям строить цепочки ризонинга не на ествественном языке, а в латентном пространстве

Забавное название Coconut – это сокращение от Chain of Continuous Thought. В целом, это та же цепочка мыслей, просто не на естественном языке, а внутри скрытого слоя. Конкретнее: в CoT для ризонинга шаг за шагом в инпут модели добавляются сами токены аутпута один за одним, а в работе Meta вместо токенов используются недекодированные эмбеддинги с последнего слоя.

Это немного похоже на недавнюю работу Microsoft (разбор мы делали здесь), за исключением того, что там рассматривались агентские системы, а тут модель вместо других экземпляров общается как бы сама с собой.

Результаты получились неоднозначные: например, на GSM8k Coconut выбил 34,1%, когда как ванильный CoT достиг 42,9%. Но вот на бенчмарке логических рассуждений ProntoQA разрыв был на 1пп уже в пользу Coconut, а на ProsQA метод показал себя лучше СoT аж на 20пп! Ну и плюсом ко всему Coconut, естественно, быстрее.

Статья полностью тут
👍34🔥139😁3
⚫️ Объявлены результаты NeurIPS 2024 Best Paper Awards

Best Paper Awards – вообще очень престижная награда, тем более на NeurIPS, которая считается лучшей ML-конференцией в мире. Вот кто получил награду в этот раз:

➡️ Visual Autoregressive Modeling: Scalable Image Generation via Next-Scale Prediction. Статья про новую авторегрессионную вижн модель. В отличие от классических авторегрессий, тут прогнозируется не следующий токен, а следующий скейл. Так авторегрессия становится больше похожа на диффузию: такой алгоритм на каждом шаге прогнозирования тоже как бы добавляет все более и более мелкие детали к изображению.

Вы, кстати, удивитесь, но один из авторов этой статьи – тот самый стажер, который два месяца вставлял палки в колеса соседней команды, загружая порченные Pickle-файлы, полные вредоносного кода, удаляя чекпоинты, специально добавляя баги в корпоративный форк PyTorch и тд. Бывает же.

➡️Stochastic Taylor Derivative Estimator: Efficient amortization for arbitrary differential operators. В этой статье предлагается метод стохастической оценки производной Тейлора, который позволяет ускорить обучения нейросетей в случае, если используются производные высокого порядка. До этого предлагались только методы, которые понижали сложность либо относительно порядка производной, либо относительно размерности вектора, но при этом один из аспектов всегда страдал. Здесь же предложен более общий подход, оптимизирующий и то, и то.

➡️ В номенации "Datasets & Benchmarks" победила статья The PRISM Alignment Dataset про самый большой в мире открытый датасет человеческих предпочтений. Особая ценность в том, что датасет мультикультурный: представлены данные из 75 стран и от людей с совершенно разными демографическими фичами.

Немного раньше, в конце ноября, также объявляли победителей премии Test of Time Paper Awards NeurIPS 2024. Эта награда выдается старым статьям, которые прошли испытание временем. В прошлом году награду получил word2vec (пост), а в этом году она досталась GAN'у (Ян Гудфеллоу и Йошуа Бенджио) и Sequence to Sequence Learning (Илья Суцкевер).
Please open Telegram to view this post
VIEW IN TELEGRAM
👍36🔥104
⚙️ 5 день стримов OpenAI из 12: сегодня рассказали про интеграцию ChatGPT в устройства Apple

Siri теперь будет использовать модели OpenAI (прямо так и пишется, working with chatgpt). А еще на айфонах в Apple Intelligence будет доступно дополнительное расширение ChatGPT. Например, в Visual Intelligence в камере тоже будет непосредственный доступ к GPT-4o, можно будет показывать модельке видео в реальном времени.

Для маков тоже добавили расширение ChatGPT в настройках. Можно будет использовать writing tools почти в любом приложении, анализировать документы прямо внутри finder с ChatGPT и задавать по ним вопросы.

Неужели теперь от Siri будет толк?
Please open Telegram to view this post
VIEW IN TELEGRAM
👀55🔥1911👍5
Media is too big
VIEW IN TELEGRAM
Google наконец-то докрутили свою Gemini до вау-эффекта. Что там интересного:

⚪️ Новая экспериментальная модель Gemini 2.0 Flash. Работает быстрее своего предшественника Flash 1.5 и соображает лучше по большинству бенчмарков. Доступна всем уже сейчас. Также докручены агентные способности: понимание файлов, например.

⚪️ Realtime мультимодальный API. На вход принимает текст, голос и даже видео в онлайне! То есть с ней можно разговаривать и одновременно показывать экран устройства или мир вокруг с камеры. Задержка почти незаметна, отвечать тоже может голосом. При этом в любом режиме инпута доступны инструменты (поиск в интернете, интерпретатор кода). Тоже доступно бесплатно. Картинки на выход тоже может, но пока без редактирования.

⚪️ Функция Deep Research (вот она доступна только для Advanced юзеров). Это углубленный поиск в интернете на заданную тему. Перед тем, как идти в поиск, моделька составляет план и показывает его вам для правок. Потом идет и рыщет по ссылкам, находит новые источники, проверяет детали и через несколько минут выкатывает вам большой отчет. Ну супер же!

Google снова в гонке, получается 🎉
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥108👍267😁2🎉1
Заказчик, объясняющий свою гениальную идею ИИ-приложения VS ML-инженер
😁161👍97🤯3👾21
Тем временем соцсети уже переполнены кейсами применения нового Realtime API Gemini. А если хотите попробовать сами локально (напоминаем, это бесплатно) – то мы принесли вам код

1. Скачивайте файл отсюда
2. Запускаете pip install pyaudio websockets
3. Добавляете в строку GEMINI_API_KEY={TOKEN} свой токен
4. Вы великолепны и можете болтать с Gemini по видеосвязи
🔥72👍175🎉3🤔1🤪1
Что-то на шикарном: посмотрите, какие видео генерит Kandinsky 4.0 Video

Релиз представили буквально сегодня на конференции AI Journey. Нейросеть научилась делать очень качественные ролики с плавными переходами и сочной картинкой. Причем по любому описанию или стартовому кадру.

Реалистичность тоже оказалась на уровне. В публичный доступ выложат совсем скоро, в 2025 году, так что ждем и тестируем.
🔥73😁28👍14🤨11🗿84💅4🤪1
Четверо ученых-основателей ML и Дженсен Хуанг выиграли премию VinFuture Grand Prize

Это очень престижный денежный приз, который каждый год вручают за заслуги в науке и технологиях. В этом году впервые награждали за заслуги в ML, и наградили сразу пятерых: Дженсена Хуанга, отцов-основателей Йошуа Бенджио, Яна Лекуна и Джеффри Хинтона и легендарную Фей-Фей Ли.

Мльщики забрали в этом году, кажется, все возможные награды
82🎉20🏆12😁5
Сегодня экватор адвент-календаря от OpenAI: показали Advanced Voice Mode

Модель наконец-то работает с видео и демонстрацией экрана в реальном времени. Работает довольно быстро и хорошо запоминает все, что ей показают. Получается "бесплатный" идеальный инструктор в любом деле. Доступ начнут выдаваться уже сегодня, поддержка русского языка также присутствует.

Также в войсмод добавили голос Санты, заряжаемся новогодним настроением
15415👍10🎄7🗿2
Microsoft анонсировали Phi-4!

Это следующая версия всеми любимой малышки Phi-3 теперь имеет 14В параметров и работает наравне с GPT-4o mini и совсем недавно выпущенной Llama-3.3-70B. На AMC 10/12 она достигает 91,8% – это даже больше, чем у Gemini Pro 1.5.

В тех.отчете компания объявляет, что в основном таким перформансом модель обязана качественным синтетическим и органическим данным на претрейне и продвинутым методам постобучения. Говорят, добавили в DPO pivotal token search (PTS). Это что-то вроде метода, завязанного на супер-токенах в ризонинге, статью о котором мы недавно подробно разбирали.

Потрогать пока нельзя, на HF обещают завести только на следующей неделе. Пока читаем техрепорт и блогпост
👍46🔥1394😎3😁2
Известный ученый Энди Конвинский объявил, что подарит миллион долларов тем, кто пройдет 90% обновленного SWE-bench со своей моделькой

Энди Конвинский – сооснователь Databricks, Perplexity и Laude Ventures, а также крупный инвестор. Вчера он запустил на Kaggle соревнование, в котором написал:

I'm Andy, and I’m giving $1M to the first team that exceeds 90% on a new version of the SWE-bench benchmark containing GitHub issues we collect after we freeze submissions. I want to see what a contamination-free leaderboard looks like. Your challenge is to build an AI that crushes this yet-to-be-collected set of SWE-bench issues.


Что тут интересного?

– Во-первых, то, что во избежании лика данных задачи для теста будут собираться уже после окончания приема сабмитов (поэтому и написано new version). В оригинале SWE-bench – это полностью открытый датасет GitHub issues, под который можно легко переобучиться. А тут тест полностью скрыт.

– Во-вторых, появляется ограничение по компьюту: моделька сможет считать только 24 часа на 4XL4 (а это совсем-совсем немного памяти).

Так что 90% звучит действительно очень сложно. Не зря предлагают миллион. При этом соревнование будет длиться всего три месяца. Посмотрим, что из этого выйдет.

www.kaggle.com/competitions/konwinski-prize/overview
👍5114🤯7🔥2👾1
Есть только два агрегатных состояния
68🫡29👍5😁3❤‍🔥1🤯1🤪1
Яндекс Поиск, Сбер AI и MTS AI признаны лучшими работодателями в сфере ИИ

Об этом сообщает TAdviser: аналитики оценивали 45 компаний и сравнивали их по пяти критериям, включая карьерное развитие, прокачку хард скиллов сорудников, участие в развитии сообщества и др (подробнее – тут). В финал вышли 20 работодателей, а в тройку лидеров попали Яндекс Поиск, Сбер AI и MTS AI 👍

А вот еще немного интересной статистики из этого исследования: сейчас уже 90%(!) крупнейших компаний в России используют ИИ, при этом в среднем команды ML-разработчиков составляют 50 человек, а в корпорациях – 1000.

Теперь вы знаете, куда отправлять резюме
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥48🤯10👍7🙈5🌭32🍌2😁1🤪1
Новый ресерч от Anthropic: стартап представляет систему для анализа диалогов пользователей без использования личных данных

Анализ того, как именно пользователи используют LLM – для компаний настоящий кладезь. Ведь это ключ с понимаю того, как улучшить свою систему. Но как анализировать диалоги так, чтобы данные пользователя при этом были защищены от чужих глаз? Очень просто: пусть вместо аналитика тоже будет ИИ.

Система Anthropic – Clio – работает в несколько этапов. Сначала из диалогов извлекаются фичи: эмбеддинги, язык, длина, тема, главная задача и тд. Затем на основе этих признаков модель кластеризует диалоги с помощью обычного K-Means и делит их иерархически. Получается такое дерево кластеров, в котором можно гулять по ветвям, анализируя темы разных уровней. Система позволяет анализировать тренды, отслеживать удовлетворенность пользователей, их настоение в общении с ИИ и, самое крутое – джейлбрейки (это же какое счастье для выстраивания alignment'а и безопасности!)

При этом никакие данные все еще не попадают в руки людей – весь пайплайн автоматизирован. Только после того, как Clio тщательно фильтрует все персональные данные и удаляет редкие кейсы, мы наконец можем взглянуть на аггрегацию.

На скрине наверху – самые частые сценария использования Claude. Обратите внимание, что это первое в истории исследование такого рода (по крайней мере, результаты которого были опубликованы): чтобы мы увидели эти числа, Clio обработала более 1 миллиона случайных диалогов.

Кстати, исследователи отмечают, что кроме того, что перечисленно на графике, они нашли еще несколько внезапных, но очень популярных кейсов использования чат-бота. Среди них анализ футбольных матчей, толкование снов, написание сценариев для Dungeons & Dragons и... подсчет букв r в слове strawberry 😀

А еще оказалось, что юзеры разных стран по-разному используют ИИ. Например, испанцы часто спрашивают про экономику и здоровье, японцам подавай мангу, а китайцам – написанные ИИ детективы и триллеры.

Очень круто, в общем. Подробнее можно почитать здесь
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥45👍139🍓3