Data Secrets
77.4K subscribers
6.04K photos
593 videos
20 files
2.43K links
Главный по машинному обучению

Сотрудничество: @veron_28

РКН: clck.ru/3FY3GN
Download Telegram
⚡️ Еще трое соучредителей, среди которых Грег Брокман, покинули OpenAI

Правда, Грег не совсем ушел: он взял длительный отпуск до конца года. В твиттере он написал, что это его первый отпуск за 9 лет в OpenAI. Однако, его мотивы все еще неизвестны.

Кроме него, из компании ушел Питер Денг – Vice President of Product, и Джон Шульман.

Шульман – мега выдающийся исследователь, автор метода PPO, который лежит в основе RLHF, и любитель alignment’a. Не мудрено, что ушел он… в Anthropic 🫠

Интересно, как там настроение у Альтмана
Please open Telegram to view this post
VIEW IN TELEGRAM
8223👍19😁121🤯1
Кажется, знаменитый Андрей Карпаты скоро дропнет что-то новенькое

На его GitHub появился новый репозиторий nano-llama31. В ридми написано, что этот проект – аналог его nanoGPT (2022 год) для GPT-2. Иными словами, это переписанный официальный код Llama 3.1, который имплементирует облегченную версию модели, содержащую меньше тугих зависимостей и строк кода в целом.

Такое упрощение дает возможность легче запускать, дообучать или файнтюнить модельку. В общем, ждем официального видео (или хотя бы твита) от Андрея.

P.S. За новость спасибо нашему чату ❤️
Please open Telegram to view this post
VIEW IN TELEGRAM
👍7322👏8❤‍🔥5
Forwarded from XOR
А вот краткая история OpenAI в 2024 году для тех, кто не успевает следить

@xor_journal
😁1033912👍7🤯3💯1🙈1
Что интересного почитать про ИИ?

Обожаем это чувство, как его там... разнообразный экспертный контент с авторским юмором. Особенно если автор – предприниматель и практик с кучей проектов.

В общем, сегодня рекомендуем вам канал про ИИ с изюминкой от Сергея Булаева. Он создатель нескольких успешных IT и контент-проектов, включая Купи Батон, Lifehacker и Взахлёб. Когда началась ИИ-революция, Сергей уехал на необитаемый остров Самуи познавать происходящее на практике.

В его блоге вы найдете много полезных технических материалов и новостей, которые он откапывает где-то в глубинах интернета, истории об экспериментах с LLM, и еще много-много про ботов, кодинг и индустрию. Вот, например, посты, которые нам особенно приглянулись:

▪️ Пост про фильм, сценарий к которому полностью написал ChatGPT, о сценаристе, который пишет сценарий с помощью ChatGPT 🤯

▪️ Рассказ про проект с правильным балансом творческой LLM и четкого кода

▪️ Интересное про сервильность моделей

И такое выходит в канале каждый день. Подписывайтесь: @sergiobulaev
Please open Telegram to view this post
VIEW IN TELEGRAM
🤯12👍53🗿31
В открытый доступ вышла новая книжка «ИИ и игры»

Необычно, но очень интересно. В книге рассматриваются методы машинного обучения для решения всяких игровых задач (от крестиков-ноликов и до шахмат). Много про DL, классическую математику теории игр и, куда же здесь без него, обучение с подкреплением.

При этом если вы с какими-то из рассматриваемых методов не знакомы, в книге достаточно классической теории, чтобы все понять. Так что можно читать даже как классический путеводитель по ML.

Скачать тут
👍5512❤‍🔥6🤓1
Как будто у них и без этого проблем мало: ютуберы подали коллективный иск на OpenAI, а Илон Маск возобновляет судебный процесс против компании.

Претензии Маска прежние – нарушение устава. Ну а ютуберы, понятное дело, после всех новостей о том, что OpenAI транскрибирует YouTube, начинают бороться за свой контент.

Эх, тяжелый день для Сэма 😢
Please open Telegram to view this post
VIEW IN TELEGRAM
90🙈13👍93
Data Secrets
Помните мы рассказывали про начало сотрудничества OpenAI с роботех-стартапом Figure? Так вот, результаты не заставили себя долго ждать. Благодаря OpenAI, Figure 01 теперь обладает языковым и визуальным интеллектом и может полноценно общаться с людьми. Скорость…
Media is too big
VIEW IN TELEGRAM
Figure наконец анонсировали новое поколение своего робота: того самого, которого они разрабатывали совместно с OpenAI. Вот что пишут:

➡️Может свободно общаться в режиме speech2speech (спасибо gpt-4o)
➡️6 встроенных камер с системой компьютерного зрения
➡️Руки с 16 степенями свободы и силой, равной человеческой
➡️На 50% больше времени без зарядки за счет бодрого аккумулятора
➡️Вычисления в 3 раза быстрее, чем у прошлого поколения

Домой такого надо? 🤖
Please open Telegram to view this post
VIEW IN TELEGRAM
👾43👍1671🏆1
🤗 Вышла обновленная версия библиотеки transformers от HuggingFace

▪️Добавили Gemma 2, Codestral и Nemotron
▪️ Оптимизированный Supervised файнтюнинг
▪️ Наконец-то целостная сквозная компиляция, теперь от трех до пяти раз быстрее
▪️ Возможность выгружать кэш в процессор (для GPU poor 😋)
▪️ И torch export для статического кэша

Все подробности и примеры в репозитории
Please open Telegram to view this post
VIEW IN TELEGRAM
🤗5611👍9
Никогда такого не было, и вот опять: новая модель-загадка на LMSYS. В лидерборде ее нет, пока что участвует только в тестах. Сама отвечает, что «основана на GPT-4».
🤔447👍5😁4
Аналитика! Продукт! Мотор!

22 августа на больших экранах премьера аналитического митапа от команды Купер.тех (ex СберМаркет Tech). 

Объединим четыре сюжетные линии и завершим кульминационной afterparty:

🎬 Предсказание оптимального ПВЗ покупателя на Авито. Directed by Ксения Кригер, аналитик в команде логистики, Авито.

🎬 Факторный анализ Retention пользователей самовывоза и B2B. Directed by Никита Истомин и Евгений Кадыгров, продуктовые аналитики самовывоза и B2B, Купер.

🎬 Не CSAT’ом едины: как анализировать клиентский опыт с помощью ML-алгоритмов? Directed by Владислав Петраков, руководитель продуктовой аналитики Платформы Origination, и Анна Муратова, продуктовый аналитик, Т-Банк.

🎬 Как ошибиться в АВ-тестах, даже если хорошо знаешь математику. Directed by Никита Мананников, руководитель направления аналитики BX, Ozon.

🗓 22 августа в 19:00 по Москве, КАРО 11 Октябрь.

Регистрируйся по ссылке и приятного просмотра!

Реклама. ООО «ИНСТАМАРТ СЕРВИС», ИНН: 9705118142. Ерид: LjN8KE4Et
🤯73👍1
🚀 Теперь от API OpenAI можно получать нормальные структурированные JSON

Напоминаем, что режим JSON работает уже примерно год, однако заявленному формату выходы моделек соответствовали менее, чем в половине случаев. В обновленной версии gpt-4o-2024-08-06 такой проблемы больше нет: в 100% тестов ошибки в формате отсутствуют. Код и туториал по использованию фичи лежит тут.

Просто отличная новость для разработчиков и тех, кому нужна хорошая разметка данных
Please open Telegram to view this post
VIEW IN TELEGRAM
👍42👏107
Мало кто знает, но…
😁2042516👍5💯4🙈2
⚙️ Бум! PyTorch представил FlexAttention: новый API, который поможет реализовывать разные варианты внимания всего несколькими строками кода

Теперь можно реализовать, например, causal mask, AliBi или sliding window, просто изменяя параметр score_mod, который меняет скор перед софтмаксом.

Со стороны юзера – это несколько строк кода, но скомпилированы они так бодро, что по производительности сравнимы с кастомным ядром Triton.

Примеры кода и больше подробностей в блогпосте
Please open Telegram to view this post
VIEW IN TELEGRAM
11920👍10
Альтман подтвердил, что GPT-5 выйдет через месяц

Он запостил в твиттер фото ровно 5 клубник. А ведь Strawberry – это название того самого проекта OpenAI. Земляника созревает примерно 4 недели, значит все сходится. GPT-5 выйдет через месяц 😉

Инфа 100%
Please open Telegram to view this post
VIEW IN TELEGRAM
😁245839👀3🦄2👍1
«Самой успешной маркетинговой кампанией за всю историю был ребрендинг Линейной алгебры в Искусственный интеллект».


А как насчет ребрендинга if else?
😁22921👍17💯8🤯3👻3
В сети нашли подход, который, возможно, лежит в основе новой OpenAI модели, генерирующей идеальные json

О самой свежей модели мы рассказывали тут. Кратко: она выбивает правильный формат json в 100% cлучаев, хотя раньше не дотягивала и до 50%. Вопрос: как?..

Вот это опенсорс библиотека Jsonformer, которая представляет из себя надстройку над HF моделями, позволяющую генерировать json'ы. Подход прост. В структурированных данных (к коим относится json) многие токены фиксированы и предсказуемы. Например, "{", "}" или ":".

И в Jsonformer, вместо того, чтобы доверять генерацию целиком модели, либа заполняет фиксированные токены самостоятельно, а LLM делегирует только "внутренности" словаря.

Механика звучит изящно, и при этом работает, как швейцарские часы. Легко верится, что OpenAI крутит под капотом что-то подобное.
👍58🤔1311
А вот это интересно: GPT-4 может предсказывать результаты социальных экспериментов с большой точностью

Исследователи заставили модель просимулировать около 70 социальных исследований, а затем сравнили ее прогнозы с реальными результатами. Результат, как говорится, убил: коэффициент корреляции оказался равен 0.91. Это больше, чем у людей экспертов!

Вы скажете: но ведь эти исследования архивные, а GPT-4 видела так много данных. Откуда нам знать, что модель просто напросто не запомнила эти кейсы? Об этом ресерчеры тоже подумали и специально прогнали GPT отдельно по неизданным экспериментам. Итог: корреляция не только не понизилась, но еще и взлетела до 0.94.

При этом оказалось, что модель с высокой точностью моделирует не только результаты целиком, но и мнения людей относительно пола, расы и возраста.

Означает ли это, что теперь мы можем использовать LLM для симуляций социальных экспериментов? Или это капкан, который заманит нас в пузырь неверной статистики?
🤔106👍2710🍾2
Начинаем день с мотивирующей цитаты Андрея Карпаты

«Будьте хорошими. Большой брат ИИ из будущего следит за вами.»
😁11818👾10👍6🫡3😐1
В Калифорнии сделали CV-систему, которая в режиме онлайн определяет акул вблизи береговой линии и посылает сигналы службам безопасности

Для обучения SharkEye понадобилось всего 1500 фотографий акул, NVIDIA T4 и 20 часов обучения. Precision получился около 92%.

Стартап, который мы заслужили этим летом
👍165😁13128🐳3🎉2🕊1
Mistral тем временем запускает аналог GPTs

Теперь прямо на La Plateforme можно создавать своих агентов, и, что самое интересное, деплоить их бесплатно. Есть некоторые тестовые фичи, которые недоступны без подписки, но в целом базового пакета вполне достаточно.

Кроме того, теперь на том же La Plateforme можно файнтюнить Mistral Large 2 и Codestral.
👍4512😁4