Data Secrets
77.4K subscribers
6.05K photos
593 videos
20 files
2.43K links
Главный по машинному обучению

Сотрудничество: @veron_28

РКН: clck.ru/3FY3GN
Download Telegram
⚡️ Hugging Face выделяет 10 миллионов долларов на общедоступные бесплатные GPU

Они будут "дарить" сервера с A100 мелким стартапам и разработчикам в рамках новой программы ZeroGPU. Цель состоит в том, чтобы "помочь малому и среднему бизнесу и независимым рисерчерам противостоять централизации ИИ".

Благотворительность, которую мы заслужили 🥳
Please open Telegram to view this post
VIEW IN TELEGRAM
170🤗60👍24🆒2😁1
⚡️ Еще трое соучредителей, среди которых Грег Брокман, покинули OpenAI

Правда, Грег не совсем ушел: он взял длительный отпуск до конца года. В твиттере он написал, что это его первый отпуск за 9 лет в OpenAI. Однако, его мотивы все еще неизвестны.

Кроме него, из компании ушел Питер Денг – Vice President of Product, и Джон Шульман.

Шульман – мега выдающийся исследователь, автор метода PPO, который лежит в основе RLHF, и любитель alignment’a. Не мудрено, что ушел он… в Anthropic 🫠

Интересно, как там настроение у Альтмана
Please open Telegram to view this post
VIEW IN TELEGRAM
8223👍19😁121🤯1
Кажется, знаменитый Андрей Карпаты скоро дропнет что-то новенькое

На его GitHub появился новый репозиторий nano-llama31. В ридми написано, что этот проект – аналог его nanoGPT (2022 год) для GPT-2. Иными словами, это переписанный официальный код Llama 3.1, который имплементирует облегченную версию модели, содержащую меньше тугих зависимостей и строк кода в целом.

Такое упрощение дает возможность легче запускать, дообучать или файнтюнить модельку. В общем, ждем официального видео (или хотя бы твита) от Андрея.

P.S. За новость спасибо нашему чату ❤️
Please open Telegram to view this post
VIEW IN TELEGRAM
👍7322👏8❤‍🔥5
Forwarded from XOR
А вот краткая история OpenAI в 2024 году для тех, кто не успевает следить

@xor_journal
😁1033912👍7🤯3💯1🙈1
Что интересного почитать про ИИ?

Обожаем это чувство, как его там... разнообразный экспертный контент с авторским юмором. Особенно если автор – предприниматель и практик с кучей проектов.

В общем, сегодня рекомендуем вам канал про ИИ с изюминкой от Сергея Булаева. Он создатель нескольких успешных IT и контент-проектов, включая Купи Батон, Lifehacker и Взахлёб. Когда началась ИИ-революция, Сергей уехал на необитаемый остров Самуи познавать происходящее на практике.

В его блоге вы найдете много полезных технических материалов и новостей, которые он откапывает где-то в глубинах интернета, истории об экспериментах с LLM, и еще много-много про ботов, кодинг и индустрию. Вот, например, посты, которые нам особенно приглянулись:

▪️ Пост про фильм, сценарий к которому полностью написал ChatGPT, о сценаристе, который пишет сценарий с помощью ChatGPT 🤯

▪️ Рассказ про проект с правильным балансом творческой LLM и четкого кода

▪️ Интересное про сервильность моделей

И такое выходит в канале каждый день. Подписывайтесь: @sergiobulaev
Please open Telegram to view this post
VIEW IN TELEGRAM
🤯12👍53🗿31
В открытый доступ вышла новая книжка «ИИ и игры»

Необычно, но очень интересно. В книге рассматриваются методы машинного обучения для решения всяких игровых задач (от крестиков-ноликов и до шахмат). Много про DL, классическую математику теории игр и, куда же здесь без него, обучение с подкреплением.

При этом если вы с какими-то из рассматриваемых методов не знакомы, в книге достаточно классической теории, чтобы все понять. Так что можно читать даже как классический путеводитель по ML.

Скачать тут
👍5512❤‍🔥6🤓1
Как будто у них и без этого проблем мало: ютуберы подали коллективный иск на OpenAI, а Илон Маск возобновляет судебный процесс против компании.

Претензии Маска прежние – нарушение устава. Ну а ютуберы, понятное дело, после всех новостей о том, что OpenAI транскрибирует YouTube, начинают бороться за свой контент.

Эх, тяжелый день для Сэма 😢
Please open Telegram to view this post
VIEW IN TELEGRAM
90🙈13👍93
Data Secrets
Помните мы рассказывали про начало сотрудничества OpenAI с роботех-стартапом Figure? Так вот, результаты не заставили себя долго ждать. Благодаря OpenAI, Figure 01 теперь обладает языковым и визуальным интеллектом и может полноценно общаться с людьми. Скорость…
Media is too big
VIEW IN TELEGRAM
Figure наконец анонсировали новое поколение своего робота: того самого, которого они разрабатывали совместно с OpenAI. Вот что пишут:

➡️Может свободно общаться в режиме speech2speech (спасибо gpt-4o)
➡️6 встроенных камер с системой компьютерного зрения
➡️Руки с 16 степенями свободы и силой, равной человеческой
➡️На 50% больше времени без зарядки за счет бодрого аккумулятора
➡️Вычисления в 3 раза быстрее, чем у прошлого поколения

Домой такого надо? 🤖
Please open Telegram to view this post
VIEW IN TELEGRAM
👾43👍1671🏆1
🤗 Вышла обновленная версия библиотеки transformers от HuggingFace

▪️Добавили Gemma 2, Codestral и Nemotron
▪️ Оптимизированный Supervised файнтюнинг
▪️ Наконец-то целостная сквозная компиляция, теперь от трех до пяти раз быстрее
▪️ Возможность выгружать кэш в процессор (для GPU poor 😋)
▪️ И torch export для статического кэша

Все подробности и примеры в репозитории
Please open Telegram to view this post
VIEW IN TELEGRAM
🤗5611👍9
Никогда такого не было, и вот опять: новая модель-загадка на LMSYS. В лидерборде ее нет, пока что участвует только в тестах. Сама отвечает, что «основана на GPT-4».
🤔447👍5😁4
Аналитика! Продукт! Мотор!

22 августа на больших экранах премьера аналитического митапа от команды Купер.тех (ex СберМаркет Tech). 

Объединим четыре сюжетные линии и завершим кульминационной afterparty:

🎬 Предсказание оптимального ПВЗ покупателя на Авито. Directed by Ксения Кригер, аналитик в команде логистики, Авито.

🎬 Факторный анализ Retention пользователей самовывоза и B2B. Directed by Никита Истомин и Евгений Кадыгров, продуктовые аналитики самовывоза и B2B, Купер.

🎬 Не CSAT’ом едины: как анализировать клиентский опыт с помощью ML-алгоритмов? Directed by Владислав Петраков, руководитель продуктовой аналитики Платформы Origination, и Анна Муратова, продуктовый аналитик, Т-Банк.

🎬 Как ошибиться в АВ-тестах, даже если хорошо знаешь математику. Directed by Никита Мананников, руководитель направления аналитики BX, Ozon.

🗓 22 августа в 19:00 по Москве, КАРО 11 Октябрь.

Регистрируйся по ссылке и приятного просмотра!

Реклама. ООО «ИНСТАМАРТ СЕРВИС», ИНН: 9705118142. Ерид: LjN8KE4Et
🤯73👍1
🚀 Теперь от API OpenAI можно получать нормальные структурированные JSON

Напоминаем, что режим JSON работает уже примерно год, однако заявленному формату выходы моделек соответствовали менее, чем в половине случаев. В обновленной версии gpt-4o-2024-08-06 такой проблемы больше нет: в 100% тестов ошибки в формате отсутствуют. Код и туториал по использованию фичи лежит тут.

Просто отличная новость для разработчиков и тех, кому нужна хорошая разметка данных
Please open Telegram to view this post
VIEW IN TELEGRAM
👍42👏107
Мало кто знает, но…
😁2042516👍5💯4🙈2
⚙️ Бум! PyTorch представил FlexAttention: новый API, который поможет реализовывать разные варианты внимания всего несколькими строками кода

Теперь можно реализовать, например, causal mask, AliBi или sliding window, просто изменяя параметр score_mod, который меняет скор перед софтмаксом.

Со стороны юзера – это несколько строк кода, но скомпилированы они так бодро, что по производительности сравнимы с кастомным ядром Triton.

Примеры кода и больше подробностей в блогпосте
Please open Telegram to view this post
VIEW IN TELEGRAM
11920👍10
Альтман подтвердил, что GPT-5 выйдет через месяц

Он запостил в твиттер фото ровно 5 клубник. А ведь Strawberry – это название того самого проекта OpenAI. Земляника созревает примерно 4 недели, значит все сходится. GPT-5 выйдет через месяц 😉

Инфа 100%
Please open Telegram to view this post
VIEW IN TELEGRAM
😁245839👀3🦄2👍1
«Самой успешной маркетинговой кампанией за всю историю был ребрендинг Линейной алгебры в Искусственный интеллект».


А как насчет ребрендинга if else?
😁22921👍17💯8🤯3👻3
В сети нашли подход, который, возможно, лежит в основе новой OpenAI модели, генерирующей идеальные json

О самой свежей модели мы рассказывали тут. Кратко: она выбивает правильный формат json в 100% cлучаев, хотя раньше не дотягивала и до 50%. Вопрос: как?..

Вот это опенсорс библиотека Jsonformer, которая представляет из себя надстройку над HF моделями, позволяющую генерировать json'ы. Подход прост. В структурированных данных (к коим относится json) многие токены фиксированы и предсказуемы. Например, "{", "}" или ":".

И в Jsonformer, вместо того, чтобы доверять генерацию целиком модели, либа заполняет фиксированные токены самостоятельно, а LLM делегирует только "внутренности" словаря.

Механика звучит изящно, и при этом работает, как швейцарские часы. Легко верится, что OpenAI крутит под капотом что-то подобное.
👍58🤔1311
А вот это интересно: GPT-4 может предсказывать результаты социальных экспериментов с большой точностью

Исследователи заставили модель просимулировать около 70 социальных исследований, а затем сравнили ее прогнозы с реальными результатами. Результат, как говорится, убил: коэффициент корреляции оказался равен 0.91. Это больше, чем у людей экспертов!

Вы скажете: но ведь эти исследования архивные, а GPT-4 видела так много данных. Откуда нам знать, что модель просто напросто не запомнила эти кейсы? Об этом ресерчеры тоже подумали и специально прогнали GPT отдельно по неизданным экспериментам. Итог: корреляция не только не понизилась, но еще и взлетела до 0.94.

При этом оказалось, что модель с высокой точностью моделирует не только результаты целиком, но и мнения людей относительно пола, расы и возраста.

Означает ли это, что теперь мы можем использовать LLM для симуляций социальных экспериментов? Или это капкан, который заманит нас в пузырь неверной статистики?
🤔106👍2710🍾2
Начинаем день с мотивирующей цитаты Андрея Карпаты

«Будьте хорошими. Большой брат ИИ из будущего следит за вами.»
😁11818👾10👍6🫡3😐1
В Калифорнии сделали CV-систему, которая в режиме онлайн определяет акул вблизи береговой линии и посылает сигналы службам безопасности

Для обучения SharkEye понадобилось всего 1500 фотографий акул, NVIDIA T4 и 20 часов обучения. Precision получился около 92%.

Стартап, который мы заслужили этим летом
👍165😁13128🐳3🎉2🕊1