Правда, Грег не совсем ушел: он взял длительный отпуск до конца года. В твиттере он написал, что это его первый отпуск за 9 лет в OpenAI. Однако, его мотивы все еще неизвестны.
Кроме него, из компании ушел Питер Денг – Vice President of Product, и Джон Шульман.
Шульман – мега выдающийся исследователь, автор метода PPO, который лежит в основе RLHF, и любитель alignment’a. Не мудрено, что ушел он… в Anthropic
Интересно, как там настроение у Альтмана
Please open Telegram to view this post
VIEW IN TELEGRAM
Кажется, знаменитый Андрей Карпаты скоро дропнет что-то новенькое
На его GitHub появился новый репозиторий nano-llama31. В ридми написано, что этот проект – аналог его nanoGPT (2022 год) для GPT-2. Иными словами, это переписанный официальный код Llama 3.1, который имплементирует облегченную версию модели, содержащую меньше тугих зависимостей и строк кода в целом.
Такое упрощение дает возможность легче запускать, дообучать или файнтюнить модельку. В общем, ждем официального видео (или хотя бы твита) от Андрея.
P.S. За новость спасибо нашему чату❤️
На его GitHub появился новый репозиторий nano-llama31. В ридми написано, что этот проект – аналог его nanoGPT (2022 год) для GPT-2. Иными словами, это переписанный официальный код Llama 3.1, который имплементирует облегченную версию модели, содержащую меньше тугих зависимостей и строк кода в целом.
Такое упрощение дает возможность легче запускать, дообучать или файнтюнить модельку. В общем, ждем официального видео (или хотя бы твита) от Андрея.
P.S. За новость спасибо нашему чату
Please open Telegram to view this post
VIEW IN TELEGRAM
👍73❤22👏8❤🔥5
Что интересного почитать про ИИ?
Обожаем это чувство, как его там... разнообразный экспертный контент с авторским юмором. Особенно если автор – предприниматель и практик с кучей проектов.
В общем, сегодня рекомендуем вам канал про ИИ с изюминкой от Сергея Булаева. Он создатель нескольких успешных IT и контент-проектов, включая Купи Батон, Lifehacker и Взахлёб. Когда началась ИИ-революция, Сергей уехал нанеобитаемый остров Самуи познавать происходящее на практике.
В его блоге вы найдете много полезных технических материалов и новостей, которые он откапывает где-то в глубинах интернета, истории об экспериментах с LLM, и еще много-много про ботов, кодинг и индустрию. Вот, например, посты, которые нам особенно приглянулись:
▪️ Пост про фильм, сценарий к которому полностью написал ChatGPT, о сценаристе, который пишет сценарий с помощью ChatGPT 🤯
▪️ Рассказ про проект с правильным балансом творческой LLM и четкого кода
▪️ Интересное про сервильность моделей
И такое выходит в канале каждый день. Подписывайтесь: @sergiobulaev
Обожаем это чувство, как его там... разнообразный экспертный контент с авторским юмором. Особенно если автор – предприниматель и практик с кучей проектов.
В общем, сегодня рекомендуем вам канал про ИИ с изюминкой от Сергея Булаева. Он создатель нескольких успешных IT и контент-проектов, включая Купи Батон, Lifehacker и Взахлёб. Когда началась ИИ-революция, Сергей уехал на
В его блоге вы найдете много полезных технических материалов и новостей, которые он откапывает где-то в глубинах интернета, истории об экспериментах с LLM, и еще много-много про ботов, кодинг и индустрию. Вот, например, посты, которые нам особенно приглянулись:
И такое выходит в канале каждый день. Подписывайтесь: @sergiobulaev
Please open Telegram to view this post
VIEW IN TELEGRAM
🤯12👍5☃3🗿3❤1
В открытый доступ вышла новая книжка «ИИ и игры»
Необычно, но очень интересно. В книге рассматриваются методы машинного обучения для решения всяких игровых задач (от крестиков-ноликов и до шахмат). Много про DL, классическую математику теории игр и, куда же здесь без него, обучение с подкреплением.
При этом если вы с какими-то из рассматриваемых методов не знакомы, в книге достаточно классической теории, чтобы все понять. Так что можно читать даже как классический путеводитель по ML.
Скачать тут
Необычно, но очень интересно. В книге рассматриваются методы машинного обучения для решения всяких игровых задач (от крестиков-ноликов и до шахмат). Много про DL, классическую математику теории игр и, куда же здесь без него, обучение с подкреплением.
При этом если вы с какими-то из рассматриваемых методов не знакомы, в книге достаточно классической теории, чтобы все понять. Так что можно читать даже как классический путеводитель по ML.
Скачать тут
👍55❤12❤🔥6🤓1
Как будто у них и без этого проблем мало: ютуберы подали коллективный иск на OpenAI, а Илон Маск возобновляет судебный процесс против компании.
Претензии Маска прежние – нарушение устава. Ну а ютуберы, понятное дело, после всех новостей о том, что OpenAI транскрибирует YouTube, начинают бороться за свой контент.
Эх, тяжелый день для Сэма😢
Претензии Маска прежние – нарушение устава. Ну а ютуберы, понятное дело, после всех новостей о том, что OpenAI транскрибирует YouTube, начинают бороться за свой контент.
Эх, тяжелый день для Сэма
Please open Telegram to view this post
VIEW IN TELEGRAM
Data Secrets
Помните мы рассказывали про начало сотрудничества OpenAI с роботех-стартапом Figure? Так вот, результаты не заставили себя долго ждать. Благодаря OpenAI, Figure 01 теперь обладает языковым и визуальным интеллектом и может полноценно общаться с людьми. Скорость…
Media is too big
VIEW IN TELEGRAM
Figure наконец анонсировали новое поколение своего робота: того самого, которого они разрабатывали совместно с OpenAI. Вот что пишут:
➡️ Может свободно общаться в режиме speech2speech (спасибо gpt-4o)
➡️ 6 встроенных камер с системой компьютерного зрения
➡️ Руки с 16 степенями свободы и силой, равной человеческой
➡️ На 50% больше времени без зарядки за счет бодрого аккумулятора
➡️ Вычисления в 3 раза быстрее, чем у прошлого поколения
Домой такого надо?🤖
Домой такого надо?
Please open Telegram to view this post
VIEW IN TELEGRAM
👾43👍16❤7⚡1🏆1
Все подробности и примеры в репозитории
Please open Telegram to view this post
VIEW IN TELEGRAM
🤗56❤11👍9
Аналитика! Продукт! Мотор!
22 августа на больших экранах премьера аналитического митапа от команды Купер.тех (ex СберМаркет Tech).
Объединим четыре сюжетные линии и завершим кульминационной afterparty:
🎬 Предсказание оптимального ПВЗ покупателя на Авито. Directed by Ксения Кригер, аналитик в команде логистики, Авито.
🎬 Факторный анализ Retention пользователей самовывоза и B2B. Directed by Никита Истомин и Евгений Кадыгров, продуктовые аналитики самовывоза и B2B, Купер.
🎬 Не CSAT’ом едины: как анализировать клиентский опыт с помощью ML-алгоритмов? Directed by Владислав Петраков, руководитель продуктовой аналитики Платформы Origination, и Анна Муратова, продуктовый аналитик, Т-Банк.
🎬 Как ошибиться в АВ-тестах, даже если хорошо знаешь математику. Directed by Никита Мананников, руководитель направления аналитики BX, Ozon.
🗓 22 августа в 19:00 по Москве, КАРО 11 Октябрь.
Регистрируйся по ссылке и приятного просмотра!
Реклама. ООО «ИНСТАМАРТ СЕРВИС», ИНН: 9705118142. Ерид: LjN8KE4Et
22 августа на больших экранах премьера аналитического митапа от команды Купер.тех (ex СберМаркет Tech).
Объединим четыре сюжетные линии и завершим кульминационной afterparty:
🎬 Предсказание оптимального ПВЗ покупателя на Авито. Directed by Ксения Кригер, аналитик в команде логистики, Авито.
🎬 Факторный анализ Retention пользователей самовывоза и B2B. Directed by Никита Истомин и Евгений Кадыгров, продуктовые аналитики самовывоза и B2B, Купер.
🎬 Не CSAT’ом едины: как анализировать клиентский опыт с помощью ML-алгоритмов? Directed by Владислав Петраков, руководитель продуктовой аналитики Платформы Origination, и Анна Муратова, продуктовый аналитик, Т-Банк.
🎬 Как ошибиться в АВ-тестах, даже если хорошо знаешь математику. Directed by Никита Мананников, руководитель направления аналитики BX, Ozon.
🗓 22 августа в 19:00 по Москве, КАРО 11 Октябрь.
Регистрируйся по ссылке и приятного просмотра!
Реклама. ООО «ИНСТАМАРТ СЕРВИС», ИНН: 9705118142. Ерид: LjN8KE4Et
🤯7❤3👍1
Напоминаем, что режим JSON работает уже примерно год, однако заявленному формату выходы моделек соответствовали менее, чем в половине случаев. В обновленной версии gpt-4o-2024-08-06 такой проблемы больше нет: в 100% тестов ошибки в формате отсутствуют. Код и туториал по использованию фичи лежит тут.
Просто отличная новость для разработчиков и тех, кому нужна хорошая разметка данных
Please open Telegram to view this post
VIEW IN TELEGRAM
👍42👏10❤7
Теперь можно реализовать, например, causal mask, AliBi или sliding window, просто изменяя параметр score_mod, который меняет скор перед софтмаксом.
Со стороны юзера – это несколько строк кода, но скомпилированы они так бодро, что по производительности сравнимы с кастомным ядром Triton.
Примеры кода и больше подробностей в блогпосте
Please open Telegram to view this post
VIEW IN TELEGRAM
Альтман подтвердил, что GPT-5 выйдет через месяц
Он запостил в твиттер фото ровно 5 клубник. А ведь Strawberry – это название того самого проекта OpenAI. Земляника созревает примерно 4 недели, значит все сходится. GPT-5 выйдет через месяц😉
Инфа 100%
Он запостил в твиттер фото ровно 5 клубник. А ведь Strawberry – это название того самого проекта OpenAI. Земляника созревает примерно 4 недели, значит все сходится. GPT-5 выйдет через месяц
Инфа 100%
Please open Telegram to view this post
VIEW IN TELEGRAM
😁245 83❤9👀3🦄2👍1
В сети нашли подход, который, возможно, лежит в основе новой OpenAI модели, генерирующей идеальные json
О самой свежей модели мы рассказывали тут. Кратко: она выбивает правильный формат json в 100% cлучаев, хотя раньше не дотягивала и до 50%. Вопрос: как?..
Вот это – опенсорс библиотека Jsonformer, которая представляет из себя надстройку над HF моделями, позволяющую генерировать json'ы. Подход прост. В структурированных данных (к коим относится json) многие токены фиксированы и предсказуемы. Например, "{", "}" или ":".
И в Jsonformer, вместо того, чтобы доверять генерацию целиком модели, либа заполняет фиксированные токены самостоятельно, а LLM делегирует только "внутренности" словаря.
Механика звучит изящно, и при этом работает, как швейцарские часы. Легко верится, что OpenAI крутит под капотом что-то подобное.
О самой свежей модели мы рассказывали тут. Кратко: она выбивает правильный формат json в 100% cлучаев, хотя раньше не дотягивала и до 50%. Вопрос: как?..
Вот это – опенсорс библиотека Jsonformer, которая представляет из себя надстройку над HF моделями, позволяющую генерировать json'ы. Подход прост. В структурированных данных (к коим относится json) многие токены фиксированы и предсказуемы. Например, "{", "}" или ":".
И в Jsonformer, вместо того, чтобы доверять генерацию целиком модели, либа заполняет фиксированные токены самостоятельно, а LLM делегирует только "внутренности" словаря.
Механика звучит изящно, и при этом работает, как швейцарские часы. Легко верится, что OpenAI крутит под капотом что-то подобное.
👍58🤔13❤11
А вот это интересно: GPT-4 может предсказывать результаты социальных экспериментов с большой точностью
Исследователи заставили модель просимулировать около 70 социальных исследований, а затем сравнили ее прогнозы с реальными результатами. Результат, как говорится, убил: коэффициент корреляции оказался равен 0.91. Это больше, чем у людей экспертов!
Вы скажете: но ведь эти исследования архивные, а GPT-4 видела так много данных. Откуда нам знать, что модель просто напросто не запомнила эти кейсы? Об этом ресерчеры тоже подумали и специально прогнали GPT отдельно по неизданным экспериментам. Итог: корреляция не только не понизилась, но еще и взлетела до 0.94.
При этом оказалось, что модель с высокой точностью моделирует не только результаты целиком, но и мнения людей относительно пола, расы и возраста.
Означает ли это, что теперь мы можем использовать LLM для симуляций социальных экспериментов? Или это капкан, который заманит нас в пузырь неверной статистики?
Исследователи заставили модель просимулировать около 70 социальных исследований, а затем сравнили ее прогнозы с реальными результатами. Результат, как говорится, убил: коэффициент корреляции оказался равен 0.91. Это больше, чем у людей экспертов!
Вы скажете: но ведь эти исследования архивные, а GPT-4 видела так много данных. Откуда нам знать, что модель просто напросто не запомнила эти кейсы? Об этом ресерчеры тоже подумали и специально прогнали GPT отдельно по неизданным экспериментам. Итог: корреляция не только не понизилась, но еще и взлетела до 0.94.
При этом оказалось, что модель с высокой точностью моделирует не только результаты целиком, но и мнения людей относительно пола, расы и возраста.
Означает ли это, что теперь мы можем использовать LLM для симуляций социальных экспериментов? Или это капкан, который заманит нас в пузырь неверной статистики?
🤔106👍27❤10🍾2
В Калифорнии сделали CV-систему, которая в режиме онлайн определяет акул вблизи береговой линии и посылает сигналы службам безопасности
Для обучения SharkEye понадобилось всего 1500 фотографий акул, NVIDIA T4 и 20 часов обучения. Precision получился около 92%.
Стартап, который мы заслужили этим летом
Для обучения SharkEye понадобилось всего 1500 фотографий акул, NVIDIA T4 и 20 часов обучения. Precision получился около 92%.
Стартап, который мы заслужили этим летом
👍165😁13⚡12❤8🐳3🎉2🕊1
Mistral тем временем запускает аналог GPTs
Теперь прямо на La Plateforme можно создавать своих агентов, и, что самое интересное, деплоить их бесплатно. Есть некоторые тестовые фичи, которые недоступны без подписки, но в целом базового пакета вполне достаточно.
Кроме того, теперь на том же La Plateforme можно файнтюнить Mistral Large 2 и Codestral.
Теперь прямо на La Plateforme можно создавать своих агентов, и, что самое интересное, деплоить их бесплатно. Есть некоторые тестовые фичи, которые недоступны без подписки, но в целом базового пакета вполне достаточно.
Кроме того, теперь на том же La Plateforme можно файнтюнить Mistral Large 2 и Codestral.
👍45❤12😁4
Data Secrets
Альтман подтвердил, что GPT-5 выйдет через месяц Он запостил в твиттер фото ровно 5 клубник. А ведь Strawberry – это название того самого проекта OpenAI. Земляника созревает примерно 4 недели, значит все сходится. GPT-5 выйдет через месяц 😉 Инфа 100%
Миниатюра: Сэм Альтман и его Твиттер
😁79❤12👍7😎4🤔1