Всем стартаперам и любителям пет-проектов на заметку: OpenAI обновили API для файнтюнинга.
– Добавлена песочница, в которой можно крутить и сравнивать модели
– Больше функций для вычисления метрик и тюнинга гиперпараметров
– Появилась встроенная возможность чекпоинтить на каждый эпохе
– Интеграция с Weights и Biases и др.
– Добавлена песочница, в которой можно крутить и сравнивать модели
– Больше функций для вычисления метрик и тюнинга гиперпараметров
– Появилась встроенная возможность чекпоинтить на каждый эпохе
– Интеграция с Weights и Biases и др.
👍31❤10🔥6👌1
Сегодня весь день обсуждают "революционную" разработку твиттерского — Whore AI
Мы в стороне не остались, пильнули бота, определяющего говнокодеров по фото. Проверено – работает точнее некуда.
Вместо технического интервью на работу. Проверь коллег: @govnocode_xor_bot
Дословно: «я потратил 1 год на разработку программы, которая сэкономит деньги, время и нервы миллионам мужчинам».
Мы в стороне не остались, пильнули бота, определяющего говнокодеров по фото. Проверено – работает точнее некуда.
Вместо технического интервью на работу. Проверь коллег: @govnocode_xor_bot
😁119🤯7❤5👍4☃1🔥1
Андрей Карпаты в своем репертуаре: он написал код для обучения GPT-2 на чистом C 🤬
Там примерно 1000 строк кода. Сам Андрей пишет, что это было «quite masochistic» и пришлось помучиться с памятью, указателями и оффсетами тензоров.
Сейчас он переносит все это на CUDA и в ближайшем будущем обещает выпустить видео (под названием «10 часов пыток», видимо).
Там примерно 1000 строк кода. Сам Андрей пишет, что это было «quite masochistic» и пришлось помучиться с памятью, указателями и оффсетами тензоров.
Сейчас он переносит все это на CUDA и в ближайшем будущем обещает выпустить видео (под названием «10 часов пыток», видимо).
Please open Telegram to view this post
VIEW IN TELEGRAM
🤯133❤19🔥11👍7🗿5😁4👏2🤨1
Врачами было выявлено новое серьезное психическое заболевание. Проверьте себя на симптомы:
– Вы легко забываете то, что было сказано в разговоре минуту назад
– Часто вообще не понимаете, о чем идет речь, и вставляете неуместные и неподходящие фразы
– Вы тратите очень много энергии и ресурсов на общение
– Иногда вспоминаете то, чего на самом деле не было
Если вы набрали хотя бы 2 пункта, то у вас LLM. Срочно примите дообучение.
– Вы легко забываете то, что было сказано в разговоре минуту назад
– Часто вообще не понимаете, о чем идет речь, и вставляете неуместные и неподходящие фразы
– Вы тратите очень много энергии и ресурсов на общение
– Иногда вспоминаете то, чего на самом деле не было
Если вы набрали хотя бы 2 пункта, то у вас LLM. Срочно примите дообучение.
😁145😨22❤7👍4🔥3✍2👨💻2🤗2
Breaking: издательство The Information сообщает, что Meta планирует выпустить компактные версии Llama-3 на следующей неделе!
Основная же модель семейства Llama-3 ожидается летом.
Основная же модель семейства Llama-3 ожидается летом.
👍34🔥10❤5🥰2🐳1
Сегодня снова обновилась LMSYS Chatbot Arena Leaderboard
В прошлый раз мы видели, как на главном поле битвы LLM лидерство переходит от GPT-4 к Claude 3 Opus. Теперь же изменения настигли опенсорс игроков борды.
Модель Command R+ от команды cohere поднялась на 6 место, достигнув уровня GPT-4-0314 и набрав 13K+ голосов. Теперь это лучшая открытая модель.
Command R+ появилась всего 5 дней назад. Эта LLM оптимизирована под RAG, то есть заточена специально под решение задач бизнеса.
В прошлый раз мы видели, как на главном поле битвы LLM лидерство переходит от GPT-4 к Claude 3 Opus. Теперь же изменения настигли опенсорс игроков борды.
Модель Command R+ от команды cohere поднялась на 6 место, достигнув уровня GPT-4-0314 и набрав 13K+ голосов. Теперь это лучшая открытая модель.
Command R+ появилась всего 5 дней назад. Эта LLM оптимизирована под RAG, то есть заточена специально под решение задач бизнеса.
🔥40👍9❤6👏1😁1
This media is not supported in your browser
VIEW IN TELEGRAM
Инсайд кадры: Цукерберг тренит веса новой Llama-3.
Судя по всему, модель будет мощной.
Судя по всему, модель будет мощной.
🗿84😁66🔥14🤯5👍4🤪2
Как Netflix Prize изменил рекомендательные системы навсегда
Лестер Макки был старшим специалистом по информатике в Принстоне, когда его друг ворвался в его комнату в общежитии с этими словами. На дворе был 2006 год. Хотите знать, что было дальше? Поехали!
"НАМ НУЖНО ВЫИГРАТЬ МИЛЛИОН ДОЛЛАРОВ"
Лестер Макки был старшим специалистом по информатике в Принстоне, когда его друг ворвался в его комнату в общежитии с этими словами. На дворе был 2006 год. Хотите знать, что было дальше? Поехали!
👍44🔥14❤5👏1🤯1
В Технопарке Сколково сегодня начался международный форум «Открытые инновации». На пленарной сессии «Технологии — ключ к суверенитету» обсудили как настроить эффективное взаимодействие государства и разработчиков для ускоренного преобразования результатов исследований в работающие бизнесы.
В рамках сессии о будущем технологий искусственного интеллекта и его встраивании в бизнес рассказал первый зампред правления Сбера Александр Ведяхин.
В рамках сессии о будущем технологий искусственного интеллекта и его встраивании в бизнес рассказал первый зампред правления Сбера Александр Ведяхин.
🗿25👍10🔥3🤯3❤2🤨2😁1🎉1🐳1
Тайминг – огонь
Угадайте, что произошло вчера сразу после рефреша Arena, про который мы писали? Правильно, появилось сразу две обновленные модели🤨
– Новая версия GPT-4-Turbo. По метрикам наблюдается сильный прирост в математических задачах, в том числе олимпиадного уровня. Кроме того, модель дообучили до декабря 2023. Для разработчиков открыли API GPT-4V.
– Mixtral-8x22B. Конфиги смотрите сверху. Если кратко: 262 GB, 8 экспертов, контекст в 65536 токенов.
Если раньше лидерборды обновлялись раз в пару месяцев, то сейчас счет в гонке идет на дни, а то и на часы. Ждем, что будет дальше.
Угадайте, что произошло вчера сразу после рефреша Arena, про который мы писали? Правильно, появилось сразу две обновленные модели
– Новая версия GPT-4-Turbo. По метрикам наблюдается сильный прирост в математических задачах, в том числе олимпиадного уровня. Кроме того, модель дообучили до декабря 2023. Для разработчиков открыли API GPT-4V.
– Mixtral-8x22B. Конфиги смотрите сверху. Если кратко: 262 GB, 8 экспертов, контекст в 65536 токенов.
Если раньше лидерборды обновлялись раз в пару месяцев, то сейчас счет в гонке идет на дни, а то и на часы. Ждем, что будет дальше.
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤35🔥16👍7🥰1👏1
Кстати, с интро к своей новой модели Mistral вообще не парились. Без привет и до свидания просто твитнули ссылку на торрент с весами.
Такое вот доброе утро от французских коллег🥖
Такое вот доброе утро от французских коллег
Please open Telegram to view this post
VIEW IN TELEGRAM
😁83👍7❤6⚡1🥰1👏1
Вау, первая в России мультимодальная модель! Да еще и в опенсорс!
OmniFusion 1.1., помимо привычного LLM-диалога, может отвечать на вопросы по картинкам. Например, туда можно сгрузить написанные от руки задачи, попросить проанализировать карту, или получить рецепт по фото продуктов.
В основе – Mistral, но можно легко положить в ядро любую другую LLM. Модель – SoTA на ряде бенчмарков (среди моделей схожего размера) и, более того, она хорошо справляется со сложными задачами и понимает русский.
Разработчики открыли модель как для некоммерческой, так и для коммерческой деятельности. Кстати, статья про OmniFusion сегодня на первом месте в списке daily papers на Hugging Face.
Огромный респект коллегам из AIRI🔥
Статья | GitHub | Пост на Хабр
OmniFusion 1.1., помимо привычного LLM-диалога, может отвечать на вопросы по картинкам. Например, туда можно сгрузить написанные от руки задачи, попросить проанализировать карту, или получить рецепт по фото продуктов.
В основе – Mistral, но можно легко положить в ядро любую другую LLM. Модель – SoTA на ряде бенчмарков (среди моделей схожего размера) и, более того, она хорошо справляется со сложными задачами и понимает русский.
Разработчики открыли модель как для некоммерческой, так и для коммерческой деятельности. Кстати, статья про OmniFusion сегодня на первом месте в списке daily papers на Hugging Face.
Огромный респект коллегам из AIRI
Статья | GitHub | Пост на Хабр
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👏66🔥25👍16❤5🤯4👌1