Ну что, 13-го октября (завтра) в 23:59 CET подходит к концу набор на интенсив по карьере в AI/ML.
Все 1:1 разобраны. Charity spots разыграны и выданы лучшим кандидатам.
К комьюнити присоединилось уже более 200 человек: Есть много людей, у которых 5+ лет опыта, а также те, кто только начинает свой путь в AI. От студентов до синьоров+ в FAANG. Причем участники географически распределены по всему миру.
Ребята уже бурно общаются по разным темам и обмениваются техническим опытом. А на следующий неделе мы начинаем наш двухнедельный интенсив с четырьмя стримами, которые помогут мотивированным ребятам стать сильными кандидатами на такие роли как Data Scientist, ML Engineer, Research Engineer или Research Scientist.
Уже писал в бота, но скажу еще раз здесь. Я не планирую повторять эту программу в ближайшем будущем. Время ограничено, проектов у меня много, но при этом менторить толковых людей, продвигаться в сфере AI и обмениваться опытом мне очень нравится.
Сейчас это интересный эксперимент для меня и возможность поделиться ценной информацией со своими ребятами в формате, который я ещё не видел.
🚨 Осталось совсем немного времени, чтобы присоединиться. Если вы хотите
1) перейти в AI и понять как стать сильным кандидатом, а также успешно проходить собеседования;
2) увидеть как проходят разные интервью в FAANG на AI позиции и получить обратную связь,
3) нетворкать и общаться в комьюнити cо мной, с людьми вашего уровня и спецами уровнем выше,
то присоединяйтесь к нам, чтобы двигаться по карьерной лестнице в сфере AI: @ai_newz_intensive_bot
#карьера
@ai_newz
Все 1:1 разобраны. Charity spots разыграны и выданы лучшим кандидатам.
К комьюнити присоединилось уже более 200 человек: Есть много людей, у которых 5+ лет опыта, а также те, кто только начинает свой путь в AI. От студентов до синьоров+ в FAANG. Причем участники географически распределены по всему миру.
Ребята уже бурно общаются по разным темам и обмениваются техническим опытом. А на следующий неделе мы начинаем наш двухнедельный интенсив с четырьмя стримами, которые помогут мотивированным ребятам стать сильными кандидатами на такие роли как Data Scientist, ML Engineer, Research Engineer или Research Scientist.
Уже писал в бота, но скажу еще раз здесь. Я не планирую повторять эту программу в ближайшем будущем. Время ограничено, проектов у меня много, но при этом менторить толковых людей, продвигаться в сфере AI и обмениваться опытом мне очень нравится.
Сейчас это интересный эксперимент для меня и возможность поделиться ценной информацией со своими ребятами в формате, который я ещё не видел.
1) перейти в AI и понять как стать сильным кандидатом, а также успешно проходить собеседования;
2) увидеть как проходят разные интервью в FAANG на AI позиции и получить обратную связь,
3) нетворкать и общаться в комьюнити cо мной, с людьми вашего уровня и спецами уровнем выше,
то присоединяйтесь к нам, чтобы двигаться по карьерной лестнице в сфере AI: @ai_newz_intensive_bot
#карьера
@ai_newz
Please open Telegram to view this post
VIEW IN TELEGRAM
Telegram
Career in AI/ML
Бот для регистрации на интенсив по карьере и собеседованиям в AI/ML
9😁41❤17👍12🔥8❤🔥5🦄4🫡3🤯2😱2🤩1
Мой доклад про Imagine Flash
На прошлой неделе я делал доклад на Цюрихском AI+X саммите про модель Imagine Flash (пост). Выкладываю запись доклада.
Если вам давно хотелось узнать, как мы ускоряли диффузионные модели, то вот повод глянуть.
Youtube: тык
#personal
@ai_newz
На прошлой неделе я делал доклад на Цюрихском AI+X саммите про модель Imagine Flash (пост). Выкладываю запись доклада.
Если вам давно хотелось узнать, как мы ускоряли диффузионные модели, то вот повод глянуть.
Youtube: тык
#personal
@ai_newz
YouTube
Imagine Flash: A real-time text-to-image synthesis
Recording of my talk from AI+X Summit, Zurich, 04 Oct 2024.
X: twitter: x.com/artsiom_s
Imagine Flash paper (work done at Meta): https://ai.meta.com/research/publications/imagine-flash-accelerating-emu-diffusion-models-with-backward-distillation/
Abstract:…
X: twitter: x.com/artsiom_s
Imagine Flash paper (work done at Meta): https://ai.meta.com/research/publications/imagine-flash-accelerating-emu-diffusion-models-with-backward-distillation/
Abstract:…
3❤48🔥30👍19❤🔥5🦄5🤩4
Нейродайджест за неделю (#39)
Нобелевская премия
- Нобелевка в физике machine learning. Впервые премию вручили за метод обратного распространения ошибки для тренировки нейросетей.
- AlphaFold. Вторая в истории "нобелевка" по AI за предсказание структуры белков.
Генеративные модели
- Pixtral-12B. Тех-репорт с подробным описанием архитектуры, полезно почитать.
- Midjourney Describe. Они очень старались спрятать эту кнопку на сайте, но я её нашёл. И немного мыслей про копирование стиля с референса.
- Imagine Flash. Запись моего доклада с Цюрихского AI+X саммита про то, как мы ускоряли наши диффузионные модели для картинок и видео.
Роботех
- Роботы-стриптизёры и машины без водительских мест. Учимся закатывать вечеринки у Илона Маска.
Career advancements
- Ищем ментора и как не быть кринжом на желанном созвоне. Рассказал о своем опыте поиска ментора и о том, как я смотрю на своих менти.
-🚨 Final call на интенсив. Через пару часов закрываю регистрацию. Спасибо всем, кто присоединился. Ну, а у остальных ещё есть последняя возможность ;)
> Читать дайджест #38
#дайджест
@ai_newz
Нобелевская премия
- Нобелевка в физике machine learning. Впервые премию вручили за метод обратного распространения ошибки для тренировки нейросетей.
- AlphaFold. Вторая в истории "нобелевка" по AI за предсказание структуры белков.
Генеративные модели
- Pixtral-12B. Тех-репорт с подробным описанием архитектуры, полезно почитать.
- Midjourney Describe. Они очень старались спрятать эту кнопку на сайте, но я её нашёл. И немного мыслей про копирование стиля с референса.
- Imagine Flash. Запись моего доклада с Цюрихского AI+X саммита про то, как мы ускоряли наши диффузионные модели для картинок и видео.
Роботех
- Роботы-стриптизёры и машины без водительских мест. Учимся закатывать вечеринки у Илона Маска.
Career advancements
- Ищем ментора и как не быть кринжом на желанном созвоне. Рассказал о своем опыте поиска ментора и о том, как я смотрю на своих менти.
-
> Читать дайджест #38
#дайджест
@ai_newz
Please open Telegram to view this post
VIEW IN TELEGRAM
2❤29👍17⚡5🔥4🦄2
This media is not supported in your browser
VIEW IN TELEGRAM
Треним Лоры для Flux 1.0 [dev] бесплатно
Люблю опенсорс. А ещё больше нонпрофит проекты, основанные на опенсорсе (да, OpenAI?).
Ежедневно выходит куча проектов с исходным кодом, о которых я даже не успеваю писать, но ведь, кроме обзора статей, хочется ещё и потыкаться самостоятельно. А установка у таких проектов обычно муторная — кто-то всё ещё с сетапом Comfy мучается.
Так вот, Tost.AI — сайт, на котором можно потыкать новые модельки и пайплайны по типу Live Portrait, до которого у меня так и не дошли руки.
Там же можно натренировать свою LoRa и делать всякие ништяки. Кстати, LoRa на Flux выходят бомбические. По набору из 6 фотографий можно консистентно генерить один и тот же объект. Детали реального объекта передаются настолько точно, что сохраняется даже текст (салют креативным фотографам).
Можно, например, по фотографиям из white бокса сделать фото продукта с моделью (или на модели), или красивую картинку где-то в необычной локации и пр.
Тут стоит отметить, что, хоть веса под non-profit лицензией, вы полностью владеете картинками, которые генерит Flux:
Делаем так (см. видос):
1. Заходим, регистрируемся на tost.ai
2. В первой плашке выбираем Train Lora
3. Придумываем триггер-ворд
4. Подгружаем файлы через кнопку Add
5. Жмём Enter и ждём минут 30
6. Качаем файл safetensor
LoRa готова, теперь можно генерить!
Для этого:
1. В первой плашке идём в Text to Image, во второй — Flux 1 Dev. Custom Lora
2. Загружаем файл LoRa, ждём, пока обновится ссылка
3. Далее всё как обычно, главное не забыть триггер-ворд
Жду ваши тесты в комментариях!
UPD: Добавили Flux.1 Dev - ControlNet inpating
Не забываем донатить, если пользуетесь, а то ведь проект некоммерческий.
Tost.ai
Лицензия FLUX.1 [Dev]
#tutorial
@ai_newz
Люблю опенсорс. А ещё больше нонпрофит проекты, основанные на опенсорсе (да, OpenAI?).
Ежедневно выходит куча проектов с исходным кодом, о которых я даже не успеваю писать, но ведь, кроме обзора статей, хочется ещё и потыкаться самостоятельно. А установка у таких проектов обычно муторная — кто-то всё ещё с сетапом Comfy мучается.
Так вот, Tost.AI — сайт, на котором можно потыкать новые модельки и пайплайны по типу Live Portrait, до которого у меня так и не дошли руки.
Там же можно натренировать свою LoRa и делать всякие ништяки. Кстати, LoRa на Flux выходят бомбические. По набору из 6 фотографий можно консистентно генерить один и тот же объект. Детали реального объекта передаются настолько точно, что сохраняется даже текст (салют креативным фотографам).
Можно, например, по фотографиям из white бокса сделать фото продукта с моделью (или на модели), или красивую картинку где-то в необычной локации и пр.
Тут стоит отметить, что, хоть веса под non-profit лицензией, вы полностью владеете картинками, которые генерит Flux:
d. Outputs. We claim no ownership rights in and to the Outputs. You are solely responsible for the Outputs you generate and their subsequent uses in accordance with this License. You may use Output for any purpose (including for commercial purposes), except as expressly prohibited herein. You may not use the Output to train, fine-tune or distill a model that is competitive with the FLUX.1 [dev] Model.
Делаем так (см. видос):
1. Заходим, регистрируемся на tost.ai
2. В первой плашке выбираем Train Lora
3. Придумываем триггер-ворд
4. Подгружаем файлы через кнопку Add
5. Жмём Enter и ждём минут 30
6. Качаем файл safetensor
LoRa готова, теперь можно генерить!
Для этого:
1. В первой плашке идём в Text to Image, во второй — Flux 1 Dev. Custom Lora
2. Загружаем файл LoRa, ждём, пока обновится ссылка
3. Далее всё как обычно, главное не забыть триггер-ворд
Жду ваши тесты в комментариях!
UPD: Добавили Flux.1 Dev - ControlNet inpating
Не забываем донатить, если пользуетесь, а то ведь проект некоммерческий.
Tost.ai
Лицензия FLUX.1 [Dev]
#tutorial
@ai_newz
9🔥145👍30❤26❤🔥6
Серваки с H100, для сравнения, стоят где-то в районе 300к (для больших компаний явно дешевле, но они покупают их десятками или даже сотнями тысяч).
@ai_newz
Please open Telegram to view this post
VIEW IN TELEGRAM
3🤯193🔥27😱20👍9❤8🦄3😁1
Turbo Alignment - файнтюны LLM для народа
Для создания продуктов на основе LLM готовые API часто не подходят. Причин для этого может быть море - как приватность, так и качество генерации. Маленькие затюненные модели часто обгоняют даже SOTA LLM по качеству, но непрофильные команды часто не могут затюнить модельки из-за отсутствия необходимой экспертизы. И хорошо если есть уже готовый пайплайн для каждого этапа работы над LLM в продуктах: SFT, preference tuning, инференс, анализ полученных моделей и др. Я как раз сегодня заметил, что Т-Банк зарелизил либу Turbo Alignment - это библиотека специально для файнтюна уже готовых моделек с полезными фичами:
➖ Поддержка SFT, DPO, CPO, IPO, KTO и других оффлайн-методов алаймента
➖ Готовые end-to-end пайплайны для тюнинга без написания кода
➖ Multi-GPU и Multi-Node тренировка
➖ Обучение и инференс мультимодальных моделей и RAG
➖ Широкий набор метрик для анализа методов алаймента: Self-BLEU, KL-divergence, diversity и др.
Либа была создана с участием ребят из лаборатории T-Bank AI Research. Говорят, что с такой либой проверять продуктовые и исследовательские гипотезы получится намного быстрее, потому что разработчики библиотеки этот путь прошли на своем опыте уже немало раз. В будущем её ещё будут улучшать - обещают имплементацию RL методов.
https://github.com/turbo-llm/turbo-alignment
@ai_newz
Для создания продуктов на основе LLM готовые API часто не подходят. Причин для этого может быть море - как приватность, так и качество генерации. Маленькие затюненные модели часто обгоняют даже SOTA LLM по качеству, но непрофильные команды часто не могут затюнить модельки из-за отсутствия необходимой экспертизы. И хорошо если есть уже готовый пайплайн для каждого этапа работы над LLM в продуктах: SFT, preference tuning, инференс, анализ полученных моделей и др. Я как раз сегодня заметил, что Т-Банк зарелизил либу Turbo Alignment - это библиотека специально для файнтюна уже готовых моделек с полезными фичами:
➖ Поддержка SFT, DPO, CPO, IPO, KTO и других оффлайн-методов алаймента
➖ Готовые end-to-end пайплайны для тюнинга без написания кода
➖ Multi-GPU и Multi-Node тренировка
➖ Обучение и инференс мультимодальных моделей и RAG
➖ Широкий набор метрик для анализа методов алаймента: Self-BLEU, KL-divergence, diversity и др.
Либа была создана с участием ребят из лаборатории T-Bank AI Research. Говорят, что с такой либой проверять продуктовые и исследовательские гипотезы получится намного быстрее, потому что разработчики библиотеки этот путь прошли на своем опыте уже немало раз. В будущем её ещё будут улучшать - обещают имплементацию RL методов.
https://github.com/turbo-llm/turbo-alignment
@ai_newz
👍105🔥49❤🔥13❤5😍2⚡1🤩1
Mistral выпустили линейку новых моделей - Ministral.
Идут в двух размерах - 3B и 8B. Слегка лучше Llama 3.1 в тех же весовых категориях. К сожалению, публикуют веса лишь большой модели и только под research-only лицензией. Понятно что компании нужно кормить, но всё равно грустно.
Бенчами как всегда манипулируют, так что даже не буду постить таблички. К примеру, Base модель вообще не сравнивают с Gemma 9B PT, которая на 5+ поинтов обгоняет Ministral 8B Base почти на всех бенчах.
Из приятного - заметьте как разгорается соревнование в 3B моделях. Сначала это была лишь StableLM, а сейчас есть уж несколько конкурирующих моделей (Gemini Nano-2, Llama 3.2, StableLM, Apple Intelligence, Phi) и постоянно выходят новые.
@ai_newz
Идут в двух размерах - 3B и 8B. Слегка лучше Llama 3.1 в тех же весовых категориях. К сожалению, публикуют веса лишь большой модели и только под research-only лицензией. Понятно что компании нужно кормить, но всё равно грустно.
Бенчами как всегда манипулируют, так что даже не буду постить таблички. К примеру, Base модель вообще не сравнивают с Gemma 9B PT, которая на 5+ поинтов обгоняет Ministral 8B Base почти на всех бенчах.
Из приятного - заметьте как разгорается соревнование в 3B моделях. Сначала это была лишь StableLM, а сейчас есть уж несколько конкурирующих моделей (Gemini Nano-2, Llama 3.2, StableLM, Apple Intelligence, Phi) и постоянно выходят новые.
@ai_newz
3🔥93👍17❤15❤🔥14🦄8🫡6🤯3
This media is not supported in your browser
VIEW IN TELEGRAM
Авторы Chatbot Arena выпустили расширение для VS Code для оценки моделей для кодинга. По сути, это бесплатный копайлот, где предлагают выбирать из нескольких вариантов, сгенеренных разными моделями. Это должно позитивно повлиять на оценку моделей для кода, ведь именно автодополнение никто больше не бенчит. Отдельная арена тут может помочь до какой-то степени, пока разработчики на неё не оверфитнулись. А дальше придётся придумывать новые бенчи.
Если хотите попользоваться, учтите, что ваш код будут отправлять хостерам моделек на арене, что допустимо для опенсорс разработок и каких-то личных проектов. А вот для коммерческой разработки, конечно же, такое использовать не стоит.
Скачать
@ai_newz
Если хотите попользоваться, учтите, что ваш код будут отправлять хостерам моделек на арене, что допустимо для опенсорс разработок и каких-то личных проектов. А вот для коммерческой разработки, конечно же, такое использовать не стоит.
Скачать
@ai_newz
❤102👍40🔥23❤🔥7🦄1
Запускаем Voice Mode ChatGPT если вы не из США 😆
и устанавливаем официальную апку на андройд.
Недавно интернет заполонили тесты новой фичи OpenAI, которую (наконец-то!) раскатили для всех платных подписчиков аккурат перед презентацией Meta, ведь там тоже показали голосовой режим.
Но потестить новый функционал в OpenAI удалось далеко не всем, потому что большинство русскоговорящих пользователей используют чат в браузере, где Voice Mode не работает, а приложения в плейсторе нет.
#гайд ChatGPT из Play Market и как пользоваться им без VPN.
Шаг 1. Самый муторный.
Меняем страну аккаунта Google на США.
(Можно попытаться пропустить этот шаг и скачать apk с какого-нибудь зеркала, но, скорее всего, это не сработает)
1.1 Открываем payments.google.com > Настройки.
1.2 Создаём новый платёжный профиль в США. Жмём на карандаш рядом с пунктом «Страна», см. скрин.
1.3 Переходим на сайт bestrandoms.com и генерируем американский адрес.
(Желательно в Аляске — если вдруг что-то будете оплачивать с карты US, не будет налога. Аналогично можно сгенерировать адрес для других стран и карт)
1.4 Для надёжности можно удалить старый non-US профиль.
1.5 Заходим в Google Play (Play Market) > Настройки > Общие > Настройки аккаунта и устройства. В разделе «Страна и профили» меняем страну на США.
Плеймаркет обновится не сразу, так что если не получилось с первого раза, подождите ещё суток, и приложение появится. (По крайней мере вышло именно, так когда мы тестировали)
Шаг 2. Кайфовый.
Включаем Private DNS.
2.1 Открываем настройки устройства, вводим в поиске «Private DNS» и вписываем туда адрес сервиса DoT от Comss (подробнее здесь).
2.2 Идём в Настройки > Подключение и общий доступ > Частный DNS сервер и вставляем туда адрес: comss.dns.controld.com.
2.3 Всё! Теперь ChatGPT (а также Bing, Bard и Claude) будет работать без VPN. К тому же, это избавит от большей части рекламы на сайтах и в приложениях, ещё и повысит безопасность сети.
Шаг 3. Финальный.
Устанавливаем приложение ChatGPT из Google Play.
3.1 Установили.
3.2 Вошли.
Готово! Если у вас есть подписка, то Voice Mode уже должен быть доступен. Делитесь своими экспериментами в комментах.
Warning: данные шаги нарушают гугловский EULA.
Источник 4PDA
@ai_newz
и устанавливаем официальную апку на андройд.
Недавно интернет заполонили тесты новой фичи OpenAI, которую (наконец-то!) раскатили для всех платных подписчиков аккурат перед презентацией Meta, ведь там тоже показали голосовой режим.
Но потестить новый функционал в OpenAI удалось далеко не всем, потому что большинство русскоговорящих пользователей используют чат в браузере, где Voice Mode не работает, а приложения в плейсторе нет.
#гайд ChatGPT из Play Market и как пользоваться им без VPN.
Шаг 1. Самый муторный.
Меняем страну аккаунта Google на США.
(Можно попытаться пропустить этот шаг и скачать apk с какого-нибудь зеркала, но, скорее всего, это не сработает)
1.1 Открываем payments.google.com > Настройки.
1.2 Создаём новый платёжный профиль в США. Жмём на карандаш рядом с пунктом «Страна», см. скрин.
1.3 Переходим на сайт bestrandoms.com и генерируем американский адрес.
(Желательно в Аляске — если вдруг что-то будете оплачивать с карты US, не будет налога. Аналогично можно сгенерировать адрес для других стран и карт)
1.4 Для надёжности можно удалить старый non-US профиль.
1.5 Заходим в Google Play (Play Market) > Настройки > Общие > Настройки аккаунта и устройства. В разделе «Страна и профили» меняем страну на США.
Плеймаркет обновится не сразу, так что если не получилось с первого раза, подождите ещё суток, и приложение появится. (По крайней мере вышло именно, так когда мы тестировали)
Шаг 2. Кайфовый.
Включаем Private DNS.
2.1 Открываем настройки устройства, вводим в поиске «Private DNS» и вписываем туда адрес сервиса DoT от Comss (подробнее здесь).
2.2 Идём в Настройки > Подключение и общий доступ > Частный DNS сервер и вставляем туда адрес: comss.dns.controld.com.
2.3 Всё! Теперь ChatGPT (а также Bing, Bard и Claude) будет работать без VPN. К тому же, это избавит от большей части рекламы на сайтах и в приложениях, ещё и повысит безопасность сети.
Шаг 3. Финальный.
Устанавливаем приложение ChatGPT из Google Play.
3.1 Установили.
3.2 Вошли.
Готово! Если у вас есть подписка, то Voice Mode уже должен быть доступен. Делитесь своими экспериментами в комментах.
Warning: данные шаги нарушают гугловский EULA.
Источник 4PDA
@ai_newz
Please open Telegram to view this post
VIEW IN TELEGRAM
👍84🔥44❤23😁12🦄4❤🔥3
В ByteDance стажёр обиделся и два месяца саботировал тренировочные раны соседней команды, причём весьма изощрёнными методами:
➖ Загружал чекпоинты с бекдором, через который проносил скрипт, который рандомно убивал джобы на ноде (ckpt - это pickle файл, они могут содержать произвольный код на питоне)
➖ Специально добавлял баги в форк PyTorch, который запускался на кластере
➖ Портил чекпоинты, чтобы результаты экспериментов не сходились
При всём этом он участвовал в митингах, где пытались отловить проблему, слушал, как коллеги пытаются решить её, и на основе услышанного придумывал новые способы саботажа. В итоге поймали по логам, но два месяца и усилия почти 30 человек пропали впустую. А у вас что-то такое было?
П.с. кроме шуток, мощный чел оказался.
@ai_newz
➖ Загружал чекпоинты с бекдором, через который проносил скрипт, который рандомно убивал джобы на ноде (ckpt - это pickle файл, они могут содержать произвольный код на питоне)
➖ Специально добавлял баги в форк PyTorch, который запускался на кластере
➖ Портил чекпоинты, чтобы результаты экспериментов не сходились
При всём этом он участвовал в митингах, где пытались отловить проблему, слушал, как коллеги пытаются решить её, и на основе услышанного придумывал новые способы саботажа. В итоге поймали по логам, но два месяца и усилия почти 30 человек пропали впустую. А у вас что-то такое было?
П.с. кроме шуток, мощный чел оказался.
@ai_newz
11😁509🤯181🔥59👍27❤25😱21🫡5🦄5💯3⚡2🙏2
Нейродайджест за неделю (#40)
Юбилейный) 🎉
LLM
- Ministral. Борьба в сегменте мобильных LLM набирает обороты.
- Turbo Alignment. Библиотека для быстрого тюнинга LLM.
- Chatbot Arena для кодеров. Копайлот от лучшего бенчмарка, предназначенный для оценки эффективности моделей в написании кода.
Другие модальности
- Гайд по запуску Voice Mode ChatGPT. Классный метод обхода ограничений, который работает.
- tost.ai. Бесплатный сервис для генерации и тренировки LoRA на Flux.
Другие новости
- Месть подается холодной. История о том, как саботировать два месяца работы техногиганта. Надо было всем выделять GPU!
- DGX B200. Монстр от NVIDIA за 500 тысяч долларов.
> Читать дайджест #39
#дайджест
@ai_newz
Юбилейный) 🎉
LLM
- Ministral. Борьба в сегменте мобильных LLM набирает обороты.
- Turbo Alignment. Библиотека для быстрого тюнинга LLM.
- Chatbot Arena для кодеров. Копайлот от лучшего бенчмарка, предназначенный для оценки эффективности моделей в написании кода.
Другие модальности
- Гайд по запуску Voice Mode ChatGPT. Классный метод обхода ограничений, который работает.
- tost.ai. Бесплатный сервис для генерации и тренировки LoRA на Flux.
Другие новости
- Месть подается холодной. История о том, как саботировать два месяца работы техногиганта. Надо было всем выделять GPU!
- DGX B200. Монстр от NVIDIA за 500 тысяч долларов.
> Читать дайджест #39
#дайджест
@ai_newz
❤34🔥16⚡7👍4❤🔥3🦄1
Эквивалент GPT-2 Small теперь тренируют за 12 минут
Тюнинг процесса тренировки и архитектуры сократил количество токенов до определённого лосса почти в 4 раза - на 8xH100 тренировка занимает чуть больше 12 минут и стоит меньше 5 долларов.
➖ Поменяли функцию активации на relu^2, а норму - на RMSNorm.
➖ Новый оптимайзер - Muon. Использует меньше памяти, чем Adam, при этом тренируется в полтора раза быстрее по сравнению с Adam. Правда, использует чуть больше компьюта на степ (wallclock падает меньше чем на 2 процента).
➖ Projection matrices инициализируют теперь нулями.
➖ Добавили норму к QK-проекциям.
➖ Паддят эмбеддинг-матрицу до размерности, кратной 64.
Пока полный сетап тестили только на 125M модели, оптимайзер - на моделях до 1.5B. Учитывайте, что трюки для маленьких моделек часто не реплицируются при скейле, но экстремальная оптимизация всё равно полезная.
Код для тренировки, кстати, всего 500 строк.
https://github.com/KellerJordan/modded-nanogpt
@ai_newz
Тюнинг процесса тренировки и архитектуры сократил количество токенов до определённого лосса почти в 4 раза - на 8xH100 тренировка занимает чуть больше 12 минут и стоит меньше 5 долларов.
➖ Поменяли функцию активации на relu^2, а норму - на RMSNorm.
➖ Новый оптимайзер - Muon. Использует меньше памяти, чем Adam, при этом тренируется в полтора раза быстрее по сравнению с Adam. Правда, использует чуть больше компьюта на степ (wallclock падает меньше чем на 2 процента).
➖ Projection matrices инициализируют теперь нулями.
➖ Добавили норму к QK-проекциям.
➖ Паддят эмбеддинг-матрицу до размерности, кратной 64.
Пока полный сетап тестили только на 125M модели, оптимайзер - на моделях до 1.5B. Учитывайте, что трюки для маленьких моделек часто не реплицируются при скейле, но экстремальная оптимизация всё равно полезная.
Код для тренировки, кстати, всего 500 строк.
https://github.com/KellerJordan/modded-nanogpt
@ai_newz
👍144🤯72🔥50❤23❤🔥2😁1🦄1
XAI запустили API
Пока доступна только большая Grok 2. Mini-моделька есть в документации, но доступ к ней пока не дают. Ещё есть пустая секция с моделями для эмбеддингов, которая намекает на будущие релизы.
Цены довольно высокие — $5 input/$15 output за миллион токенов. У всех моделей-конкурентов цены заметно дешевле (дороже только o1, но Grok 2 до неё очень далеко). К тому же у конкурентов часто есть context caching и Batch API, которые помогают заметно снизить стоимость использования.
Важно понимать, что это бета-продукт, который сделали 6 человек за 4 месяца. Дальше наверняка будут добавлять новые функции, больше моделек и снижать цены. Как он будет соотноситься с конкурентами через полгода - вопрос открытый.
@ai_newz
Пока доступна только большая Grok 2. Mini-моделька есть в документации, но доступ к ней пока не дают. Ещё есть пустая секция с моделями для эмбеддингов, которая намекает на будущие релизы.
Цены довольно высокие — $5 input/$15 output за миллион токенов. У всех моделей-конкурентов цены заметно дешевле (дороже только o1, но Grok 2 до неё очень далеко). К тому же у конкурентов часто есть context caching и Batch API, которые помогают заметно снизить стоимость использования.
Важно понимать, что это бета-продукт, который сделали 6 человек за 4 месяца. Дальше наверняка будут добавлять новые функции, больше моделек и снижать цены. Как он будет соотноситься с конкурентами через полгода - вопрос открытый.
@ai_newz
🔥74👍42😁20❤7🦄6🤩3
Advanced Voice для ChatGPT теперь доступен в ЕС!
А также Швейцарии🕺 , Исландии, Норвегии и Лихтенштейне. Поздравляю всех с этим, welcome to the future. Лимиты всё ещё час разговора в сутки, поиграться можно, но постоянно использовать - нет.
@ai_newz
А также Швейцарии
@ai_newz
Please open Telegram to view this post
VIEW IN TELEGRAM
1🔥96👍18🙏16🦄8❤5
В январе выйдет продолжение культовой книги "Cracking the coding interview". Книгу обновили, добавили новые темы и задачи + дополнительные главы например про то, как торговаться за Total Comp (зп) при получении оффера.
Первую версию этой книги я читал еще в 2014 году, когда готовился к своему первому интервью в FANNG - в Google. Я тогда хоть и зафейлил кодинг, но зато понял, что мало готовился :) И вместо гугла пошел делать PhD, о чем ни капли не жалею.
Книгу думаю все же заказать в свою коллекцию. Надеюсь, там будут какие-то инсайты, о которых я еще не знаю.
#books #interviews
@ai_newz
Первую версию этой книги я читал еще в 2014 году, когда готовился к своему первому интервью в FANNG - в Google. Я тогда хоть и зафейлил кодинг, но зато понял, что мало готовился :) И вместо гугла пошел делать PhD, о чем ни капли не жалею.
Книгу думаю все же заказать в свою коллекцию. Надеюсь, там будут какие-то инсайты, о которых я еще не знаю.
#books #interviews
@ai_newz
👍93❤27🔥14🦄6
Наша модель Movie Gen засветилась в Голливуде!
Короткометражка от Аниша Чаганти, одного из режиссёров Blumhouse (это крупнейшая студия, которая выпустила такие фильмы, как «Сплит», «МА»,«Крик» должны были делать «Крик 5» и другие ужастики), где он использует MovieGen для того, чтобы дать вторую жизнь старым кринжовым футажам. Вышел милый видос про детство автора, в котором он вспоминает, как любил творить и фантазировать, а теперь может снова это делать с MovieGen.
Думаю, когда генеративки проникнут в кино, мы все знатно выпадем от их возможностей в хоррорах.
Кстати, Аниш не единственный получил доступ, возможно нас ждет еще пара короткометражек от фильммейкеров студии. Интересно, что чуваки придумают с нашей моделькой. Также в будущем планируют запартнёриться с другими контентмейкерами (блогерами?). До следующего года MovieGen пока еще не будет в продуктах для общего пользования.
Приятно видеть такой импакт от проекта, над которым работал!😊
MovieGen
Про Blumhouse и MovieGen.
@ai_newz
Короткометражка от Аниша Чаганти, одного из режиссёров Blumhouse (это крупнейшая студия, которая выпустила такие фильмы, как «Сплит», «МА»,
Думаю, когда генеративки проникнут в кино, мы все знатно выпадем от их возможностей в хоррорах.
Кстати, Аниш не единственный получил доступ, возможно нас ждет еще пара короткометражек от фильммейкеров студии. Интересно, что чуваки придумают с нашей моделькой. Также в будущем планируют запартнёриться с другими контентмейкерами (блогерами?). До следующего года MovieGen пока еще не будет в продуктах для общего пользования.
Приятно видеть такой импакт от проекта, над которым работал!
MovieGen
Про Blumhouse и MovieGen.
@ai_newz
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥118❤🔥22🦄19👍15❤8🤯3🫡1
Stable Diffusion 3.5 Large
Stability наконец-то выпустили 8B модельку, которую тизерили ещё в феврале. Идёт в двух версиях - обычная и Turbo (которой нужно всего 4 степа). Ещё обещают обновённую Medium завезти, но только 29 октября, через неделю.
По качеству полная моделька, по заявлениям Stability находится между FLUX.1 dev и schnell. Turbo - чуть хуже schnell. До FLUX.1 Pro обоим далеко. Зато хвастаются что SD 3.5 лучше всех в понимании промптов.
Доступны по комьюнити лицензии - то есть если у вас годовая выручка до миллиона долларов, ничего платить не нужно. А вот если больше, то попросят раскошелиться на энтерпрайз лицензию.
После фиаско с Medium 3.0 (которая была ошибкой), к релизу отношусь настороженно.
Не жду, что Stability когда-либо сможет выпустить новую SOTA, т.к. все основные авторы SD ушли.
Веса
Turbo версия
Код
Блогпост
@ai_newz
Stability наконец-то выпустили 8B модельку, которую тизерили ещё в феврале. Идёт в двух версиях - обычная и Turbo (которой нужно всего 4 степа). Ещё обещают обновённую Medium завезти, но только 29 октября, через неделю.
По качеству полная моделька, по заявлениям Stability находится между FLUX.1 dev и schnell. Turbo - чуть хуже schnell. До FLUX.1 Pro обоим далеко. Зато хвастаются что SD 3.5 лучше всех в понимании промптов.
Доступны по комьюнити лицензии - то есть если у вас годовая выручка до миллиона долларов, ничего платить не нужно. А вот если больше, то попросят раскошелиться на энтерпрайз лицензию.
После фиаско с Medium 3.0 (которая была ошибкой), к релизу отношусь настороженно.
Не жду, что Stability когда-либо сможет выпустить новую SOTA, т.к. все основные авторы SD ушли.
Веса
Turbo версия
Код
Блогпост
@ai_newz
🔥50👍26❤11🤩11🙏2❤🔥1🦄1