Дорисовываем Draw Fast с помощью Dall-E:
Нарисовали картинку, которая очень понравилась, но качество хромает? Не беда - просто отправьте скриншот своего рисунка и текстового промпта (см в комменты для примеров) в Draw Fast and Enhance GPT (который я для вас побыстренькому сделал) и наслаждайтесь сумасшедшим качеством.
Присылайте в комменты!
Нарисовали картинку, которая очень понравилась, но качество хромает? Не беда - просто отправьте скриншот своего рисунка и текстового промпта (см в комменты для примеров) в Draw Fast and Enhance GPT (который я для вас побыстренькому сделал) и наслаждайтесь сумасшедшим качеством.
Присылайте в комменты!
🔥28🎉5🤩2👍1
Слияние человеческого восприятия с ИИ: на ощупь к сверхспособностям
Читая новости о расшифровке энцефалограмм или fMRI головного мозга с помощью DL алгоритмов, а также в ожидании фьюжн сенсорно-богатой инфо из VisionPro с GPT, не могу не думать о медицинских экспериментах.
В лихие 80е и 90ене только бегали абсолютно голые, но и проводили довольно радикальные эксперименты с мозгом. В одном из них, например, нервы из глаз (не человека) подключали к слуховой части коры головного мозга, и "слуховые" нейроны, к изумлению учёных, учились видеть.
Во-первых, это про гипотезу об универсальном алгоритме обработки информации. Attention is all you need?
Во-вторых, про возможности научить подобную систему чему угодно: хоть понимать речь, хоть различать запахи и вкусы. А как насчёт, видеть магнитные поля, как птицы? К слову, у нас тоже датчик есть.
Выглядит так, что человечество в шаге от создания систем, которые мы будем снабжать своей сенсорной информацией о мире, и получать интерпретацию с учётом накопленных знаний и всякие прикольные способности.
О последствиях сегодня думать не хочу. И так понедельник
🧠 Примеры экспериментов: раз и два
🎸Soundtrack: "Plug in Baby" by Muse
Читая новости о расшифровке энцефалограмм или fMRI головного мозга с помощью DL алгоритмов, а также в ожидании фьюжн сенсорно-богатой инфо из VisionPro с GPT, не могу не думать о медицинских экспериментах.
В лихие 80е и 90е
Во-первых, это про гипотезу об универсальном алгоритме обработки информации. Attention is all you need?
Во-вторых, про возможности научить подобную систему чему угодно: хоть понимать речь, хоть различать запахи и вкусы. А как насчёт, видеть магнитные поля, как птицы? К слову, у нас тоже датчик есть.
Выглядит так, что человечество в шаге от создания систем, которые мы будем снабжать своей сенсорной информацией о мире, и получать интерпретацию с учётом накопленных знаний и всякие прикольные способности.
О последствиях сегодня думать не хочу. И так понедельник
🎸Soundtrack: "Plug in Baby" by Muse
Please open Telegram to view this post
VIEW IN TELEGRAM
👍22🤯7❤4🔥1
Инсайды от CEO LlamaIndex и Weights & Biases
Я редко об этом пишу, но на самом деле довольно много времени провожу на разных ИИ тусовочках в Сан-Франциско и Кремниевой долине. Вчера я побывал на мероприятии, организованном Wing.vc, куда собрались основатели компаний и эксперты в области ИИ. Самым ярким моментом стaла дискуссионная панель с лидерами LlamaIndex и Weights & Biases.
Lucas (СEO Weights & Biases) рассказывал, как еще несколько лет назад им вообще не рекомендовали произносить слова "машинное обучение" в своих питчах, и посмеялся над тем, как все изменилось сейчас. В этом году им пришлось сменить стратегию - если раньше, при создании новых продуктов они ориентировались на практиков машинного обучения в целом, то теперь, они считают, что имеет смысл выбирать более узкую специализацию в области ИИ и делать инструменты конкретно для этой ниши. Такое изменение стратегии было реакцией на рыночные тренды и реальные потребности специалистов.
Jerry (CEO LlamaIndex) рассказал об эволюции своего проекта - от небольшого аккаунта в Твиттере до разработки полноценного ИИ-продукта с миллионом пользователей. Он подчеркнул важность интуитивных инструментов и абстракций для упрощения работы с ИИ, а также отметил роль сообщества и обратной связи в развитии и адаптации продукта. Мне запомнилась одна его цитата:
Оба спикера поделились мыслями о важности гибкости в выборе стратегий и подходов в динамично меняющемся мире ИИ. По итогам дискуссии они пришли к выводу, что адаптация к новым технологиям и потребностям пользователей - залог успешного развития продуктов в области ИИ.
Уроки от LlamaIndex и Weights & Biases - это ценные идеи для всех, кто стремится к успеху в этой динамичной индустрии.
Я редко об этом пишу, но на самом деле довольно много времени провожу на разных ИИ тусовочках в Сан-Франциско и Кремниевой долине. Вчера я побывал на мероприятии, организованном Wing.vc, куда собрались основатели компаний и эксперты в области ИИ. Самым ярким моментом стaла дискуссионная панель с лидерами LlamaIndex и Weights & Biases.
Lucas (СEO Weights & Biases) рассказывал, как еще несколько лет назад им вообще не рекомендовали произносить слова "машинное обучение" в своих питчах, и посмеялся над тем, как все изменилось сейчас. В этом году им пришлось сменить стратегию - если раньше, при создании новых продуктов они ориентировались на практиков машинного обучения в целом, то теперь, они считают, что имеет смысл выбирать более узкую специализацию в области ИИ и делать инструменты конкретно для этой ниши. Такое изменение стратегии было реакцией на рыночные тренды и реальные потребности специалистов.
Jerry (CEO LlamaIndex) рассказал об эволюции своего проекта - от небольшого аккаунта в Твиттере до разработки полноценного ИИ-продукта с миллионом пользователей. Он подчеркнул важность интуитивных инструментов и абстракций для упрощения работы с ИИ, а также отметил роль сообщества и обратной связи в развитии и адаптации продукта. Мне запомнилась одна его цитата:
Ну вот если зайти на HackerNews, то там нас не очень любят - мол, я могу то же самое собрать на коленке за полдня. Конечно, собрать-то ты можешь, но если дать разработчикам удобную абстракцию - они всегда будут ей пользоваться, потому что у них всегда найдется, что еще написать за эти полдня.
Оба спикера поделились мыслями о важности гибкости в выборе стратегий и подходов в динамично меняющемся мире ИИ. По итогам дискуссии они пришли к выводу, что адаптация к новым технологиям и потребностям пользователей - залог успешного развития продуктов в области ИИ.
Уроки от LlamaIndex и Weights & Biases - это ценные идеи для всех, кто стремится к успеху в этой динамичной индустрии.
👍25🔥10❤5
This media is not supported in your browser
VIEW IN TELEGRAM
Рисуем вместе с нейросетью бесплатно и без регистрации
На днях рассказывал про ребят из TLDraw, которые выложили в опенсорс свою рисовалку вместе с нейросетью. И вот она уже онлайн! Прямо сейчас для того что бы ей пользоваться не нужна никакая регистрация. Просто заходите на сайт и рисуете!
drawfast.tldraw.com
(Видео не ускорено! Реальное время)
Ну а если хочется улучшить свое творение - просто скиньте скриншот в специально-обученную версию Dall-E
На днях рассказывал про ребят из TLDraw, которые выложили в опенсорс свою рисовалку вместе с нейросетью. И вот она уже онлайн! Прямо сейчас для того что бы ей пользоваться не нужна никакая регистрация. Просто заходите на сайт и рисуете!
drawfast.tldraw.com
(Видео не ускорено! Реальное время)
Ну а если хочется улучшить свое творение - просто скиньте скриншот в специально-обученную версию Dall-E
🔥25😱3
9 практик, которые улучшат ваш ML-проект
💬 "Я лучше в DL буду развиваться, инженерную часть обойду стороной" — в 2023 году такое не могут себе позволить даже ресерчеры)
Любой исследователь обойдет коллег, если будет проверять больше гипотез, не будет путаться в данных и экспериментах, умеет обучать большие модели и облегчать их с минимальными потерями качества. Поэтому даже в ресерче приходится разбираться с автоматизацией, версионированием, логгированием, ускорением, паралелльными вычислениями, ... — что уж говорить про инженеров, работающих в продуктовых компаниях.
Ребята из школы DeepSchool решили помочь ML-специалистам перенять инженерные практики в свои проекты и подготовили мастер-класс где расскажут, как за 9 шагов придти к репозиторию, за который не стыдно перед коллегами.
А именно обсудят:
1️⃣ как сделать эксперименты воспроизводимыми
2️⃣ какие инструменты помогут повысить качество кода
3️⃣ как ускорить и облегчить свою работу
А также представят программу курса “Computer Vision Rocket” и подарят скидки на обучение!🎁
🙋♂️Спикер лекции — Егор Осинкин, Lead CV Engineer, EPAM
Регистрируйтесь по ссылке. В телеграм-боте ребята также поделились анализом вакансий из slack ods и singularis📊 показали связь между грейдами, требованиями и окладами, динамику зарплат в USD и RUB по грейдам, а также поделились размеченными данными и ноутбуком!
Зарегистрироваться
#реклама
Любой исследователь обойдет коллег, если будет проверять больше гипотез, не будет путаться в данных и экспериментах, умеет обучать большие модели и облегчать их с минимальными потерями качества. Поэтому даже в ресерче приходится разбираться с автоматизацией, версионированием, логгированием, ускорением, паралелльными вычислениями, ... — что уж говорить про инженеров, работающих в продуктовых компаниях.
Ребята из школы DeepSchool решили помочь ML-специалистам перенять инженерные практики в свои проекты и подготовили мастер-класс где расскажут, как за 9 шагов придти к репозиторию, за который не стыдно перед коллегами.
А именно обсудят:
А также представят программу курса “Computer Vision Rocket” и подарят скидки на обучение!🎁
🙋♂️Спикер лекции — Егор Осинкин, Lead CV Engineer, EPAM
Регистрируйтесь по ссылке. В телеграм-боте ребята также поделились анализом вакансий из slack ods и singularis
Зарегистрироваться
#реклама
Please open Telegram to view this post
VIEW IN TELEGRAM
👍9😢6🔥3❤2🤩1
Революционное открытие в материаловедении: ИИ от DeepMind обнаружил миллионы новых кристаллов
Вдохновившись (и набравшись опыта) AlphaFold, DeepMind запускают новую революцию. На этот раз в материаловедении. ИИ-инструмент GNoME от DeepMind открыл 2.2 миллиона новых кристаллов.
Современные технологии, такие как компьютерные чипы и батареи, зависят от неорганических кристаллов. Стабильность этих кристаллов критична.
Инструмент GNoME использует глубокое обучение для предсказания стабильности новых материалов, ускоряя и упрощая процесс их открытия. Он предсказал 2.2 миллиона новых кристаллов. Из них 380 000 - стабильны (а следовательно перспективные кандидаты для экспериментального синтеза).
Среди этих стабильных кристаллов, было найдено 52 000 новых слоистых соединений, аналогичных графену, которые могут произвести революцию в электронике.
Это открытие демонстрирует потенциал ИИ в области поиска и разработки новых материалов. GNoME не только предсказывает структуру новых, стабильных кристаллов, но и помогает ускорить их открытие, повышая эффективность предсказания стабильности материалов с 50% до 80%.
Благодаря GNoME нас ждет более устойчивое будущее, с более эффективными технологиями и материалами для электромобилей и вычислительной техники.
🥳 Блог-пост
🔮 Статья
Вдохновившись (и набравшись опыта) AlphaFold, DeepMind запускают новую революцию. На этот раз в материаловедении. ИИ-инструмент GNoME от DeepMind открыл 2.2 миллиона новых кристаллов.
Современные технологии, такие как компьютерные чипы и батареи, зависят от неорганических кристаллов. Стабильность этих кристаллов критична.
Инструмент GNoME использует глубокое обучение для предсказания стабильности новых материалов, ускоряя и упрощая процесс их открытия. Он предсказал 2.2 миллиона новых кристаллов. Из них 380 000 - стабильны (а следовательно перспективные кандидаты для экспериментального синтеза).
Среди этих стабильных кристаллов, было найдено 52 000 новых слоистых соединений, аналогичных графену, которые могут произвести революцию в электронике.
Это открытие демонстрирует потенциал ИИ в области поиска и разработки новых материалов. GNoME не только предсказывает структуру новых, стабильных кристаллов, но и помогает ускорить их открытие, повышая эффективность предсказания стабильности материалов с 50% до 80%.
Благодаря GNoME нас ждет более устойчивое будущее, с более эффективными технологиями и материалами для электромобилей и вычислительной техники.
🥳 Блог-пост
🔮 Статья
🎉52👍19🔥11🤯6❤2🤩2
Возвращение Сэма Альтмана на пост CEO OpenAI
Сэм Альтман возвращается в качестве генерального директора OpenAI, Мира станет техническим директором. Новый начальный состав совета директоров: Брет Тейлор (председатель), Ларри Саммерс и Адам Д'Анджело.
После недавних изменений в руководстве, Сэм Альтман снова возглавил компанию и благодарит команду за усилия и за то, что они преодолели кризис без потери единого сотрудника.
- Альтман выразил уважение к Илье, который больше не будет в совете, но скорее всего в том или ином виде останется в компании.
- Он благодарит Адама, Ташу, Хелен, Эммета и Миру за их вклад и лидерство.
- Грег и Сэм продолжат совместное руководство компанией (которое будет как-то по новому зафиксировано в уставе компании).
- Сатья, Кевин, Эми и Брэд из Microsoft были невероятными партнерами, Microsoft будет наблюдателем в совете.
- Основные приоритеты: развитие исследований, улучшение продуктов и услуг, строительство совета директоров с разнообразными взглядами.
Сэм с энтузиазмом смотрит в будущее, подчеркивая важность AI в жизни людей и обязательство OpenAI перед обществом.
Ссылка
Сэм Альтман возвращается в качестве генерального директора OpenAI, Мира станет техническим директором. Новый начальный состав совета директоров: Брет Тейлор (председатель), Ларри Саммерс и Адам Д'Анджело.
После недавних изменений в руководстве, Сэм Альтман снова возглавил компанию и благодарит команду за усилия и за то, что они преодолели кризис без потери единого сотрудника.
- Альтман выразил уважение к Илье, который больше не будет в совете, но скорее всего в том или ином виде останется в компании.
- Он благодарит Адама, Ташу, Хелен, Эммета и Миру за их вклад и лидерство.
- Грег и Сэм продолжат совместное руководство компанией (которое будет как-то по новому зафиксировано в уставе компании).
- Сатья, Кевин, Эми и Брэд из Microsoft были невероятными партнерами, Microsoft будет наблюдателем в совете.
- Основные приоритеты: развитие исследований, улучшение продуктов и услуг, строительство совета директоров с разнообразными взглядами.
Сэм с энтузиазмом смотрит в будущее, подчеркивая важность AI в жизни людей и обязательство OpenAI перед обществом.
Ссылка
❤25😱8😁4😢2
Llamafile от Mozilla: портативный ИИ на флешке
Теперь почти любое устройство можно превратить в оффлайн персонального собеседника за секунды, благодаря Llamafile от Mozilla!
📌 Что такое Llamafile?
Llamafile - это опенсорс продукт от Mozilla, который позволяет распространять и запускать большие языковые модели (LLMs) с помощью одного файла. Это означает, что вы можете "поселить" умную Ламу на флешку или ноутбук.
💡 Особенности Llamafile:
1. Совместимость с различными архитектурами и ОС: Llamafile работает на множестве CPU архитектур и на всех основных операционных системах, включая macOS, Windows и Linux
2. Интеграция с разными моделями ИИ: можно загрузить любые модели, например Mistral-7B-Instruct или WizardCoder-Python-13B, и использовать их в качестве серверных или локальных бинарных файлов
3. Поддержка GPU: На Apple Silicon и Linux, Llamafile поддерживает GPU, что позволяет ускорить обработку данных и улучшить производительность.
4. Нормальная лицензия: Проект llamafile лицензирован под Apache 2.0
🌍 Выводы:
Llamafile от Mozilla открывает новые горизонты для ИИ-разработчиков и пользователей. С Llamafile, ваше устройство становится не просто гаджетом, а интеллектуальным помощником, который всегда с вами (даже в самолете)!
Блог-пост
GitHub
(Напоминаю что сегодня ровно год с выхода ChatGPT, а у нас уже есть версия для флешки🤔 )
Теперь почти любое устройство можно превратить в оффлайн персонального собеседника за секунды, благодаря Llamafile от Mozilla!
📌 Что такое Llamafile?
Llamafile - это опенсорс продукт от Mozilla, который позволяет распространять и запускать большие языковые модели (LLMs) с помощью одного файла. Это означает, что вы можете "поселить" умную Ламу на флешку или ноутбук.
💡 Особенности Llamafile:
1. Совместимость с различными архитектурами и ОС: Llamafile работает на множестве CPU архитектур и на всех основных операционных системах, включая macOS, Windows и Linux
2. Интеграция с разными моделями ИИ: можно загрузить любые модели, например Mistral-7B-Instruct или WizardCoder-Python-13B, и использовать их в качестве серверных или локальных бинарных файлов
3. Поддержка GPU: На Apple Silicon и Linux, Llamafile поддерживает GPU, что позволяет ускорить обработку данных и улучшить производительность.
4. Нормальная лицензия: Проект llamafile лицензирован под Apache 2.0
🌍 Выводы:
Llamafile от Mozilla открывает новые горизонты для ИИ-разработчиков и пользователей. С Llamafile, ваше устройство становится не просто гаджетом, а интеллектуальным помощником, который всегда с вами (даже в самолете)!
Блог-пост
GitHub
(Напоминаю что сегодня ровно год с выхода ChatGPT, а у нас уже есть версия для флешки
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥58🤯9👍7❤3🎉1
This media is not supported in your browser
VIEW IN TELEGRAM
При чем тут AI? Это на пол пути между домом Sam Altman и офисом OpenAI
🔥21❤5🤯3
Concept Sliders: гранулярный контроль над генерацией изображений
✨ Concept Sliders - это новый инструмент, который дает художникам уникальную возможность настраивать концептуальные детали изображений, созданных с помощью GenAI.
🛠️ Как Это Работает:
Используя эти слайдеры, художники могут легко изменять атрибуты изображений - например, эмоции или возраст персонажа - не нарушая общую структуру картины.
Concept Sliders это LoRA поверх предварительно обученных моделей. Они обучаются понимать визуальные концепции через контраст между парами изображений.
🎭 Эта технология не ограничивается только изображениями. Представьте, что с помощью подобных инструментов можно было бы точно настраивать эмоции и темы в текстах и голосе, или даже оттенки и нюансы в музыке. Так что ждём уже в ближайший месяц на всех платформах для генерации контента!
🪚 Проект
📜 Статья
🎚️ Обученные слайдеры
🖥 Colab
🤗 Демо
🛠️ Как Это Работает:
Используя эти слайдеры, художники могут легко изменять атрибуты изображений - например, эмоции или возраст персонажа - не нарушая общую структуру картины.
Concept Sliders это LoRA поверх предварительно обученных моделей. Они обучаются понимать визуальные концепции через контраст между парами изображений.
🎭 Эта технология не ограничивается только изображениями. Представьте, что с помощью подобных инструментов можно было бы точно настраивать эмоции и темы в текстах и голосе, или даже оттенки и нюансы в музыке. Так что ждём уже в ближайший месяц на всех платформах для генерации контента!
🪚 Проект
📜 Статья
🎚️ Обученные слайдеры
🤗 Демо
Please open Telegram to view this post
VIEW IN TELEGRAM
❤26🔥9👍3
This media is not supported in your browser
VIEW IN TELEGRAM
Цепная реакция: новые технологии требуют новых интерфейсов
В мире, где ИИ становится всё более технически доступным (и всё более платным), появляется потребность в инструментах, где ИИ был бы буквально на кончиках пальцев. Чтобы мы продолжали делать привычные действия, а получался бы результат, усиленный мощью лучших моделей.
FalClient как раз такой инструмент для интеграции функций AI в проекты Swift. С ним можно делать очень удобные штуки. Например, запилить приложение для iOS в духе недавно вышедшего и очень понравившегося нам tldraw (тоже, кстати, powered by fal.ai), где можно рисовать в режиме реального времени с намного лучшим результатом, чем палка-палка-огуречик. А можно пойти дальше, добавив возможность еще ближе приблизиться к естественному процессу рисования, уточняя и меняя уже сгенерированный рисунок. Конечно, очень не помешает сохранение версий, потому что вовремя остановиться "улучшать" картинку бывает очень сложно.
И это уже лежит в папочке FalRealtimeSampleApp. В общем, цена вопроса $0.00111/s. Можно свою модель использовать, а можно "общественную": Stable Diffusion, Background Removal, ControlNet и тд. со скоростью вывода до ~120ms.
Получается, пост-ии мир уже кристаллизовался в организованную (и иерархическую) структуру: кто-то плавит руду (карточки NVIDIA), другие прокладывают рельсы (aws, google и все облака), третьи делают поезда (модели OpenAI, Meta, Stability, Neural.love у вас же своя?), четвертые строят вокзалы (fal.ai и все про inference), а кто-то делает мягкие сидения, чтобы было удобненько ехать (AI-powered apps). Со всеми барьерами входа в самые ресурсоемкие ниши. Быстро как-то это произошло.
👩🚀 falclient
В мире, где ИИ становится всё более технически доступным (и всё более платным), появляется потребность в инструментах, где ИИ был бы буквально на кончиках пальцев. Чтобы мы продолжали делать привычные действия, а получался бы результат, усиленный мощью лучших моделей.
FalClient как раз такой инструмент для интеграции функций AI в проекты Swift. С ним можно делать очень удобные штуки. Например, запилить приложение для iOS в духе недавно вышедшего и очень понравившегося нам tldraw (тоже, кстати, powered by fal.ai), где можно рисовать в режиме реального времени с намного лучшим результатом, чем палка-палка-огуречик. А можно пойти дальше, добавив возможность еще ближе приблизиться к естественному процессу рисования, уточняя и меняя уже сгенерированный рисунок. Конечно, очень не помешает сохранение версий, потому что вовремя остановиться "улучшать" картинку бывает очень сложно.
И это уже лежит в папочке FalRealtimeSampleApp. В общем, цена вопроса $0.00111/s. Можно свою модель использовать, а можно "общественную": Stable Diffusion, Background Removal, ControlNet и тд. со скоростью вывода до ~120ms.
Получается, пост-ии мир уже кристаллизовался в организованную (и иерархическую) структуру: кто-то плавит руду (карточки NVIDIA), другие прокладывают рельсы (aws, google и все облака), третьи делают поезда (модели OpenAI, Meta, Stability, Neural.love у вас же своя?), четвертые строят вокзалы (fal.ai и все про inference), а кто-то делает мягкие сидения, чтобы было удобненько ехать (AI-powered apps). Со всеми барьерами входа в самые ресурсоемкие ниши. Быстро как-то это произошло.
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥30❤6😁3👍1
🎄📚 Новогодний Подарок: пусть мечты о Data Science станут реальностью!
Не упустите шанс выиграть коллекцию из 6 топовых книг по машинному обучению и Data Science – праздничный подарок от Деда Мороза в редакции канала @data_secrets
Вы верите в чудеса? Команда решила воплотить ваши мечты о знаниях в области Data Science в реальность! Дед Мороз, который, кстати, живет прямо у них в редакции, приготовил особенный подарок на Новый Год.
В редакции выбрали 6 самых востребованных книг по машинному обучению и Data Science, которые станут идеальным новогодним подарком для пяти счастливчиков. Участие в розыгрыше простое и захватывающее – подпишитесь на каналы @data_secrets и @xor_journal и кликните на кнопку «Участвовать».
Не пропустите объявление победителей 15 декабря в 19:00 на канале Data Secrets. Пусть этот Новый Год откроет для вас новые горизонты в мире Data Science. С наступающим Новым Годом и удачи в розыгрыше! 🌟📈
#реклама
Не упустите шанс выиграть коллекцию из 6 топовых книг по машинному обучению и Data Science – праздничный подарок от Деда Мороза в редакции канала @data_secrets
Вы верите в чудеса? Команда решила воплотить ваши мечты о знаниях в области Data Science в реальность! Дед Мороз, который, кстати, живет прямо у них в редакции, приготовил особенный подарок на Новый Год.
В редакции выбрали 6 самых востребованных книг по машинному обучению и Data Science, которые станут идеальным новогодним подарком для пяти счастливчиков. Участие в розыгрыше простое и захватывающее – подпишитесь на каналы @data_secrets и @xor_journal и кликните на кнопку «Участвовать».
Не пропустите объявление победителей 15 декабря в 19:00 на канале Data Secrets. Пусть этот Новый Год откроет для вас новые горизонты в мире Data Science. С наступающим Новым Годом и удачи в розыгрыше! 🌟📈
#реклама
❤8🔥6👍3
В области искусственного интеллекта существует важная задача: адаптация больших предобученных языковых моделей, (например GPT-4 или Llama), для конкретных задач. Традиционный подход - полное дообучение, требует переобучения всех параметров модели. Но так как модели большие - переобучать их непомерно дорого и ресурсоемко.
Решением этой проблемы является метод LoRA (Low-Rank Adaptation), разработанный исследователями из Microsoft. Кстати, я уже упоминал этот метод раньше.
LoRA фиксирует веса предобученной модели и встраивает обучаемые матрицы разложения низкого ранга в каждый/любой по выбору слой трансформера. Таким образом, мы можем значительно снизить количество обучаемых параметров для последующих задач.
💡 Как это работает?
- Обычно, когда мы учим модель, мы меняем множество настроек (называемых весами) в ней. Это как регулировка множества крутилок, чтобы модель лучше справлялась со своей задачей.
- LoRA говорит, что не нужно крутить все крутилки. Она предлагает менять только некоторые из них, основываясь на идее, что это будет почти так же эффективно.
- Получается, что вместо того чтобы настраивать множество параметров, мы фокусируемся только на ключевых. Следовательно, процесс обучения становится быстрее и требует меньше ресурсов (денег).
Эксперименты показали, что LoRA работает наравне или лучше, чем полное дообучение на таких моделях, как RoBERTa, DeBERTa, GPT-2 и GPT-3, несмотря на меньшее количество обучаемых параметров.
🔗 GitHub проекта
🤩 Статья
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥19👍12❤5