Малые Языковые Модели (Small Language Models или SLM) - главный тренд начала 2024 года

Если вам кажется что языковые модели - это что-то, что работает только на серверах OpenAI, то у меня для вас новости.

С недваних пор, появилось такое явление как Малые Языковые Модели (они же Small Languge Models или SLM). Определение слово малый пока еще не устоялось, но обычно имеются ввиду модели типа 1B, 2B и 7B (миллиарды параметров). Малые языковые модели уже не просто существуют, но и доступны в несколько кликов для установки на ваш ноутбук. Работают в реальном времени и по качеству сравнимы с GPT-3.5 (Mixtral).

При этом, например Phi-2 - 2х миллиардная открытая модель от Microsoft весисит всего 1.5 Гб. То есть в каком-то смысле - это весь интернет, сжатый в такой крошечный объем.

🐥 Что бы попробовать самостоятельно:

1. Скачиваем ollama
2. Устанавливаем
3. Запускаем Terminal (CMD на Windows)
4. Пишем ollama run mistral (или phi, или любую другую модель из списка )
5. Приватно общаемся (даже с выключеным интернетом в самолете)

В следующий раз расскажу как запустить Ollama с интерфейсом, как у ChatGPT, так что подписывайтесь на наш канал @nn_for_science

Итог выходных (конечно же четверг-пятница. Тель авив форевер). Сан-Франциско не пахнет деньгами. Он пахнет пало-сантос и бомжами.

Автономные роботы со слухом, зрением и центром принятия решений - это не фантастика.

Последнюю неделю ходил по магазинам и ловил себя на мысли, что если бы нашел что-то похожее с голосовыми ассистентами, сразу бы купил.

Это и для детей, и для взрослых будет очень значимым этапом, который изменит восприятие общения с ассистентами, и для самих ассистентов будет новым опытом, когда они научатся различать, имеют ли они физическое воплощение или нет, пусть даже это и не будет осознано в полной мере.

Mr.Rob построен на Raspberry Pi, сменных батареях, сервоприводах, отвечающих за повороты головы, OLED-дисплеях для анимированных глаз, а способность описывать мир работает через GPT-4. Так как изначально она не предназначена для этого, справляется пока средне. Может понять, что смартфон – это цифровое устройство, но не более.

Всем привет из Норвегии! Меня зовут Кирилл.

Я нефтегазовый инженер по образованию. Несколько лет я разрабатывал подводные системы для добычи нефти и газа и руководил проектами от Арктики до Африки.

Помимо этого я успел постартапить, обучиться программированию и AI, выиграть / быть призером в хакатонах, стать специалистом по ТРИЗ(теория решения изобретательских задач), поработать в разных странах.

Сейчас я занимаюсь data intelligence для нефтегазовой и энергетической отрасли.

На канале в основном пишу разборы интересных статей и новости.

Рад знакомству!

Делаем веб интерфейс для Ollama

Для того чтобы с Ollama было удобнее и приятнее работать, можно прикрутить к ней веб интерфейс очень подобный по дизайну на ChatGPT.

Пошаговая инструкция:

1) Ставим Docker и убеждаемся что он работает (если уже есть и на ходу, переходим к следующему пункту). Для тех, кто не в теме, читаем матчасть тут. Я использую Docker Desktop.

2) Ставим Ollama. Если на вашем компе уже живёт и работает Ollama, переходим к следующему шагу. Ollama и веб интерфейс можно поставить вместе, используя Docker compose файл в репозитории и команду: docker compose up -d --build для машин без GPU.

Для машин с GPU пишем: docker compose -f docker-compose.yml -f docker-compose.gpu.yml up -d --build


3) Если у вас уже есть Docker и Ollama, как было у меня, то убеждаемся что Ollama работает, вписав следующее в адресной строке браузера: https://127.0.0.1:11434/ (у вас может быть другой порт). Если браузер показывает вам сообщение: Ollama is running, то пишем команду: docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway --name ollama-webui --restart

4) Ждём пока Docker выполнит задачу

5) Ollama веб интерфейс должен открыться на следующем адресе: https://localhost:3000/ . Вы должны увидеть интерфейс, как на картинке в данном посте.

6) Enjoy!


🌌 Подробная инструкция

SF (San Francisco) такой SF

Сижу в парке, рядом чувак принёс пульт и фигачит DJ сет себе в наушники.

Вот такая современная версия дедушки с мольбертом

Заканчиваем дела на этот год

В последний месяц я с головой ушел в свой проект, и совсем забыл про то, что я - это не только голова, но и тело. Спасибо что у меня есть такие чудесные друзья, как Ася.

Самый лучший способ выключится из дел и почувствовать свое тело - это ритуал какао. Рецепт такой: греем молоко, в него какао порошок, каенский перец и немножко корицы. Перед тем как пить, задаем intention (намерение, что мы хотим получить от ритуала).

После того как выпьете какао, лучше всего остановиться и посидеть помедитировать 20 минут (ставите таймер и дышите, каждый раз когда уносит в мысли, возвращаетесь к дыханию).

И вот, спустя час, все дела забыты, а впереди уже Новый год!

А вы как заканчиваете год?

Наш канал поздравляет всех подписчиков с Новым Годом 🎄

Желаем вам в новом году душевности, тепла, равновесия и достижения целей!

Инсайдерская инфа - OpenAI запустят свой GPT Store на следующей неделе.

Готовьтесь слышать слово агент из каждого утюга!

Бесплатные облачные кредиты для стартапов

Многие из нас что-то пилят (или как говорят в Долине we are building). Одно дело делать блокнотик в колабе, и совсем другое запускать что-то в продакшен. Для этого нужны деньги.

К счастью, у больших организаций типа AWS, Microsoft, NVidia и Google есть программы для стартапов, в которых они дают бесплатные облачные кредиты для реализации ваших идей.

Мне удалось получить их все, без официальной регистрации компании.

Формы заявки довольно простые для заполнения:

AWS Activate - $1000+
NVidia Inception - $10000+
Microsoft for Startups -$1000+
Google for Startups - $2000+

Попадание в каждую из этих программ дает множество дополнительных плюшек, типа бесплатных кредитов на Notion, Miro, Assana, Vercel и тд.

Happy building!

GPT, который помнит все

OpenAI включает функцию AI всегда с тобой (она официально никак не называется).

Работать это будет так: все наше общение в разных чатах будет каким-то образом суммаризироваться и сохранятся (возможно, что то типа одного global thread, но для системного промпта).

По задумке OpenAI, GPT станет намного более персонализированным и полезным (alignment with persona’s preferences).

X

Mixtral 8x7B оптимизировали для работы на слабых GPU

Mixtral 8x7B — это большая языковая модель (LLM) с открытыми весами, производительность которой выше, чем у GPT-3.5. Mixtral 8x7B представляет собой собрание экспертов (Mixture of Experts (MoE)).

Такие модели архитектурно отличаются от традиционных LLM. Вместо отправки каждого токена в dense layer, модель использует набор экспертов (слои со специализацией) и роутер, который направляет токены к наиболее подходящему эксперту.

Здесь очень подходит аналогия с консалтинговой компанией, в которой работают консультанты разной специализации.

Если традиционные модели, например Llama2, взаимодействуют со всей информацией одновременно, то экспертные модели эффективно распределяют задачи среди своих экспертов, что позитивно сказывается на их производительности.

Все бы хорошо, но чтобы запустить Mixtral 8x7B нужно много гигабайт оперативной памяти на GPU, что зачастую недоступно простым смертным обычным юзерам.

Ребята из МФТИ оптимизировали прожорливую Mixtral 8x7B для работы на небольших (consumer grade) GPU.

Исходная модель была квантована в режиме смешанной точности, используя полуквадратичное квантование (HQQ). Также была разработана специальная стратегия разгрузки ресурсов.

Авторы изучили, как экспертная модель использует своих экспертов между токенами, и выявили некоторые закономерности:

1) Модель повторно использует определенных экспертов для последовательных токенов

2) Скрытые состояния ранних уровней уже предвидят, какие эксперты будут использоваться на последующих уровнях.

В результате был разработан метод разгрузки для MoE моделей, который использует эти шаблоны:

1) Используется кэш LRU для уменьшения обмена данными между графическим процессором и оперативной памятью, что увеличивает производительность

2) Метод заранее предсказывает, какие эксперты будут нужны и формирует очередность их загрузки на основе требуемых вычислений


🪄 Блог

🐈‍⬛ Код

🐙 GitHub

📖 Статья

🕸 Сайт

Онлайн с Microsoft for AI

Сегодня буду вести +- онлайн с конференции Microsoft AI Tour. Расскажу вам все свеженькие подробности, чем там занимается самая дорогая компания мира