Llamafile от Mozilla: портативный ИИ на флешке

Теперь почти любое устройство можно превратить в оффлайн персонального собеседника за секунды, благодаря Llamafile от Mozilla!

📌 Что такое Llamafile?
Llamafile - это опенсорс продукт от Mozilla, который позволяет распространять и запускать большие языковые модели (LLMs) с помощью одного файла. Это означает, что вы можете "поселить" умную Ламу на флешку или ноутбук.

💡 Особенности Llamafile:
1. Совместимость с различными архитектурами и ОС: Llamafile работает на множестве CPU архитектур и на всех основных операционных системах, включая macOS, Windows и Linux

2. Интеграция с разными моделями ИИ: можно загрузить любые модели, например Mistral-7B-Instruct или WizardCoder-Python-13B, и использовать их в качестве серверных или локальных бинарных файлов

3. Поддержка GPU: На Apple Silicon и Linux, Llamafile поддерживает GPU, что позволяет ускорить обработку данных и улучшить производительность.

4. Нормальная лицензия: Проект llamafile лицензирован под Apache 2.0

🌍 Выводы:
Llamafile от Mozilla открывает новые горизонты для ИИ-разработчиков и пользователей. С Llamafile, ваше устройство становится не просто гаджетом, а интеллектуальным помощником, который всегда с вами (даже в самолете)!

Блог-пост
GitHub

(Напоминаю что сегодня ровно год с выхода ChatGPT, а у нас уже есть версия для флешки 🤔)

Concept Sliders: гранулярный контроль над генерацией изображений

✨ Concept Sliders - это новый инструмент, который дает художникам уникальную возможность настраивать концептуальные детали изображений, созданных с помощью GenAI.

🛠️ Как Это Работает:
Используя эти слайдеры, художники могут легко изменять атрибуты изображений - например, эмоции или возраст персонажа - не нарушая общую структуру картины.

Concept Sliders это LoRA поверх предварительно обученных моделей. Они обучаются понимать визуальные концепции через контраст между парами изображений.

🎭 Эта технология не ограничивается только изображениями. Представьте, что с помощью подобных инструментов можно было бы точно настраивать эмоции и темы в текстах и голосе, или даже оттенки и нюансы в музыке. Так что ждём уже в ближайший месяц на всех платформах для генерации контента!

🪚 Проект
📜 Статья
🎚️ Обученные слайдеры
🖥 Colab
🤗 Демо

Цепная реакция: новые технологии требуют новых интерфейсов

В мире, где ИИ становится всё более технически доступным (и всё более платным), появляется потребность в инструментах, где ИИ был бы буквально на кончиках пальцев. Чтобы мы продолжали делать привычные действия, а получался бы результат, усиленный мощью лучших моделей.

FalClient как раз такой инструмент для интеграции функций AI в проекты Swift. С ним можно делать очень удобные штуки. Например, запилить приложение для iOS в духе недавно вышедшего и очень понравившегося нам tldraw (тоже, кстати, powered by fal.ai), где можно рисовать в режиме реального времени с намного лучшим результатом, чем палка-палка-огуречик. А можно пойти дальше, добавив возможность еще ближе приблизиться к естественному процессу рисования, уточняя и меняя уже сгенерированный рисунок. Конечно, очень не помешает сохранение версий, потому что вовремя остановиться "улучшать" картинку бывает очень сложно.

И это уже лежит в папочке FalRealtimeSampleApp. В общем, цена вопроса $0.00111/s. Можно свою модель использовать, а можно "общественную": Stable Diffusion, Background Removal, ControlNet и тд. со скоростью вывода до ~120ms.

Получается, пост-ии мир уже кристаллизовался в организованную (и иерархическую) структуру: кто-то плавит руду (карточки NVIDIA), другие прокладывают рельсы (aws, google и все облака), третьи делают поезда (модели OpenAI, Meta, Stability, Neural.love у вас же своя?), четвертые строят вокзалы (fal.ai и все про inference), а кто-то делает мягкие сидения, чтобы было удобненько ехать (AI-powered apps). Со всеми барьерами входа в самые ресурсоемкие ниши. Быстро как-то это произошло.

👩‍🚀 falclient

🔍 Метод адаптации больших языковых моделей - LoRA

В области искусственного интеллекта существует важная задача: адаптация больших предобученных языковых моделей, (например GPT-4 или Llama), для конкретных задач. Традиционный подход - полное дообучение, требует переобучения всех параметров модели. Но так как модели большие - переобучать их непомерно дорого и ресурсоемко.

Решением этой проблемы является метод LoRA (Low-Rank Adaptation), разработанный исследователями из Microsoft. Кстати, я уже упоминал этот метод раньше.

LoRA фиксирует веса предобученной модели и встраивает обучаемые матрицы разложения низкого ранга в каждый/любой по выбору слой трансформера. Таким образом, мы можем значительно снизить количество обучаемых параметров для последующих задач.

💡 Как это работает?
- Обычно, когда мы учим модель, мы меняем множество настроек (называемых весами) в ней. Это как регулировка множества крутилок, чтобы модель лучше справлялась со своей задачей.
- LoRA говорит, что не нужно крутить все крутилки. Она предлагает менять только некоторые из них, основываясь на идее, что это будет почти так же эффективно.
- Получается, что вместо того чтобы настраивать множество параметров, мы фокусируемся только на ключевых. Следовательно, процесс обучения становится быстрее и требует меньше ресурсов (денег).

Эксперименты показали, что LoRA работает наравне или лучше, чем полное дообучение на таких моделях, как RoBERTa, DeBERTa, GPT-2 и GPT-3, несмотря на меньшее количество обучаемых параметров.

🔗 GitHub проекта
🤩 Статья

Prompt Engineering: Простые Слова, Большие Изменения

Минимальные изменения в запросах к AI могут радикально повысить точность его ответов.

В мире искусственного интеллекта, где точность и способность к обработке больших данных играют ключевую роль, новые методы работы с запросами открывают новые возможности.

Исследование модели Claude 2.1 от Anthropic выявило, что добавление фразы “Вот самое релевантное предложение в контексте:” в начало ответа модели повысило точность «доставания» ответов из больших документов (200к токенов) с 27% до 98%.

Кажется это рекорд со времен: «дам тебе 200$ чаевых»

🐨 Заметка