Цепная реакция: новые технологии требуют новых интерфейсов

В мире, где ИИ становится всё более технически доступным (и всё более платным), появляется потребность в инструментах, где ИИ был бы буквально на кончиках пальцев. Чтобы мы продолжали делать привычные действия, а получался бы результат, усиленный мощью лучших моделей.

FalClient как раз такой инструмент для интеграции функций AI в проекты Swift. С ним можно делать очень удобные штуки. Например, запилить приложение для iOS в духе недавно вышедшего и очень понравившегося нам tldraw (тоже, кстати, powered by fal.ai), где можно рисовать в режиме реального времени с намного лучшим результатом, чем палка-палка-огуречик. А можно пойти дальше, добавив возможность еще ближе приблизиться к естественному процессу рисования, уточняя и меняя уже сгенерированный рисунок. Конечно, очень не помешает сохранение версий, потому что вовремя остановиться "улучшать" картинку бывает очень сложно.

И это уже лежит в папочке FalRealtimeSampleApp. В общем, цена вопроса $0.00111/s. Можно свою модель использовать, а можно "общественную": Stable Diffusion, Background Removal, ControlNet и тд. со скоростью вывода до ~120ms.

Получается, пост-ии мир уже кристаллизовался в организованную (и иерархическую) структуру: кто-то плавит руду (карточки NVIDIA), другие прокладывают рельсы (aws, google и все облака), третьи делают поезда (модели OpenAI, Meta, Stability, Neural.love у вас же своя?), четвертые строят вокзалы (fal.ai и все про inference), а кто-то делает мягкие сидения, чтобы было удобненько ехать (AI-powered apps). Со всеми барьерами входа в самые ресурсоемкие ниши. Быстро как-то это произошло.

👩‍🚀 falclient

🔍 Метод адаптации больших языковых моделей - LoRA

В области искусственного интеллекта существует важная задача: адаптация больших предобученных языковых моделей, (например GPT-4 или Llama), для конкретных задач. Традиционный подход - полное дообучение, требует переобучения всех параметров модели. Но так как модели большие - переобучать их непомерно дорого и ресурсоемко.

Решением этой проблемы является метод LoRA (Low-Rank Adaptation), разработанный исследователями из Microsoft. Кстати, я уже упоминал этот метод раньше.

LoRA фиксирует веса предобученной модели и встраивает обучаемые матрицы разложения низкого ранга в каждый/любой по выбору слой трансформера. Таким образом, мы можем значительно снизить количество обучаемых параметров для последующих задач.

💡 Как это работает?
- Обычно, когда мы учим модель, мы меняем множество настроек (называемых весами) в ней. Это как регулировка множества крутилок, чтобы модель лучше справлялась со своей задачей.
- LoRA говорит, что не нужно крутить все крутилки. Она предлагает менять только некоторые из них, основываясь на идее, что это будет почти так же эффективно.
- Получается, что вместо того чтобы настраивать множество параметров, мы фокусируемся только на ключевых. Следовательно, процесс обучения становится быстрее и требует меньше ресурсов (денег).

Эксперименты показали, что LoRA работает наравне или лучше, чем полное дообучение на таких моделях, как RoBERTa, DeBERTa, GPT-2 и GPT-3, несмотря на меньшее количество обучаемых параметров.

🔗 GitHub проекта
🤩 Статья

Prompt Engineering: Простые Слова, Большие Изменения

Минимальные изменения в запросах к AI могут радикально повысить точность его ответов.

В мире искусственного интеллекта, где точность и способность к обработке больших данных играют ключевую роль, новые методы работы с запросами открывают новые возможности.

Исследование модели Claude 2.1 от Anthropic выявило, что добавление фразы “Вот самое релевантное предложение в контексте:” в начало ответа модели повысило точность «доставания» ответов из больших документов (200к токенов) с 27% до 98%.

Кажется это рекорд со времен: «дам тебе 200$ чаевых»

🐨 Заметка

Конкуренция принципов воплощения квантовых компьютеров: ридберговские атомы обходят сверхпроводники

Квантовый компьютер - грандиозная и сложная для воплощения цель. Считается, что третья квантовая революция случится, когда мы научимся дирижировать хотя бы сотней логических кубитов (устойчивых к ошибкам квантовых носителей информации).

Читая о прорывах, важно понимать, о каких именно кубитах идёт речь. Свежий рекорд IBM в 1121 физических кубитов (суперпроводники), или Atom Computing 1180 физических кубитов (ионы), к сожалению, не обещает эффективности. Максимальное подтвержденное число логических кубитов у бостонской QuEra Computing - 25 (ионы).

В сверхпроводниковых квантовых компьютерах для детекции и коррекции ошибок на каждый "логический" кубит нужно 13 физических (это если при масштабировании все пойдет по плану, а оно пока не идет, и есть оценки в 1000 физических кубитов на 1 логический).

В альтернативном подходе к воплощению квантовых компьютеров главный герой - ридберговский атом. Это атом щелочного металла, электрон которого "отодвинут" на большое расстояние от ядра с помощью лазера. Излюбленный ион в таких экспериментах - мягкий серебристый радиоактивный рубидий-87 (87Rb).

Исследователи из Гарварда с партнёрами из MIT, Caltech, Princeton и той самой QuEra в предварительно принятой к публикации в Nature статье утверждают, что смогли организовать систему 87Rb в гиперкуб, и ошибки могут быть обнаружены и скорректированы на уровне софта. Это звучит как голубая мечта квантовых инженеров, которым в рамках традиционных представлений для создания дееспособного квантового процессора необходимы были бы миллионы физических кубитов.

Учёные создали схему из 48 логических кубитов с программной коррекцией ошибок и достигли преимущества в согласованности на порядок выше, чем у систем сопоставимого размера, т.о. предложив рецепт масштабирования до гигантских систем. Метят на 10000 физических кубитов. Учитывая финансирование от Пентагона, звучит так фантастически, что даже верится

💎Статья, где есть 7D гиперкуб