Всем аналитикам посвящается

😻 #memes

Советы по промптингу от OpenAI

Обрушилась, не успев расцвести (но успев заработать миллионы), империя курсов по нейросетям промптингу: OpenAI выкатили собственный гайд с советами по тому, как составлять запросы к LLM. Вот, что пишут:

*️⃣Включайте детали в запросы. Просите модель "представить, что она <профессия>". Указывайте шаги выполнения задачи, делите текст на абзацы. Приводите примеры.

*️⃣Добавляйте рефенсы: пример текста, минимальные необходимые знания, ваши заметки по теме. Особенно, когда просите модель дать ответ, основанный на фактах.

*️⃣Делите задания на мелкие таски. Задавайте вопросы по очереди. Если диалог получается долгим, суммируйте вышесказанное в промптах.

*️⃣Дайте модели время на подумать. Не все ответы сразу могут быть подходящими. Можно спросить, не пропустила ли модель что-нибудь, попросить "перепроверить".

*️⃣Используйте дополнительные инструменты (если речь идет о ChatGPT, это может быть, например, встроенный интерпретатор кода или RAG).

😻 #advice #news

Билл Гейтс поделился своими итогами 2023 и прогнозами на 2024

Основная мысль номер один: он стал дедушкой и невероятно этому рад.

Основная мысль номер два: наступает новая эра. Этому поспособствует в первую очередь ИИ. Гейтс считает, что в скором времени технология радикально изменит образование и медицину, а также поможет миру справиться с социальным неравенством. Миллиардер посоветовал всем приобщаться к ИИ и учиться им правильно пользоваться.

😻 #news

Новинка от Apple: как запускать LLM на устройствах с ограниченной памятью

Ресерчеры оттуда придумали, как запускать LLM даже на тех устройствах, у которых изначально недостаточный для инференса объем DRAM. Идея: сохранять параметры модели во флэш-памяти и тянуть их в DRAM только по запросу. На практике в статье представлены два подхода:

1) Windowing – сокращает использование памяти за счет переиспользования ранее активированных нейронов сети.

2) Row-column bundling – технология, которая внутри увеличивает размер батчей (а вернее сказать, чанков) данных, которые поступают из флэш-памяти.

Объединение этих методов дает прирост скорости инференса в 4-5 раз на CPU и в 20-25 раз на GPU. Плюс, позволяет запускать модели, размер которых в два раза превышает размер доступной DRAM.

Хороша работа, советуем прочитать полностью.

😻 #advice #news

Когда с пацанами файнтюните в домашних условиях

😻 #memes

Завезли статью про Gemini от Google

Ну как статью, тех.репорт. В технические и архитектурные детали исследователи не вдавались, но упомянули, что вдохновлялись Flamingo, CoCa и PaLI, а для восприятия аудиосигналов используют технологию Universal Speech Model. Также хвастаются, что Gemini Nano стала best-in-class small language models за счет умной дестилляции и алгоритмов трейна.

Есть также некоторые детали по поводу обучения, датасетов и токенизатора, и конечно, огромная глава с тестами.

😻 #news