🎙️ Посмотрел очередной выпуск подкаста AI&I. Интервью со Стеф Смит о будущем создания контента в эпоху ИИ. Стеф - настоящий исследователь интернета, ведущая подкаста a16z и создатель множества проектов, включая Internet Pipes(инструмент для поиска новых интересных знаний) и книгу "Doing Content Right".

Вот несколько интересных моментов:

🎨 Стеф создала почти все иллюстрации для Internet Pipes с помощью ChatGPT и Midjourney. Она рассказала, как использовала тренд "make it more" для визуализации процесса выпечки картофеля, демонстрируя эволюцию идеи.

🔍 Поиск эстетики: Стеф просматривала главную страницу Midjourney, изучая промпты понравившихся изображений. Это помогло ей правильно артикулировать свои желания и создать уникальный стиль для проекта.

🤖 Стеф считает, что будущее за узкоспециализированными ИИ-инструментами. Она поделилась своими фаворитами:

Consensus

: ИИ-поисковик для научных запросов

Globe Explorer

: создает "оглавления" для каждого запроса

🎭 Стеф интересуется искусством, которое мы ценим из-за личности создателя. Она привела пример Instagram-аккаунта с 2.6 млн подписчиков, показывающего жизнь вязаных лягушек.

🧠Стеф сравнивает свой мозг с языковой моделью, стремясь "тренировать" его на "лучших данных". Она обращает внимание на неожиданно популярных нишевых креаторов, считая это "сигналом" ценных инсайтов.

📝 В интервью использовались WebSim.ai - для генерации сайтов и симулирования интернета, Granola для создания саммари разговора и Suno для создания песни на основе обсужденных тем.

#Креативность #ЮзКейсыИИ

Сергей Булаев AI 🤖 - об AI и не только

🤖🐜 Исследователи из TU Delft опубликовали в Science Robotics работу о навигации крошечных роботов.

🧠💡 Задачей исследование было: как сделать так, чтобы крошечный робот мог самостоятельно ориентироваться в пространстве, имея минимум вычислительных ресурсов? Современные подходы к AI-навигации требуют мощных процессоров и большого объёма памяти.

🐜🧭 Исследователи обратили внимание на муравьёв. Они способны находить дорогу домой, имея "компьютер" размером с булавочную головку. Секрет муравьёв - в комбинации простого подсчёта шагов и запоминания ключевых визуальных ориентиров.

📏📸 Был разработан алгоритм навигации, который требует всего 1.16 килобайт памяти на 100 метров пути. Это позволило 56-граммовому дрону автономно летать на расстояния до 100 метров и возвращаться обратно, используя только встроенный микроконтроллер и простую камеру.

🧠🔍 Вместо попыток впихнуть огромную нейросеть в крошечное устройство, исследователи создали простой, но эффективный алгоритм, имитирующий природные механизмы.

🚀🌱 Такой подход открывает дорогу для создания целого класса микро-AI систем, способных выполнять сложные задачи с минимальными ресурсами. Представьте рой таких микродронов, мониторящих склады или теплицы, или крошечных роботов, исследующих труднодоступные места.

#МикроИИ

Сергей Булаев AI 🤖 - об AI и не только

🔒📧 Proton запустил AI помощника для написания писем с повышенными вниманием к конфиденциальности.

Швейцарская компания Proton, известная своими приватными сервисами (и которой я пользуюсь уже довольно давно), представила Proton Scribe - AI-асистента для составления и редактирования писем.

Ключевые моменты:

- Работает полностью на устройстве пользователя, без отправки данных на сервер
- Основан на open-source модели Mistral 7B
- Не обучается на пользовательских данных
- Доступен под открытой лицензией GPL-3.0

Цель Proton - предложить безопасную альтернативу сторонним AI-инструментам, особенно для бизнес-пользователей, обеспокоенных утечкой конфиденциальных данных.

#ПриватностьИИ

@sergiobulaev - об AI и приватности

🧠 Исследователи из Стэнфорда, UC San Diego и UC Berkeley представили новый подход к обучению языковых моделей - Test-Time Training (TTT) layers. Это может стать важным шагом в создании более эффективных и масштабируемых ИИ-систем.

Ключевые моменты:

🔄 TTT layers используют самообучение в процессе работы. Их скрытое состояние - это модель, которая обучается на каждом токене входной последовательности.

📊 Представлены две реализации: TTT-Linear и TTT-MLP. Обе показывают результаты на уровне или лучше современных моделей вроде Transformer и Mamba при меньших вычислительных затратах.

🚀 TTT-Linear уже быстрее Transformer на контекстах от 8К токенов и сравнима по скорости с Mamba.
📏 TTT слои лучше работают на длинных контекстах, сохраняя способность учиться даже после 16К токенов, в отличие от Mamba.

Это исследование показывает, как переосмысление базовых принципов обучения ИИ может привести к значительным улучшениям. TTT layers предлагают интересный компромисс между эффективностью RNN и выразительностью self-attention.

Этот подход может помочь в создании более компактных и энергоэффективных ИИ-систем, способных обучаться "на лету". Это может быть особенно полезно для конечных устройств и приложений, требующих адаптации к изменяющимся условиям.

#ИнновацииИИ #НовыеМодели

Сергей Булаев AI 🤖 - об AI и не только

🧠 RNN (Recurrent Neural Networks) и Self-Attention - это два ключевых механизма обработки последовательных данных в нейронных сетях. Оба широко используются в обработке естественного языка, но имеют разные подходы и характеристики.

RNN (Рекуррентные нейронные сети):

🔁 Обрабатывают данные последовательно, элемент за элементом.
💾 Имеют "память" - скрытое состояние, которое обновляется на каждом шаге.
🔗 Хорошо работают с зависимостями в коротких последовательностях.
⏱️ Быстрые и эффективные по памяти (линейная сложность).
🚫 Трудности с долгосрочными зависимостями из-за проблемы затухающего градиента.


Self-Attention (Механизм самовнимания):

👀 Каждый элемент "смотрит" на все другие элементы последовательности.
🔢 Вычисляет веса важности для всех элементов относительно друг друга.
🌐 Отлично обрабатывает долгосрочные зависимости.
💪 Более мощный и гибкий механизм, чем RNN.
🐢 Медленнее и требует больше памяти (квадратичная сложность).

🤔 Выбор между RNN и Self-Attention зависит от конкретной задачи:

- RNN лучше для задач, требующих быстрой обработки и ограниченных ресурсов.
- Self-Attention предпочтительнее для задач, где важны сложные долгосрочные зависимости.

Интересно, что исследование TTT layers, пытается объединить преимущества обоих подходов: эффективность RNN и способность обрабатывать длинные зависимости как в Self-Attention.

Сергей Булаев AI 🤖 - об AI и не только

Как модифицировать Claude Engineer для переключения его на новую модель OpenAI gpt-4o-mini с помощью Claude Engineer.

Сергей Булаев AI 🤖 - об AI и не только

У меня эта неделя - отпуск, еду с семьей на машине по очень любимому мной маршруту:

Лос Анджелес -> Санта Барбара -> Сан Хосе -> Пало Альто -> Напа -> Сан Франциско

Посты будут редкими, можно сказать эпизодическими. Может про поездку что то напишу ;)

P.S. Вообще про путешествия я пишу в личном канале.

Бенчмарки новой, опенсорсной LLAMA 3.1 уж какие то совсем чудесные. Неужели она правда так хороша?

Модель тренировали в течении нескольких месяцев на 15 триллионах токенов с помощью 16 тысяч карт NVIDIA H100.

Сергей Булаев AI 🤖 - об AI и не только

TheVerge сделал краткий

Референс по основным понятиям в ИИ для людей

Искусственный интеллект (ИИ) - Artificial Intelligence (AI). Область компьютерных наук, направленная на создание систем, способных выполнять задачи, требующие человеческого интеллекта. Это включает обучение, решение проблем, распознавание образов и принятие решений.

Машинное обучение - Machine Learning. Подраздел ИИ, фокусирующийся на разработке алгоритмов и статистических моделей, позволяющих компьютерным системам улучшать свою производительность на конкретной задаче с опытом, без явного программирования.

Искусственный интеллект общего назначения - Artificial General Intelligence (AGI). Гипотетическая форма ИИ с интеллектом человеческого уровня, способная выполнять любую интеллектуальную задачу, которую может выполнить человек. AGI должен иметь способность передавать знания между доменами.

Генеративный ИИ - Generative AI. Тип ИИ, способный создавать новый контент, такой как текст, изображения, музыка или даже код, основываясь на обучении на больших наборах данных. Примеры включают ChatGPT и DALL-E.

Галлюцинации - Hallucinations. Феномен в генеративном ИИ, когда модель производит информацию, которая кажется правдоподобной, но фактически неверна или не имеет смысла. Это происходит из-за ограничений в обучающих данных или самой модели.

Предвзятость - Bias. Систематическая ошибка в результатах ИИ, часто отражающая предубеждения, присутствующие в обучающих данных или алгоритме. Может приводить к несправедливым или дискриминационным результатам.

Модель ИИ - AI Model. Математическое представление системы или процесса, обученное на данных для выполнения конкретной задачи. Модели ИИ могут варьироваться от простых линейных регрессий до сложных нейронных сетей.

Большие языковые модели - Large Language Models (LLMs). Модели глубокого обучения, обученные на огромных объемах текстовых данных, способные понимать и генерировать человекоподобный текст. Примеры включают GPT (Generative Pre-trained Transformer) и BERT.

Диффузионные модели - Diffusion Models. Класс генеративных моделей, которые обучаются постепенно удалять шум из данных. Особенно эффективны для генерации изображений высокого качества из текстовых описаний.

Фундаментальные модели - Foundation Models. Большие модели ИИ, обученные на разнообразных неразмеченных данных, которые могут быть адаптированы для широкого спектра задач с минимальной дополнительной подготовкой.

Пограничные модели - Frontier Models. Передовые модели ИИ, находящиеся на границе технологических возможностей. Они представляют собой следующее поколение моделей, потенциально более мощных и способных, чем существующие.

Обучение - Training. Процесс, в котором модель ИИ улучшает свою производительность на заданной задаче путем многократного воздействия на данные и корректировки своих внутренних параметров.

Обучающие данные - Training Data. Набор данных, используемый для обучения модели ИИ. Качество и разнообразие этих данных критически важны для производительности и обобщающей способности модели.

Параметры - Parameters. Внутренние переменные модели ИИ, которые она учится оптимизировать во время обучения. Количество параметров часто используется как мера сложности модели.

Обработка естественного языка - Natural Language Processing (NLP). Область ИИ, фокусирующаяся на взаимодействии между компьютерами и человеческим языком. Включает задачи, такие как понимание текста, генерация текста, перевод и анализ настроений.

Выдача - Inference. Процесс использования обученной модели ИИ для получения предсказаний или генерации выходных данных на основе новых входных данных.

Токены - Tokens. Базовые единицы текста, используемые языковыми моделями. Могут быть словами, частями слов или символами. Токенизация - это процесс разбиения текста на эти единицы для обработки.

Нейронная сеть - Neural Network. Вычислительная модель, вдохновленная структурой человеческого мозга. Состоит из взаимосвязанных узлов ("нейронов"), организованных в слои, которые обрабатывают информацию.

Сергей Булаев AI 🤖 - об AI и не только

Трансформер - Transformer. Архитектура нейронной сети, использующая механизм "внимания" для обработки последовательных данных. Особенно эффективна для задач NLP и лежит в основе многих современных языковых моделей.

Генерация с извлечением информации - RAG (Retrieval-Augmented Generation). Метод, комбинирующий извлечение информации из внешних источников с генеративными возможностями языковой модели. Позволяет модели обращаться к актуальной информации, снижая риск галлюцинаций.

Графический процессор - GPU (Graphics Processing Unit) Специализированный процессор, изначально разработанный для рендеринга графики, но широко используемый для параллельных вычислений в обучении моделей ИИ.

Нейронный процессор - NPU (Neural Processing Unit). Специализированный процессор, оптимизированный для выполнения операций, типичных для нейронных сетей, часто используемый в мобильных устройствах для эффективного выполнения задач ИИ.

Триллион операций в секунду - TOPS (Trillion Operations Per Second). Мера производительности, используемая для оценки вычислительной мощности чипов ИИ. Указывает на количество операций, которые чип может выполнить за секунду.

Сергей Булаев AI 🤖 - об AI и не только

Пара примеров использования Meta AI Vision на Quest 3. Теперь изображение с камер очков передается вместе с вашими вопросами. Так же это должно работать на умных очках Meta Ray-Ban.

Сергей Булаев AI 🤖 - об AI и не только

Плагин для прямой интеграции ChatGPT в Гугл таблицы и Excel.


Сергей Булаев AI 🤖 - об AI и не только

Удивительно как эволюционируют AI сгенерённые видео. Просто какой то новый уровень.

Сделано @endlesstaverns на Runway Gen-3 + Suno

Сергей Булаев AI 🤖 - об AI и не только

Пока я отдыхал, Bing выкатил генеративный поиск. С помощью больших и малых языковых моделей генерируются ответы на основе большого числа источников. На видео пример результата по запросу "Что такое спагетти-вестерн?". Вроде бы не для всех, но у меня работает. Смотрится интересно, но немного запутанно.

В это же время Reddit перестал индексироваться всеми поисковиками, кроме Google, потому что он запретил использовать свой контент для тренировки ИИ-моделей. По словам представителя Reddit, это не связано с их сделкой (по которой Google платит компании $60 млн в год). Просто они вели переговоры со всеми, и ни с кем больше не смогли договориться. Некоторые не хотят давать нужных обещаний относительно способов использования контента, включая использование/неиспользование для тренировки моделей.

Сергей Булаев AI 🤖 - об AI и не только