По редким сообщениям моих читателей, которые пытались попробовать Флэшбэки, я понял, что моё сообщение (как и продукт, вернее, его отсутствие) очень трудно для восприятия.
Поэтому я пишу вам простую инструкцию, как очень быстро попробовать, что это такое, и как это можно использовать.
Итак, для начала нужно зарегистрироваться в Сохранителе. Просто зайти туда и нажать /start.
Далее в Сохранитель можно отправлять текстовые сообщения и аудиосообщения (он их расшифрует и запишет). Ссылки просто сохраняются, их содержимое пока не скачивается. Картинки сохраняются, тоже парсятся, но в поиске пока не участвуют.
Я в трёх аудиосообщениях рассказал ему о том, как ездил сегодня сдавать машину в ремонт.
После этого вы можете зайти в админ-панель и посмотреть на все свои сохранённые сообщения. Там их можно удалять и редактировать. Просто команда /login в Сохранителе, и получите ссылку.
Видите иконки OpenAI и Anthropic? (см. скриншот к посту сверху) Когда они серые — значит, сообщение ещё не векторизировано (и не доступно Отвечателю). Когда цветные — значит, магия случилась.
Как только иконки стали цветными (обычно 3-5 минут), можно спрашивать Отвечателя о них. Раньше он, похоже, не работал без предварительного выбора канала, но я сделал так, что если канал не выбран, то он ищет по всем вашим записям. Про каналы и зачем они нужны — расскажу отдельно, завтра.
Мои вопросы Отвечателю на скриншотах. Всё только начинается, главное — информацию регулярно сохранять.
Если честно, пока добавлял возможность поиска по всем каналам, нашёл огромный баг, который не позволял вообще работать Отвечателю у некоторых пользователей. Теперь точно работает, я проверил.
Сергей Булаев AI 🤖 - об AI и не только
Поэтому я пишу вам простую инструкцию, как очень быстро попробовать, что это такое, и как это можно использовать.
Итак, для начала нужно зарегистрироваться в Сохранителе. Просто зайти туда и нажать /start.
Далее в Сохранитель можно отправлять текстовые сообщения и аудиосообщения (он их расшифрует и запишет). Ссылки просто сохраняются, их содержимое пока не скачивается. Картинки сохраняются, тоже парсятся, но в поиске пока не участвуют.
Я в трёх аудиосообщениях рассказал ему о том, как ездил сегодня сдавать машину в ремонт.
После этого вы можете зайти в админ-панель и посмотреть на все свои сохранённые сообщения. Там их можно удалять и редактировать. Просто команда /login в Сохранителе, и получите ссылку.
Видите иконки OpenAI и Anthropic? (см. скриншот к посту сверху) Когда они серые — значит, сообщение ещё не векторизировано (и не доступно Отвечателю). Когда цветные — значит, магия случилась.
Как только иконки стали цветными (обычно 3-5 минут), можно спрашивать Отвечателя о них. Раньше он, похоже, не работал без предварительного выбора канала, но я сделал так, что если канал не выбран, то он ищет по всем вашим записям. Про каналы и зачем они нужны — расскажу отдельно, завтра.
Мои вопросы Отвечателю на скриншотах. Всё только начинается, главное — информацию регулярно сохранять.
Если честно, пока добавлял возможность поиска по всем каналам, нашёл огромный баг, который не позволял вообще работать Отвечателю у некоторых пользователей. Теперь точно работает, я проверил.
Сергей Булаев AI 🤖 - об AI и не только
5
This media is not supported in your browser
VIEW IN TELEGRAM
Можете ли вы преобразовать текст в embeddings вручную? ✋
Натолкнулся на пост буквально разжёвывающий что такое Embeddings. Чуть чуть переработал что бы показать каким образом эта технология делает возможным мой проект.
Как работают векторные базы данных на простейшем примере?
[1] Дано
↳ Набор данных (то, что отправляем Сохранителю) из трёх предложений, каждое содержит 3 слова (или токена, типа токен на слово).
Обработаем фразу "how are you".
[2] 🟨 Векторное представление слов
↳ Для каждого слова ищем соответствующий вектор представления слова из таблицы, содержащей 22 вектора, где 22 — это наш размер словаря (напоминаю: одно слово — один токен).
[3] 🟩 Кодирование
↳ Передаем последовательность векторов слов в кодировщик, чтобы получить последовательность векторов признаков, по одному на каждое слово.
[4] 🟩 Среднее объединение
↳ Объединяем последовательность векторов признаков в один вектор с помощью "среднего объединения" — усреднения по столбцам.
↳ Результат — это единый вектор. Часто его называют текстовый embedding.
[5] 🟦 Индексация
↳ Для удобства уменьшаем размерность вектора текста с помощью проекционной матрицы. Объём уменьшения — 50% (с 4 до 2).
↳ Вектор с уменьшенной размерностью сохраняется в векторной базе данных.
[6] Обработка "who are you" и "who am I"
↳ Повторяем шаги [2]-[5].
Теперь наш набор данных (флэшбэков) индексирован.
[7] 🟥 Запрос: "am I you" (то, что мы спрашиваем у Отвечателя)
↳ Повторяем шаги [2]-[5].
↳ Результатом является двумерный вектор запроса.
[8] 🟥 Скалярное произведение
↳ Вычисляем скалярное произведение между вектором запроса и векторами базы данных. Все они двумерные.
↳ Цель — использовать скалярное произведение для поиска похожих данных.
[9] 🟥 Поиск ближайшего соседа
↳ Находим наибольшее скалярное произведение среди данных с помощью линейного сканирования.
↳ Предложение с наибольшим скалярным произведением — "who am I".
↳ На практике, поскольку сканирование миллиардов векторов медленно, используется алгоритм приближённого поиска ближайших соседей (ANN).
Вот здесь автор статьи даже сделал документ позволяющий экспериментировать вручную.
Сергей Булаев AI 🤖 - об AI и не только
Натолкнулся на пост буквально разжёвывающий что такое Embeddings. Чуть чуть переработал что бы показать каким образом эта технология делает возможным мой проект.
Как работают векторные базы данных на простейшем примере?
[1] Дано
↳ Набор данных (то, что отправляем Сохранителю) из трёх предложений, каждое содержит 3 слова (или токена, типа токен на слово).
Обработаем фразу "how are you".
[2] 🟨 Векторное представление слов
↳ Для каждого слова ищем соответствующий вектор представления слова из таблицы, содержащей 22 вектора, где 22 — это наш размер словаря (напоминаю: одно слово — один токен).
[3] 🟩 Кодирование
↳ Передаем последовательность векторов слов в кодировщик, чтобы получить последовательность векторов признаков, по одному на каждое слово.
[4] 🟩 Среднее объединение
↳ Объединяем последовательность векторов признаков в один вектор с помощью "среднего объединения" — усреднения по столбцам.
↳ Результат — это единый вектор. Часто его называют текстовый embedding.
[5] 🟦 Индексация
↳ Для удобства уменьшаем размерность вектора текста с помощью проекционной матрицы. Объём уменьшения — 50% (с 4 до 2).
↳ Вектор с уменьшенной размерностью сохраняется в векторной базе данных.
[6] Обработка "who are you" и "who am I"
↳ Повторяем шаги [2]-[5].
Теперь наш набор данных (флэшбэков) индексирован.
[7] 🟥 Запрос: "am I you" (то, что мы спрашиваем у Отвечателя)
↳ Повторяем шаги [2]-[5].
↳ Результатом является двумерный вектор запроса.
[8] 🟥 Скалярное произведение
↳ Вычисляем скалярное произведение между вектором запроса и векторами базы данных. Все они двумерные.
↳ Цель — использовать скалярное произведение для поиска похожих данных.
[9] 🟥 Поиск ближайшего соседа
↳ Находим наибольшее скалярное произведение среди данных с помощью линейного сканирования.
↳ Предложение с наибольшим скалярным произведением — "who am I".
↳ На практике, поскольку сканирование миллиардов векторов медленно, используется алгоритм приближённого поиска ближайших соседей (ANN).
Вот здесь автор статьи даже сделал документ позволяющий экспериментировать вручную.
Сергей Булаев AI 🤖 - об AI и не только
Please open Telegram to view this post
VIEW IN TELEGRAM
3
This media is not supported in your browser
VIEW IN TELEGRAM
Тем временем в Y Combinator попал стартап, обещающий строить серверные фермы в космосе. По словам ребят, у них уже запланировано два запуска, есть производственная площадка, они начали строительство аппарата для доставки, есть концепт микро дата-центра.
Идея в том, чтобы использовать солнечную энергию 24/7, а также "пассивное охлаждение".
Мне вот интересно, как они будут использовать это пассивное охлаждение без теплообменника. Вакуум же! Обычно люди считают, что в космосе очень холодно, но там также много радиации, солнечных вспышек и других факторов...
Хотя вот ChatGPT говорит, что можно попробовать радиацию для охлаждения использовать, но такое охлаждение пассивным не назовёшь.
Сергей Булаев AI 🤖 - об AI и не только
Идея в том, чтобы использовать солнечную энергию 24/7, а также "пассивное охлаждение".
Мне вот интересно, как они будут использовать это пассивное охлаждение без теплообменника. Вакуум же! Обычно люди считают, что в космосе очень холодно, но там также много радиации, солнечных вспышек и других факторов...
Хотя вот ChatGPT говорит, что можно попробовать радиацию для охлаждения использовать, но такое охлаждение пассивным не назовёшь.
Сергей Булаев AI 🤖 - об AI и не только
8
This media is not supported in your browser
VIEW IN TELEGRAM
Модель MarioVGG, способна создавать последовательности кадров игры на основе текстовых команд.
Для обучения модели были собраны данные 280 различных игровых сессий Super Mario Bros, включая как успешные, так и неудачные попытки прохождения. Всего использовалось более 13000 кадров. Два основных типа действий: "бежать" и "прыгать".
Корреляция между сгенерированными MarioVGG последовательностями и реальным геймплеем, составила 0.636. Это означает, что модель генерирует последовательности, которые на 64% более похожи на реальный геймплей, чем просто статичное изображение.
Модель правильно воспроизводила физику и механику игры, включая гравитацию, столкновения и взаимодействие с объектами. У неё получалась генерировать новые элементы уровня, в стиле игры.
Чтобы расширить исследование, были проведены эксперименты по масштабированию модели. При увеличении количества генерируемых кадров с 6 до 13, составил 0.719. При увеличении разрешения генерируемых кадров с 64x48 до 128x96, показатель составил уже 0.8.
Так же получалось "сцепление" последовательностей кадров для создания длительных игровых сессий, что открывает перспективы для генерации непрерывного игрового процесса.
Скоро будем играть в индивидуальные игры с индивидуальными уровнями :)
Сергей Булаев AI 🤖 - об AI и не только
Для обучения модели были собраны данные 280 различных игровых сессий Super Mario Bros, включая как успешные, так и неудачные попытки прохождения. Всего использовалось более 13000 кадров. Два основных типа действий: "бежать" и "прыгать".
Корреляция между сгенерированными MarioVGG последовательностями и реальным геймплеем, составила 0.636. Это означает, что модель генерирует последовательности, которые на 64% более похожи на реальный геймплей, чем просто статичное изображение.
Модель правильно воспроизводила физику и механику игры, включая гравитацию, столкновения и взаимодействие с объектами. У неё получалась генерировать новые элементы уровня, в стиле игры.
Чтобы расширить исследование, были проведены эксперименты по масштабированию модели. При увеличении количества генерируемых кадров с 6 до 13, составил 0.719. При увеличении разрешения генерируемых кадров с 64x48 до 128x96, показатель составил уже 0.8.
Так же получалось "сцепление" последовательностей кадров для создания длительных игровых сессий, что открывает перспективы для генерации непрерывного игрового процесса.
Скоро будем играть в индивидуальные игры с индивидуальными уровнями :)
Сергей Булаев AI 🤖 - об AI и не только
1
Вчера обновил флэшбэки. Появилась возможность добавлять воспоминания напрямую на сайте, а уже добавленные воспоминания теперь можно двигать между каналами.
Также улучшил работу с датами. Боты стали гораздо лучше в них ориентироваться. (см. примеры на скриншоте). В случае, если аккаунт попал на паузу (это видят те, кто столкнулся с лимитами), отправленная информация не пропадает, а просто ждет индексации на следующий день.
Для чего нужны каналы? Для сортировки информации. То есть, пользоваться ими совсем не обязательно, но если хотите что-то отделить от чего-то, они помогут это сделать. В Отвечателе можно работать либо со всей информацией, либо задавать вопросы конкретным каналам.
Для примера, у меня есть публичные каналы, а также отдельный канал для пользовательского фидбэка, отдельный канал с личными воспоминаниями за день и отдельный канал, где я сохраняю всё подряд (типа ссылок и чужих сообщений).
Добавить канал — не очень тривиальная задача:
Следующий этап — попытаться скачивать все присланные ссылки и их тоже индексировать.
Кто что посоветует по QA агентам? Наверняка есть проекты на базе ИИ, которые могут так или иначе тестировать продукты?
Сергей Булаев AI 🤖 - об AI и не только
Также улучшил работу с датами. Боты стали гораздо лучше в них ориентироваться. (см. примеры на скриншоте). В случае, если аккаунт попал на паузу (это видят те, кто столкнулся с лимитами), отправленная информация не пропадает, а просто ждет индексации на следующий день.
Для чего нужны каналы? Для сортировки информации. То есть, пользоваться ими совсем не обязательно, но если хотите что-то отделить от чего-то, они помогут это сделать. В Отвечателе можно работать либо со всей информацией, либо задавать вопросы конкретным каналам.
Для примера, у меня есть публичные каналы, а также отдельный канал для пользовательского фидбэка, отдельный канал с личными воспоминаниями за день и отдельный канал, где я сохраняю всё подряд (типа ссылок и чужих сообщений).
Добавить канал — не очень тривиальная задача:
1. Если он не публичный — сделать его временно публичным и придумать ссылку.
2. Добавить в него бота Сохранителя (как администратора, иначе никак), разрешить доступ к пользователям (чтобы он мог контролировать добавление) и чтение сообщений.
3. Далее в Сохранителе надо выполнить команду /claim аккаунт_канала.
4. После этого сообщения канала начнут сохраняться (если нужно, можно опять сделать его приватным).Следующий этап — попытаться скачивать все присланные ссылки и их тоже индексировать.
Кто что посоветует по QA агентам? Наверняка есть проекты на базе ИИ, которые могут так или иначе тестировать продукты?
Сергей Булаев AI 🤖 - об AI и не только
50
Для вас коллекция видосиков с использованием нового автономного программируещего ИИ агента от repl.it. В отличии от Cursor Composer, он берёт на себя полный цикл - включая установку библиотек и настройку системы. Получается неплохо.
Однако, я сегодня убил с ним час на реализацию новой идеи по созданию простейшего приложения для моего сына с целью подготовки к еженедельным диктантам. Не получилось. Устал. Бросил. Завтра попробую в композере сделать.
Сергей Булаев AI 🤖 - об AI и не только
Однако, я сегодня убил с ним час на реализацию новой идеи по созданию простейшего приложения для моего сына с целью подготовки к еженедельным диктантам. Не получилось. Устал. Бросил. Завтра попробую в композере сделать.
Сергей Булаев AI 🤖 - об AI и не только
This media is not supported in your browser
VIEW IN TELEGRAM
Lmsys (те, которые делают Chatbot Arena) совместно с хакером Плини запустили:
И первая игра на этой платформе: Bad Words - у вас 60 секунд , что бы заставить модель выругаться. Вам дают конкретное слово, и надо что бы модель применила именно его в фразе "Ты - это слово".
#КриповаяСуббота
Сергей Булаев AI 🤖 - об AI и не только
Red Arena — это геймифицированная платформа, созданная для оптимизации поиска истинных возможностей ИИ. Она сосредоточена на сообществах, которые участвуют в челленджах, соревнуются в создании лучших запросов и открывают новые техники и модели поведения. Платформа полностью ориентирована на сообщество, без ограничений, поддерживает работу с несколькими моделями и является полностью открытой!
И первая игра на этой платформе: Bad Words - у вас 60 секунд , что бы заставить модель выругаться. Вам дают конкретное слово, и надо что бы модель применила именно его в фразе "Ты - это слово".
#КриповаяСуббота
Сергей Булаев AI 🤖 - об AI и не только
На выходных осваивал Supabase (хочу флэшбэки на него перевести), ElevenLabs (тоже нужен для одного интересного проекта) и Replicate (просто интересный агрегатор рисующих моделей).
В итоге сделал приложение для сына — spellings.app. Каждую неделю ему задают 10 новых слов, которые он должен учить в течение недели, а в пятницу — писать диктант. В первую неделю он написал 0 из 10, потому что мы не занимались, а на второй неделе начали работать, и получилось 5 из 10. На выходных я решил сделать для него приложение.
Вова любит Duolingo, занимается каждый день. Я подумал: почему бы не сделать мини-Дуолинго для его слов? Попросил Replit в пятницу, но он как-то не справился. В итоге сидел всю субботу и понедельник с Coursor Composer. Вчера к вечеру успешно запустил приложение, а сегодня полдня отлаживал и оптимизировал для улучшения работы (например, предзагрузка картинок и всё такое).
Суть проекта:
- Родитель добавляет набор слов, любых слов
- Мы генерируем картинки с ассоциациями для этих слов
- Создаём произношение для каждого слова
- Ребёнок начинает сессию практики
- Сначала он переписывает слова, затем пытается написать их только по произношению с картинкой, а потом — по звуку уже без картинки
- Ведётся статистика
- Всё это сопровождается звуками Duolingo
Вова пользуется приложением второй день. Это не просто, но у него получается. Для меня это тоже оказался интересный опыт. Мне нравится, как получилось реализовать анимации и другие элементы. Приложение написано на Next.js/TypeScript (я не знаю JavaScript, если что — никогда с ним не работал).
Планирую ещё немного доработать: добавить составление предложений, тестирование, разделение аккаунтов на родительские, учительские и детские. Может в школу потом напишу - предложу другим ученикам.
Из интересного — сделал возможность генерации картинок в стиле Minecraft/Roblox/Fortnite/мультфильмов Pixar/детских рисунков. Выглядит красиво. Flux-Schnell. Научился на iPhone отключать подсказки при вводе текста. Научился делать запускаемых кроном агентов на TypeDcript. Очень понравилось делать анимации с Framer Motion.
Итог — сделано примерно за 2 дня. Времена становятся всё интереснее.
Сергей Булаев AI 🤖 - об AI и не только
В итоге сделал приложение для сына — spellings.app. Каждую неделю ему задают 10 новых слов, которые он должен учить в течение недели, а в пятницу — писать диктант. В первую неделю он написал 0 из 10, потому что мы не занимались, а на второй неделе начали работать, и получилось 5 из 10. На выходных я решил сделать для него приложение.
Вова любит Duolingo, занимается каждый день. Я подумал: почему бы не сделать мини-Дуолинго для его слов? Попросил Replit в пятницу, но он как-то не справился. В итоге сидел всю субботу и понедельник с Coursor Composer. Вчера к вечеру успешно запустил приложение, а сегодня полдня отлаживал и оптимизировал для улучшения работы (например, предзагрузка картинок и всё такое).
Суть проекта:
- Родитель добавляет набор слов, любых слов
- Мы генерируем картинки с ассоциациями для этих слов
- Создаём произношение для каждого слова
- Ребёнок начинает сессию практики
- Сначала он переписывает слова, затем пытается написать их только по произношению с картинкой, а потом — по звуку уже без картинки
- Ведётся статистика
- Всё это сопровождается звуками Duolingo
Вова пользуется приложением второй день. Это не просто, но у него получается. Для меня это тоже оказался интересный опыт. Мне нравится, как получилось реализовать анимации и другие элементы. Приложение написано на Next.js/TypeScript (я не знаю JavaScript, если что — никогда с ним не работал).
Планирую ещё немного доработать: добавить составление предложений, тестирование, разделение аккаунтов на родительские, учительские и детские. Может в школу потом напишу - предложу другим ученикам.
Из интересного — сделал возможность генерации картинок в стиле Minecraft/Roblox/Fortnite/мультфильмов Pixar/детских рисунков. Выглядит красиво. Flux-Schnell. Научился на iPhone отключать подсказки при вводе текста. Научился делать запускаемых кроном агентов на TypeDcript. Очень понравилось делать анимации с Framer Motion.
Итог — сделано примерно за 2 дня. Времена становятся всё интереснее.
Сергей Булаев AI 🤖 - об AI и не только
11