Сергей Булаев AI 🤖
10.8K subscribers
696 photos
626 videos
2 files
698 links
Основатель нескольких успешных IT и контент-проектов, включая Купи Батон, Lifehacker.ru и Взахлёб. Живу во Флориде в городе Бока Ратон. Занимаюсь созданием контента на основе оцифрованной памяти человека.

tg: @sergeonsamui
in: linkedin.com/in/sbulaev
Download Telegram
В догонку ещё примеры работы с курсором.

- Курсор работает по todo списку
- Создание Chrome плагина
- Создание игры
- Figma плагин
- Создание приложения для телефона (ну весьма образно)
- Пара лайфхаков по оптимизации работы с ним

Сергей Булаев AI 🤖 - об AI и не только
185
15 августа я написал, что придумал нового бота и завтра покажу. Прошло ровно две недели. За это время я дважды съездил на Пхукет, слетал в Бангкок, ко мне приехали сначала одни друзья, потом другие. Каждый день я что-то делал по этому проекту. Понимал что рано показывать.

Думаю, теперь я готов (хотя показывать всё ещё особо нечего). Это даже нельзя назвать MVP, это скорее скелет будущего продукта. Первые инструменты.

Наша личность во многом состоит из воспоминаний, которые со временем превращаются в опыт, как-то влияющий на нас и изменяющий нас. Я очень хочу создать некую базу своих воспоминаний. Понимаю, что записать все воспоминания невозможно. Но если не записывать ничего, то точно ничего не получится 🙂

Цель: создать помощника для своей памяти, которая, безусловно, будет слабеть с годами (неизвестно ещё с какой скоростью), и который так или иначе будет помогать мне вспоминать важные для меня вещи.

Я много думал об этом и понял ещё один очевидный момент — чем больше воспоминаний удастся записать, тем лучше LLM сможет имитировать личность человека. Например, для написания текста от его лица. Ведь что такое текст — это информация, полученная из какого-то источника, пропущенная через призму собственного опыта.

Дальше я вспомнил, что у меня как минимум есть свои телеграм-каналы, посты из которых можно превращать в воспоминания. Поэтому я решил написать очередного бота.

Причём просто записывать воспоминания неинтересно. Интересно сразу как-то с ними работать, поэтому бота сразу два:

Сохранитель
- Запоминает всё, что вы ему пришлёте: текстовые сообщения, вложения, картинки, аудио.
- Может записывать сообщения из телеграм-каналов, в которые вы его добавите.
- Транскрибирует аудиосообщения в текст.
- Переводит тексты в векторы (embeddings) и сохраняет их в векторную базу данных.
- Уже умеет также превращать картинки в текст, но пока этот текст не векторизирует.

Отвечатель
- Выбираете, с информацией из какого канала работаете.
- Пишете ему любой вопрос или просто предложение.
- Он преобразует это в векторы.
- Выбирает 5 наиболее близких воспоминаний.
- Отправляет всё это LLM-модели.
- Присылает вам ответ.

Есть простая админ-панель. Она позволяет удалять/редактировать все записанные воспоминания. Всем этим может пользоваться любой подписчик моего канала. Есть небольшие ограничения, чтобы я внезапно не разорился, но вряд ли вы в них упрётесь.

Как я это буду использовать?

Добавил бота ко всем своим публичным каналам, и процесс сохранения информации начался. Кроме того, у меня есть два приватных канала только для себя, куда я пишу важные для меня заметки. Также создал аналог Saved Messages, но с доп возможностями — туда шлю всё новое, что хочу, чтобы бот запомнил (например, ссылки на статьи и файлы, хотя они ещё не парсятся).

Пока смогу просто искать по этой информации и получать ответы на её основе. Просто хотелось поскорее начать копить данные.

Планы примерно такие:

- Скачивание статей для векторизации, парсинг файлов.
- Аналог человеческого сна — некая систематизация впечатлений за день, формирование воспоминаний на основе новой информации, векторизация воспоминаний.
- Группирование информации с помощью LLM.
- Поиск старых воспоминаний, связанных с новыми (как работает память).
- Случайные воспоминания и напоминания - флэшбэки!

Кроме того, придумано практическое использование для авторов каналов:

- Возможность собрать информацию по теме, высказать мнение, а бот свяжет это с прошлыми воспоминаниями и напишет пост на основе всего этого.
- Дать ему пост, а он найдёт в нём якоря, которые можно залинковать на старые посты.

На самом деле можно придумать ещё много применений. Главное — начать копить информацию. Что думаете?

P.S. Если что, я в курсе, что существуют Obsidian, Roam, Notion, Evernote, Apple Notes и т.д. Я пробовал их все, и некоторые из них даже использую. Но память, как мне кажется, работает немного по-другому.

Сергей Булаев AI 🤖 - об AI и не только
2844166
Сын, который у меня по совместительству со школой - рисует, самостоятельно натренировал LoRA с целью превращения его эскизов в реальные комиксы, в стиле его любимой манхвы. Тут подробности. На 110 картинках как я понял. Удивительно на сколько это реально работает. Типа набросал драфт, получил готовую иллюстрацию.

Как вы наверное слышали, недельку назад основатель Procreate высказался против использования ИИ, я с ним категорически не согласен.

Хочу тоже попробовать натренировать свою. Особенно учитывая рассказы Питера (кто то кроме меня смотерел?). Вопрос на какую тему, думаю может почерк мой попробовать оцифровать?

#ЮзКейсыИИ

Сергей Булаев AI 🤖 - об AI и не только
176321
В продолжение вчерашней темы разбирался сегодня с тренировкой LoRA. Создавал собственного персонажа - добермана с розовыми волосами по имени Добби.

6 Dobbies with different hairstyle and different jackets in diferent mood looking to different sides


Оказалось всё просто!

1. Генерим во Flux серию фоток в одной картинке с помощью промпта вроде:

Grid of quirky photorealistic, doberman photos. It has pink silver hair and is wearing hipster clothes. 16 times square photos, grid of four by four of suares. per line and with each line expressions: neutral, very sad, smilng, roaring, barking, all photos from different angels around.


2. Апскейлим индексное фото. Мне больше всего понравилась fal-ai/creative-upscaler
3. Режем на части
4. Решил дополнительно проапскейлить каждое, для этого уже выбрал fal-ai/aura-sr (так понимаю можно не делать, но очень хотелось)
5. Тренируем LoRA прямо там же - я просто дал архив из 16 картинок и выбрал триггер для упоминания - dobbie.


Тренировка заняла несколько минут. В сумме вышло где-то $2.5. Получилось, можно пользоваться (тоже там же)!

Примеры промптов:

dobbie and his wife family photo

dobbie with his pink hair wearing swimming pants with his wife in the beach club having fun photorealistic

dobbie drinking whisky at the bar

two dobbies with pink and silver hair walking on the Thai street with people around

P.S. Ну и учитывая фотореализм Flux понимаю что с виртуальным человеком будет работать гораздо лучше чем с виртуальной нереалистичной собакой.

#КриповаяСуббота

Сергей Булаев AI 🤖 - об AI и не только
614104
Если вы думаете что я сам резал индексную фотку на 16 частей и потом каждую апскейлил руками, то конечно это не так. Я начал копировать эти квадратики (разметив линейкой в фото редакторе), но понял что дело так не пойдет.

Попросил Cursor Composer написать мне простенькое одноразовое приложение что бы удобно и быстро резать подобные индексы на 16 частей. И реально он сделал. Я впервые на мак ос запустил приложение с WYSWIG интефейсом, написанное на python.

Потом я подумал, почему не проапскейлить разрезанные картинки из . Не по одной же загружать. И Cursor доработал приложуху на апскейл с помощью Fal.ai.

Дальше я Composer добавил выбор моделeй и возможность апскейла индексной фотки. Вобщем у меня уже не один Добби. А ещё есть Pinky Dino и Jimmy Boy.

Понятно что можно приложение доделать до полного цикла - генерации индексного изображения и обучения LoRA, но уже не охота. Любой может попробовать его доделать. Исходники тут.

P.S. Кстати Jimmy Boy изначально нарисовал Midjourney 6.1

#ОдноразовыеПриложения

Сергей Булаев AI 🤖 - об AI и не только
2264