Автоматический монтаж видео
Part 2 (первая часть тут)

Итак, спустя год после "проверки спроса" мы сделали работающий MVP.

🍬 Идея продукта
Провели касдевы и выявили несколько проблем в монтаже видео:
⤷ Сложно придумать идею монтажа
⤷ Сложно найти музыку
⤷ Проблема "белого листа"

Мы не питали иллюзий, что можно получить контент от юзера и сразу выдать ему идеально смонтированный ролик. Мы не можем залезть к юзеру в голову, да и технологий еще недостаточно.

Поэтому мы решили сделать не 🪄магическую палочку, а инструмент с вот таким флоу:

1. Юзер загружает свой контент
2. И получает ♾ бесконечную ленту автоматически смонтированных видео под разную музыку

С таким флоу, юзер может за 10 минут 🕖 посмотреть кучу вариантов монтажей. Выбрать самый классый и минимально дотюнить его руками. Также это бьет по всем проблемам из касдевов.

⚙️ Технология
Мы руками разметили 20+ треков. Каждый трек – это шаблон, в котором размечены переходы (чтобы идеально попадать в бит), тип контента, какой наложить эффект и пр.

Написали автоэдитор, который принимает контент и шаблон, и выдает смонтированное видео. Использовали всякие умные эвристики и рендерили с помощью ffmpeg.

Также сделали "рекомендательную систему", которая ранжировала шаблоны, исходя из входного контента. Например, если скинули мало видосов, то мы сначала покажем юзеру короткие шаблоны.

Реализовали в виде Телеграм-бота

📊 Результаты

Сухая статистика (на данный момент):
⤷ 5K юзеров
⤷ 40K созданных видео
⤷ 30+ купленных подписок (монетизацию включили только в феврале)

Однако нас не удовлетворил ретеншен, конверсия в подписку, а также появились сильные конкуренты: Reels-шаблоны в Инстаграме и автомонтаж в CapCut (TikTok).

Поэтому данный продукт мы поставили на паузу. Может быть в скором будущем возродим его и сделаем еще одну итерацию!

* Прикрепленное видео сделано с помощью нашего бота.

Попробуйте сами: 🎬 Magic Clip Bot

🎒 @karim_iskakov

Локализация – это боль. Но GPT-4 поможет

Еще когда мы делали Avatarify, я понял, что локализация приложения на N языков – это супер боль в попе 💩. Мы пользовались сервисом, куда ты закидываешь свой .strings файл, и носители языка руками (и глазами) переводят его.

Процесс был ужасно медленным (ждешь перевода несколько дней), да еще и дорогим (платишь за каждую строчку и язык). Но самое главное – локализация блочила релизы, т.к. на каждый чих в интерфейсе надо было делать перевод.

Долгое время в моем боте @chatgpt_karfly_bot (юзайте его, это самый удобный способ взаимодействия с ChatGPT/GPT-4!) было только 2 языка: 🇬🇧 Английский и 🇷🇺 Русский. Но стало приходить много юзеров с самых разных стран, и появился запрос на локализацию.

Как устроена локализация в боте
Если упрощать (без потери общности), то есть strings.yml, в котором содержатся все ui-строчки для разных языков. Для каждого юзера мы знаем его язык, и в боте отображаем ему строчки для этого языка.

Файл вида (yaml):

hello_message:
en: |-
Hello, {username}! How can I <b>help</b> you today?
ru: |-
Привет, {username}! Как я могу вам <b>помочь</b>?
...

Задача – научиться переводить такие файлы на все языки автоматически с помощью GPT-4. За основу я взял ноутбук, написанный Егором и допилил его.

Работает так:
1. На вход подаешь список желаемых языков (в моем случае 14 штук) и strings.yml
2. Код находит строчки, для которых нет перевода
3. И переводит их с помощью правильного промптинга GPT-4
4. Переведенные строчки дампятся обратно в strings.yml
5. Заходишь в merge editor в VS Code, проверяешь все глазами
6. git add/commit/push

Изначально в strings.yml было около 1 700 строк (английский и русский языки). После добавления еще 12 языков стало 10 000 строк! Если бы я руками это все переводил через DeepL, то процесс занял бы около 17 часов (и минус психика 😵‍💫).

*В комментах поделитесь, как вы решаете эту проблему у себя. Мне интересно узнать, какие сервисы, библиотеки и подходы вы используете для локализации!

🎒 @karim_iskakov

🍅 Pomidor

Я люблю работать по помодоро таймеру: 25 минут работаешь, 5 минут отдыхаешь. Это единственная техника продуктивности, которая у меня прижилась.

Она работает, потому что по истечению 25 минут ты отходишь от компа и оставляешь задачу незавершенной. Это создает в голове FOMO, и во время отдыха только и думаешь о том, как бы поскорее сеть за комп и завершить задачу. Ну и бонусом ты каждые 25 минут ⛹️‍♂️ можешь размяться, попить воды, закрыть синий кружок на Apple Watch.

Но чтобы техника работала, в таймер надо поверить, и начать ему подчиняться 🤾‍♂️ Закончились 25 минут – руки вверх от клавиатуры!

И однажды я решил купить себе няшный физический помодоро таймер, чтобы он стоял рядом с маком и приказывал, когда мне работать радовал меня . Я был уверен, что должно продаваться куча разных помодоро таймеров. НО НЕТ! Я не смог найти ничего приличного (если знаете хороший, скиньте в комменты).

В голове замелькала идея – сделать свой классный физический таймер. Последнюю железку я делал аж 8 лет назад, когда учился на 2-м курсе на Физтехе (зацените BalanceBall). Руки зачесались и спустя 2 месяца работы...

🎉 Встречайте, первая версия 🍅 Pomidor!

За основу я взял LilyGo T-RGB. В нем стоит микроконтроллер esp32, приятный круглый дисплей с тачскрином, Wi-Fi, Bluetooth, да и много чего еще. Дополнительно к чипу были припаяны пьезодинамик (для звука) и аккумулятор (от HQD 😅). Мой друг Ваня помог задизайнить корпус, распечатать его на 3D-принтере и собрать всю электронику.

Код для микроконтроллера прогается на С/С++. Если когда-нибудь игрались с Arduino, то это по сути то же самое. Графику писал на LVGL (оказалась очень приятной библиотекой, хоть и низкоуровневой). Долго боролся со шрифтами и гифками (их надо было зашить прямо в сишный код)

Последние несколько дней я помодорю уже с 🍅 Pomidor'ом – и это кайф! Но есть еще целая куча вещей, которые можно добавить. Об этом в следующем посте...

*В комментах несколько фото/видео из процесса создания

🎒 @karim_iskakov

donate.md – Крипто донаты для вашего GitHub 🪙

Делюсь с вами мини-кодом, который может в пару кликов сгенерировать приятную markdown-страничку с адресами ваших крипто-кошельков для получения донатов на GitHub.

С помощью такой странички репа github.com/karfly/chatgpt_telegram_bot собрала $2K+ пожетвований! Пользуйтесь на здоровье 🥹

💻 GitHub: github.com/karfly/donate.md
🎒 @karim_iskakov

Мне задонатили 1 миллион рублей 🍋

Около месяца назад мне написал некий аноним и сказал, что задонатил $1K на мой репозиторий chatgpt_telegram_bot. Я очень обрадовался, весь день ходил-лыбился. Было приятно именно оттого, что мой труд так высоко оценили. Но на этом история не закончилась...

Несколько дней назад мне опять написал мой любимый аноним, сказал, что каждый день использует @chatgpt_karfly_bot и супер от него кайфует. Сказал, что ему не хватает фичи с удалением истории диалогов и её экспортом в html, и попросил её реализовать.

Также сказал, что любит поддерживать продукты, которыми сам регулярно пользуется, и пообещал за реализацию этих фичей задонатить $10K 🤯🤯🤯. Я не особо в это всё поверил, но фичу реализовал и выкатил в прод. А аноним в итоге сдержал свое слово! Это был шок. Я очень долго апдейтил кошелек, не веря, что это всё реальность))

Аноним, если ты это читаешь – еще раз большое тебе спасибо! ♥️

Но я хочу продолжить конвейер добра и часть полученных денег задонатить в ваши 💻 open-source проекты! Кидайте в комменты ссылку на репозиторий и короткий текст: почему ваш проект важен, и какое участие вы в нем принимали. Я постараюсь максимально объективно выбрать лучшие проекты и перевести донаты.

Добро!

🎒 @karim_iskakov

🌈 Telegram Onboarding Kit

2 недели назад мы созвонились с Костей и решили поучаствовать в новом контесте от Телеграма по созданию Mini Apps с призовым фондом в 50,000$.

Mini App – это сколь угодно сложное веб-приложение, которое можно нативно засунуть в своего Телеграм-бота. Это позволяет расширить ограниченный чатовый интерфейс (потыкайте @DurgerKingBot для примера).

Дедлайн контеста сегодня ночью, и мы уже засабмитили наш проект...

Предыстория
Я базово из мира📱мобильных приложений, и там онбординг с пейволлом на старте прилы – это просто мастхев. А мастхев это потому, что онбординги работают (можно ярко презентовать свой продукт и подвести к покупке). Часто более 50% от всех покупок в приле совершаются сразу после онбординга.

Поэтому, если Mini Apps будут расти, то разработчикам придется применять лучшие практики из мира мобильных приложений. И мы решили разработчикам (и себе) помочь...

Представляю вам – 🌈 Telegram Onboarding Kit!

Это тул для создания красивых онбордингов/пейволлов для ваших ботов на технологии Mini Apps. Можно быстро собрать онбординг, используя наши детально проработанные пресеты, или создать сложный кастомный флоу с помощью библиотеки компонентов.

Потыкайте нашего демо бота, там много примеров:
📍 @onboarding_kit_demo_bot

Мы реализовали кучу фичей:
– Поддержка картинок, видео, анимированных (.tgs) стикеров, форм, списков
– Гибко настраиваемые продукты на пейволле
– Деплой в один клик за 0$ на GitHub Pages
– Поддержка Telegram Payments & 👛 Wallet Pay
– Локализация языка/валюты
– Кнопки с тактильной обратной связью
– Множество примеров/пресетов (с открытым проектом в Figma)
– ...

Используйте в своих проектах и пишите фидбек! Ну а нам остается мучительно ожидать результатов контеста, которые обещают объявить 31-го октября 🕐

Команда:
- @easterok – Web
- @michaelbrowk – Design
- @karfly – Python/Product

💬 Demo Bot
🌐 GitHub
🌐 Демо/Туториал (+ возможность поугарать над моим английским)

💡 Новости за последний месяц

Давно тут и в сторис ничего не постил. Хочется в одном посте рассказать, что происходило.

У меня лично:
1️⃣ Я сильно эмоционально выпал на несколько недель. Не хотелось ничего делать, настроение было говно. Причин этому много, но основная – я устал и энергия кончилась
2️⃣ Я на неделю съездил к родителям в горы на их альпака ферму 🦙, это недалеко от моего родного города Кисловодска. Там я катался на лошади (кстати, у меня теперь есть свой конь!), ходил в походы, вел экскурсии, смотрел Наследников и помогал проложить водопровод от родника в горах до фермы. Отдохнул очень хорошо
3️⃣ Сейчас мне гораздо лучше и энергия возвращается! Отдельно хочу сказать спасибо @sashamakarova – она мне уже помогала раньше и сейчас помогла. Пишите ей, если самим не получается разобраться с тараканчиками в голове (особенно, если они связаны с карьерой/работой)

Про @chatgpt_karfly_bot:
1️⃣ В боте уже 850K+ юзеров. Последние дни ставятся рекорды по DAU и MRR!
2️⃣ После выхода обновок от OpenAI на прошлой неделе, я их постепенно внедряю. Уже добавил GPT-4 Turbo и DALL-E 3. Жду, когда повысят дневные лимиты на GPT-4 Vision (сейчас ограничение 100 RPD), чтобы можно было в бота картинки отправлять
3️⃣ Создал для бота канал с обновлениями @chatgpt_karfly_news. Туда уже добавилось 30K+ подписчиков
4️⃣ У OpenAI сейчас большие проблемы с выдерживанием нагрузки – как пошутили в твиттере: Product Market Overfit 😁. Вчера они стопнули покупки платной подписки, а сегодня ночью начали резать все запросы из России. У меня благо все на AWS задеплоено, но одному B2B-клиенту сегодня пришлось в огне помогать переезжать из Яндекс.Облака

Что еще:
➕ Начали с @danokhlopkov делать новый проектик с кодовым названием Subgram. Пока ничего рассказать не могу, но как только – так сразу 🤫

🎒 @karim_iskakov

Кого сначала заменит AI?

Последнее время почти все мои разговоры с друзьями и коллегами так или иначе сводятся к темам "А что будет, когда AGI появится?", "Чего сейчас не хватает? Нужно 10x данных, 10x компьюта или 10x теории?".

Из этих обсуждений, а также разных лекций/подкастов/твитов у меня сложилась картинка того, в какую сторону AI будет развиваться, и какие области/профессии будут падать первыми. А недавно слитое письмо от OpenAI про их новое (угрожающее человечеству 👻) открытие под названием Q* (Q-star) подкрепило догадки.

1️⃣ Давайте для начала вспомним AlphaGo. Это модель от DeepMind, которая наделала шума, победив в го лучшего в мире белкового игрока. Обучение модели состояло из двух фаз: pretraining и self-play.

Pretraining. Во время этой фазы сетка училась в supervised режиме на истории реальных партий в го. По сути, она училась имитировать игру экспертных игроков. Такая модель уже хорошо играла, побеждала опенсорсные го движки. Но победить лучшего игрока в мире у нее шансов не было.

Self-play. А вот тут пошла жара. Авторы сделали 2 копии модели из pretraining-фазы и заставили их долго мучительно играть друг против друга 😅. Обучалось это с помощью reinforcement learning, для которого очень важно придумать хороший reward, который модель будет максимизировать. В данном случае ревордом служила победа в партии. И вот такая самозадрюченная версия модели уже порвала лучшего в мире игрока в го.

Тут самое главное то, что у авторов получилось создать environment [две +- равные по силе модели играют против друг друга], в котором данные для обучения генерируются сами, без разметки от людей. И эти данные содержат ценный сигнал, т.к. они значительно улучшают итоговое качество моделей (см. картинку в первом комменте)

2️⃣ А теперь проведем аналогии с обучением текущих LLM'ок.

Сейчас в обучении LLM'ок присутствует только pretraining фаза (в терминах статьи AlphaGo). Все 3 этапа обучения ChatGPT – это обучение на данных, размеченных людьми:
1. Обучение на большом корпусе текста
2. Дообучение на диалоговых данных
2. RLHF этап – обучение на преференциях одного ответа другому. Тут можно возразить и сказать, что в RLHF первые 2 буквы означают Reinforcement Learning. Но по сути это все такое же обучение на лейблах, которые разметили люди.

Все, что делает LLM – это имитирует текст или выбор, сделанный человеком. Вряд ли с таким подходом получится превзойти лучших людей в области (у AlphaGo не вышло).

Превзойти человека у нее получится только тогда, когда мы прикрутим аналог self-play фазы. Когда поместим ее в environment, в котором будет хорошо задизайненный реворд, и модель методом проб и ошибок сможет самоулучшаться за счет большого количества компьюта.

Так кого же первым заменит AGI?
Я бы ставил на те области, в которых легче создать эффективный environment с хорошим ревордом и с быстрой обратной связью. Приведу пару примеров из головы.

AI-кодер. Очень грустно это осознавать (думаю, как и большинству подписчиков этого канала 😔), но скорее всего сетки научатся хорошо программировать довольно скоро. Написание кода, его запуск и тестирование происходит полностью в цифровом мире (быстрая обратная связь). При разработке сложно писать код, но сильно легче придумывать ТЗ и проверять результат (простой дизайн реворда)

AI-психолог. Вот тут гораздо сложнее придумать эффективный environment. Реворд сложный – это психологическое состояние человека, которое сложно апроксимировать вычислениями (только если не научиться весь мозг симулировать). Обучение будет неэффективно, т.к. цикл обратной связи длинный и в нем присутствует человек.

☝️ Буду рад критике таких мыслей и обсуждениям в комментариях!
🎒 @karim_iskakov

🎄 Контент на новогодние праздники!

Совсем скоро у нас всех начнутся длинные выходные (а у кого-то они уже начались), поэтому предлагаю в комментариях собрать список контента, который можно будет приятно употребить в праздники!

Правила простые:
1. Это может быть фильм/сериал/книга/видос на ютубе/подкаст/альбом/... что угодно
2. Напишите короткое описание, почему это стоит посмотреть
3. Для усиления качества: пишите только про то, за что вы готовы отдать 100$, чтобы стереть память и посмотреть заново! 💡

Начну со своих впечатлений 2023 года:


📚 Книги
1. Трилогия "Память о прошлом Земли" - Лю Цысинь (более известна, как "Задача Трех Тел"). Твердая научная фантастика с кучей интересных и новых идей. Например, узнаете, как сделать компьютер из миллиона живых людей.

2. "О муравьях и динозаврах" - Лю Цысинь. Короткий роман про то, как муравьи и динозавры нашли способ общаться и ко-эволюционировали в сверхцивилизацию.

3. "Повесть о Ходже Насреддине" - Леонид Соловьёв. Остап Бендер на древнем Востоке. Очень смешная, философская и жизнеутверждающая книга. Особенно интересно замечать изменения в мыслях автора между первым и вторым томом (второй том он писал уже в гулаге).


📺 Сериалы
1. "Атака титанов". Очень авторское аниме с крутым лором и сложными моральными выборами. Сериал закончился этой осенью, поэтому можно посмотреть залпом.

2. "Наследники". 4 ребенка старого медиа-магната борются за власть в компании. Если вам было интересно наблюдать за изгнанием-возвращением Альтмана из OpenAI – точно зайдет.


🎬 Фильмы
1. "Нефть" - Пол Томас Андерсон. История предпринимателя нефтянника от низов до самых вершин. Смотрится с открытым ртом от начала до конца.

2. "Снегирь" - Борис Хлебников. Я фанат Хлебникова еще с фильма "Аритмия". Тут похожий вайб, и всё какое-то очень настоящее.


🟥 Ютуб
1. Канал Sebastian Lague. Это просто находка года. Чувак – эстетический геймдев кодер, который берет какую-то тему и закапывается в самые-самые детали. Смотреть у него надо все, но начать можно с "Coding Adventure: Simulating Fluids".

2. Документалки Стаса Асафьева. Он через призму автомобилей рассказывает очень длинные и интересные истории (правда с супер дурацкими шутками). Начать можно с документалки про нефть, экологию и электромобили.

3. Видео "The Continuity of Splines". Про сплайны: очень математично, очень красиво.

Всех с наступающими праздниками 🎄
Жду ваши рекомендации в комментах!

🎒 @karim_iskakov

Мой первый экзит – я продал @chatgpt_karfly_bot!

Бот начался с того, что меня забанили в ChatGPT, и я решил сделать свой ChatGPT, но в удобном Телеграмчике. Начал разрабатывать open-source проект, с помощью которого любой может вставить OpenAI API-ключ и в пару команд создать своего бота (сейчас у репы уже 4.4K ⭐️).

Я поднял личного бота и начал делиться им с друзьями. Получал от них супер положительные отзывы, но чеки от OpenAI начали кусаться. Тогда я прикрутил платежку, бот начал вируситься и с этого момента все куда-то полетело.

Интересно, что изначально я даже подумать не мог, что такой бот может быть кому-то интересен, да еще и деньги приносить. Я делал его на голом энтузиазме. Проект мне сам подсказывал, какие шаги надо делать дальше.

Я очень благодарен боту. Он научил меня многим новым техническим/продуктовым вещам, сильно погрузил в то, как делать продукты в Телеграме и подарил идею нового проекта, которым я занимаюсь сейчас.

А если в числах, вот какого роста удалось добиться за год:
🙂 Юзеры: 0 → 1.1M
💳 MRR: 0 → $10K
📶 Кол-во сообщений: 0 → 5M

Сейчас бот в надежных руках, а я "обнуленный" вхожу в новый год в превкушении нового проекта.

Интересно, что же нас там ждет...

🎒 @karim_iskakov

[неактуально]

Ищу iOS-девелопера 📱

Напиши мне в личку [@karfly]:
1. Если ты умеешь писать приложения с нуля быстро и качественно
2. Если ты готов(а) плотно поработать следующие 6 недель над новым крутым продуктом
3. Жирнейший плюс, если есть опыт работы с видео на айфоне. В идеале опыт с видеомонтажом/эффектами. Обязательно отметь это в сообщении

В сообщении коротко напиши про релевантный опыт или прикрепи CV ♥️

✨ 2 новых релиза: Avatarify Bot и Subgram

В этом и следующем посту расскажу про 2 новых проекта, которые мы запустили за последнее время.

Как вы наверное знаете, у нас есть приложение Avatarify (iOS, Android), которое заставляет фотографии петь. Суммарно в них более 13M инсталлов, и мы решили сделать телеграм бота!

🪄 Попробовать: Avatarify Bot

Метрики на текущий момент (запустились 4 дня назад):
🙂 Юзеры: 40K+
🎞 Сгенерированные видео: 110K+
💳 Оформленные подписки: 115

Сейчас мы гоним трафик с андроид-прилы, но также видим, как бот растет органически (за счет реф. системы). В основном в бота приходят школьники, поэтому конверсия в оплату не очень высокая. Радует, что релиз бота положительно повлиял на скачивания iOS/Android приложений, и мы начали расти в рейтинге AppStore/Google Play.

Мы впервые используем в продовом боте ❤️ MiniApp (для выбора песни). Работает клево и выглядит красиво. На этой недели планируем добавить новые фичи: PRO-песни, поиск по коллекции песен и ручной выбор лица на фото (когда оно автоматически не нашлось).

Ну а какой же второй релиз...?

🚩 Subgram: Подписки для Telegram Bots/MiniApps

Летом, когда добавлял платные подписки в @chatgpt_karfly_bot, я столкнулся с серьезной проблемой: нет хороших тулов для телеграм ботов, которые бы позволили быстро интегрировать подписки (для iOS/Androind такие решения есть).

Поэтому пришлось имплементить все руками. Это было очень непросто, и мы с @gkorepanov потратили около месяца фуллтайма на их разработку! Труд окупился, и благодаря подпискам удалось вырастить MRR с $4K до $10K+

Сейчас меньше 2% телеграм ботов используют подписки (для сравнения: 94% iOS/Android приложений используют). Почему? Потому что их сложно реализовать. В первом комменте написал в чем именно сложности.

Но подписки – это "король" монетизации на данный момент:
⏩ Они бустят доход в ~2x раза (по сравнению с одноразовыми платежами)
📊 Они дают стабильность (легко предсказать, сколько продукт заработает в следующем месяце)

Нет причин не использовать их в своем продукте.

В тот момент я понял, что такой тул просто обязан быть, и решил сделать Subgram – сервис, который позволит быстро и просто промонетизировать подпиской любого телеграм бота (за ~1 час разработки).

3 простых шага:
1️⃣ Создать продукты (title, price, duration, discount, ...)
2️⃣ Добавить payment providers (Stripe, ЮКасса, другие позже)
3️⃣ Добавить 1 кнопку в бота (с помощью нашего SDK)

Avatarify Bot – это первый бот, в которого интегрирован Subgram (чтобы прочувствовать флоу отправьте боту команду /account). Мы запроцессили уже более 100 подписок – все работает хорошо и быстро.

Subgram сейчас в закрытой бете. Если вы хотите добавить в своего бота подписки (и начать зарабатывать больше и стабильнее) – напишите мне @karfly!

♥️ Также можно подписаться на канал проекта (там будут все новости): @subgram

Ship! Ship! Ship!

🎩 Аукцион на юзернейм @miniapp

У Телеграма есть платформа fragment.com, на которой можно за криптовалюту TON покупать тг-юзернеймы.

28 октября 2023 года мне удалось там купить юзернейм @miniapp. Причем купил я его без борьбы на аукционе за 💎 104 TON (~= $213 на тот момент).

Хз, почему тогда мне пришла эта мысль в голову... но в то время я много думал про миниаппы, т.к. ожидал результатов MiniApp контеста.

На днях я вспомнил про этот юзернейм и выставил его на аукцион с минимальный первой ставкой в 💎 5000 TON (~= $25,000).

И сегодня кто-то сделал первую ставку!!! До конца аукциона еще 5 дней. Да будет там жара! 🔥

🎒 @karim_iskakov