Computer Vision 🤌

Теперь мы умеем видеть каждый кадр видео посекундно почти так же, как его видит Instagram при предварительном анализе рилса. Гоняю тесты на своих рилсах

What's next?
– научиться максимально точно определять векторы интересов. Зачем нам это? – понимать, в какую аудиторию наше видео попадет. И делать выводы создателям контента, туда ли их видео будут попадать. Линейная алгебра, привет! Про это я прям отдельный пост напишу
– Полностью оцифровать вообще каждый аспект видео: частота смены визуала с точностью до каждого кадра, эмоции, интонация. Все это пока не очень точно
– И дальше вводить большой ML-слой, собирать категории и датасеты под них, обучать модель предсказывать поведение пользователя на каждом конкретном видео.
– Ах да, еще LLM-слой для анализа и рекомендации по сценарию/тексту (не знаю зачем, но пусть будет)

В конце – мы сможем предсказывать поведение и давать достаточно точные рекомендации, опираясь на аналогичные успешные рилс в этой же категории роликов.

Маке рилс грейт агейн короче 😎

(а еще на очереди огромный разбор алгоритмов Threads)

Сейчас я объясню, как приблизить охваты в сторис к максимальным всего одним действием. Простите за кликбейт, но так работают алгоритмы ранжирования ленты сторис в инсте.

Короче, последняя, но самая важная часть про сторис. This is where the fun begins!

1. Во главе угла стоит история взаимодействий с пользователем, потому что основа connected алгоритма в инсте строится на социальном графе. Connected – это та часть ленты, в которой приоритет отдается вашим подпискам. Есть еще Unconnected, там вес отдается векторам интересов и предсказаниям действий.

2. Самый большой вес в социальном графе получает исторический уровень взаимодействия между автором контента и его зрителем. Так, например, блогер на которого ты подписался из рилс вначале будет тебе показываться чаще, но чем меньше у тебя с ним (и его контентом) взаимодействия – тем дальше его контент будет прятаться алгоритмами от тебя.

3. Сторис, которые ты смотришь часто, разбавляют твой stories feed ранжируясь по ряду признаков: вектор интересов, длина серии и тд. Туда попадает контент, который просто следует базовым принципам ranking и re-ranking слоев: например, зритель скипает длинные серии и зависает на сторис, где есть твоя фотография – вот ему твоя сторис и попадется, если до этого он твой контент не пропускал.

4. Но над стандартным слоем слоем ранжирования стоит социальный слой, и он самый интересный! Потому что понимая один этот принцип, ты раз и навсегда поймешь, как поднять охват каждой сторис до близкого к максимальному. Готовы?

5. Инстаграм всегда отдает приоритет тому контенту, с автором которого зритель взаимодействует. Следом за близкими друзьями идут именно те сторис, с чьими авторами ты переписывался / реагировал на их сторис. Уже догадываетесь, почему автоматизация исходящих сообщений это единственное, что Meta запрещает делать?

И нет, я говорю не про авто-ответы (которые в разных сервисах настраиваются). Алгоритмами это не учитывается как взаимодействие, они даже визуально отличаются. Я говорю про нативные, обычные сообщения в директе, когда переписки еще не было. Зритель, с которым у тебя есть переписка, всегда будет видеть твои сторис выше, чем те, с чьим автором переписки не было.

Самый эффективный способ гарантировано поднять охваты – начать писать каждому подписчику в директ живые сообщения. Даже 2-3 сообщения, на которые вам ответят приведут к тому, что твои следующие сторис покажутся у подписчика выше, чем другие.

Ну а как это сделать – предлагаю подумать в комментариях. На днях обсуждали эту механику с одним большим инфобизнесом, и ребята решили, что нанять ассистента, который будет писать в личку всем и общаться – стоит повышения охватов в 2-3-5 раз.

👁@founderit | навигация | дневник

5120x1080 is pattern interrupt

Instagram сегодня пробил цифру в 3 миллиарда MAU (monthly active users). На секундочку, это примерно на миллиард человек больше, чем в TikTok.

В последние несколько дней, сразу после большой конференции Meta популярным стал новый тип контента в кинематографичном формате 5:1, и это, наверное, самый классный пример динамической работы алгоритмов, какой может быть!

Смотрите. В ленте появляется пост, и вы не понимаете, почему он выглядит ТАК. Это называется pattern interrupt — что-то, что очень сильно ломает привычный шаблон.

Отправляете его знакомому, тот другому. В момент Х это доходит до какого-то другого блогера/креатора, он делает такой же рилс, и уже начинают пересылать его. Алгоритм видит, что контент в разрешении 5120х1080 (по метаданным файла) часто пересылают — и начинает повышать в выдаче другие ролики в таком формате.

На 3 миллиарда пользователей было создано достаточно таких рилс за короткий промежуток времени, чтобы алгоритм научился пушить в ленту 5:1.

This is how it works, бегом снимать 5:1.

〰️ @founderit | навигация | дневник

Вообще, я хотел рассказать не про 5120 формат, который прямо сегодня дает просмотры.

Адам Моссери (глава Instagram) сегодня вместе с новостью про 3 миллиарда пользователей в месяц, анонсировал БОЛЬШОЕ обновление — скоро алгоритмы можно будет настраивать персонально.

Настройка, конечно, громко сказано — но пользователи смогут выбирать темы, которые им интересны (и не интересны) и в Reels видеть именно этот контент. Обновление начнется именно с ленты рилсов.

Что это значит для авторов? Тема вашего ролика должна быть ОЧЕНЬ явной для алгоритмов. Как я описывал в документе, инстаграм считывает векторы интересов из трех модальностей: речь, визуал, текст.

Если вы хотите, чтобы ваш ролик смотрел бизнес, но у вас там цветочки — человек, который укажет что хочет смотреть бизнесовый контент скорее всего никогда не увидит ваш рилс.

Key point: я смогу выбрать, какой я контент хочу видеть, сам, а не доверять алгоритмам автоматическое определение. И если алгоритм не посчитал видео подходящим под мой выбор, он мне его не покажет.

😎@founderit | навигация | дневник

Threads это большая, вечная тусовка в огромном доме с кучей комнат. В одни комнаты заходят сотни тысяч человек, а в другие всего 10.

Одни получают тысячи подписчиков и сотни новых лидов бесплатно, а другие — нет. Почему?

В поисках ответов я снова погружаюсь в блог инженеров Meta и приглашаю вас вместе со мной заглянуть за занавес алгоритмов Threads.

Дисклеймер: я не расскажу вам, как приводить подписчиков. Как стать популярным я тоже не расскажу. Оставим это экспертам-продюсерам-whatever. А я инженер и меня интересуют АЛГОРИТМЫ, которые за этим стоят, ведь если понять их устройство — вы получите все ответы.

Часть 1. What the f*ck is Threads?
Мой любимый факт — алгоритмы, это всего лишь оркестр из сотен мультимодальных моделей, которые делают разное с нашим контентом.

Суть социальной сети и ключ к ее пониманию скрыт в названии — тредс это нити (цепочки, ветки) обсуждений.

Когда вы публикуете новую ветку, вначале тот же самый стек моделей, что и в Instagram, делает то же самое — CV смотрит видео и фото, OCR читает текст на картинках, но дальше начинаются отличия: самое интересное происходит на уровне NLP-моделей.

Каждая публикация разбивается на кусочки (токены). Это выглядит примерно так: [AI] [▁ме] [ня] [ет] [▁би] [зн] [ес].
Модели-трансформеры генерируют векторное представление публикации, которое учитывает тему, ключевые слова, контекст.

Каждый кусочек превращается в число (эмбеддинг).
– Трансформеры собирают из этого цифровой отпечаток поста
– К нему добавляются метаданные (язык, длина, автор, гео)
– Этот вектор идет в Feature Store, где впоследствии его сравнивают с интересами миллионов пользователей

NLP классифицируют даже настроение публикации: позитивный, нейтральный, негативный.
Целая нейросеть определяет, о чем пост: технологии, бизнес, свидания, психология. Для этого у Meta есть отдельные, огромные классификаторы тематик. Здесь начинаются отличия от Instagram.

Если вектор интересов публикации совпадает с вектором интересов пользователя, то базово пользователь может увидеть эту публикацию у себя в ленте, но внутри все чуть сложнее.

Лента, по сути, турнирная таблица публикаций, у каждой из которых есть свой «рейтинг» – чем он выше, тем раньше листая свою ленту вы увидите интересную для вас публикацию.

Изначально, технологический стек Threads базировался абсолютно на тех же моделях и даже их настройках, что и Instagram. В частности, абсолютно не учитывался смысл комментариев, для роста охватов главным был вес умножить на их количество (Tscore = Cw * Cc + Lw * Lc …)

Это быстро привело к тому, что пользователи начали абьюзить алгоритмы кликбейт-постами с однотипными ответами (и пытаются делать то же самое до сих пор).

Инженеры из 1 Meta Way, Менло Парк, Калифорния учли этот факт и начали большой процесс эволюции технологий Instagram, чтобы повысить качество контента на платформе.

Знание того, что сейчас происходит с алгоритмами Threads даст ключ к пониманию того, как будут дальше развиваться алгоритмы Instagram – технологический стек один, и каждый стабильный апгрейд алгоритмов затем переезжает в старшего брата. Так, например, было с рубрикатором интересных тем: в тредс механику тестируют несколько месяцев и уже в следующем месяце эта механика переезжает в инсту.

В следующей части я расскажу про то, как Threads прогнозирует успешность публикации, что алгоритмы считают «абьюзом» и какие особенности треда повышают его шанс оказаться в ленте.

🧶@founderit | навигация | дневник

Познакомимся?

Признаюсь, я время от времени смотрю, кто на меня подписывается 😄

Надо бы представиться и рассказать о себе: меня зовут Олег, мне 29 (а в понедельник 30) лет. Я it/tech предприниматель, хотя больше считаю себя инженером: я создаю цифровые продукты с детства. Ещё в 14 лет я развивал в родном городе сетевой проект с месячной аудиторией в 30 тысяч человек.

В 20 лет я основал свою первую ИТ-компанию hookprod: мы создавали (и создаем) крутые цифровые продукты для лучших компаний и стартапов.

Следом была цифровая фудтех-экосистема для общепита; venture builder в экосистеме Telegram — это мы сделали крупнейшую в СНГ конференцию на 1300 человек про Телеграм, игру про Павла Дурова на 800К игроков и, например, я записал подкаст с со-основателем Notcoin; SaaS для создания ИИ-сотрудников (опередили рынок на год); голосовой ИИ для звонков, и ещё ряд продуктов, которые сейчас в стадии разработки/запуска и определенно задизраптят рынок в своих нишах.

А еще я факультативно консультирую предпринимателей и бизнес по цифровизации, AI и всякому такому. Выступаю на конференциях, СМИ, и иногда на ТВ. А сейчас к этому добавились технологические консультации по algorithm-first контенту для брендов и блогеров.

Я одержим технологиями и их созданием, а мое любопытство и вопрос «а возможно ли это?» приводит к тому, например, что сейчас мы билдим технологию, которая позволит оценивать рилс до его публикации. А ещё я очень люблю делиться — поэтому этот канал и существует.

Мне всегда можно написать в лс: @lupikovoleg, и я почти всегда вам отвечу

Если вы вдруг дочитали до конца: Я буду супер рад узнать кто вы, чем вы занимаетесь и почему вам интересно читать меня. До встречи в комментариях или личке 🫰

Этот знаменитый рилс набрал за полгода 221 миллион просмотров из-за одной маленькой детали, которая заставила алгоритм пушить видео.

Все из-за полоски поверх кадра, похожей на волос на экране. Ща объясню, почему это работает.

Это называется pattern interrupt. Когда резко прерывается привычный шаблон восприятия и мозг зрителя получает сигнал: «Я этого здесь не ждал». У мозга нет опции проигнорировать непривычное и он вынужден включиться.

Зритель автоматически пытается убрать этот волос с экрана, тыкая пальцем в экран, ставя видео на паузу, фокусируясь на нем и в итоге даже пересматривает видео заново. Каждый тап пальцем в экран, каждая пауза и каждый пересмотр (особенно пересмотр) – это сигналы для алгоритмов, которые заставляют его думать, что контент на нем интересен — и поднимают score рилса, повышая его в выдаче. That’s how it works.

И вот почему это работает:
– мозг не любит любую незавершенность, спасибо передней поясной коре мозга,
– внимание цепляется за несовершенство и ошибки, префронтальная кора мозга дает сигнал разобраться, что происходит и «включает» наше внимание,
– система вознаграждений мозга запускает дофаминовую петлю – надо попробовать стряхнуть волос,
– а алгоритм фиксирует удержание (пауза, тап в экран, пересмотр) и пушит видео сильнее.

Я обожаю pattern interrupt и коллекционирую себе такие штуки. Был еще один классный пример, где ювелир собирает лопаточкой бриллианты и высыпает их в мешочек, но часть случайно (или намеренно) оставляет на столе.

Если мы понимаем, как управлять вниманием, то мы понимаем, как управлять алгоритмами. Нейробиология внимания + машинное обучение = 🖤

🎀@founderit | навигация | дневник

Сегодня мой День Рождения и мне исполнилось 30 лет!

Удивительно, всегда боялся этой цифры но в итоге это первый день рождения, перед которым у меня совершенно не было никакой депрессии. Даже наоборот! Вот таким был мой прошлый год, кстати.

Я буду супер рад вашим поздравлениям 🫶🏻

И ещё, у меня в вишлисте есть очень дорогая покупка — MacBook Pro на чипе M4 Max, потому что она сильно ускорит запуск вот этой штуки для рилсов.

Поэтому, буду рад даже доллару:
— ссылка для рф
— ссылка для всех остальных

🫰

Есть один классный миф про «инстаграм занижает охваты», который я хочу развенчать раз и навсегда. Давайте разберемся.

Лента любого продукта Meta (Stories, Reels, Threads) это, по сути, турнирная таблица, в которой публикации соревнуются за позицию в ней.

Когда пользователь открывает ленту, в этот момент воронка из трех этапов отбирает ему кандидатов на показ (исходя из совпадения интересов и ряда других параметров), которые непосредственно перед показом сортирует, присуждая каждой единице контента «рейтинг».

Этот рейтинг высчитывается по ряду формул и меняется динамически, в зависимости от того, как с контентом взаимодействуют зрители, которые уже его увидели. И чем он выше, тем раньше пользователь, которому в КАНДИДАТЫ была отобрана публикация, увидит ее.

Получается, что Инстаграм никогда не занижает и не повышает охваты, он лишь поднимает или понижает оценку контента, а она уже в соответствии с этой оценкой оказывается на том или ином месте среди других кандидатов на показ.

Весь секрет состоит в том, что если среди ближайших 100 кандидатов есть ваш рилс, и он находится на 28 позиции в выдаче, а пользователь пролистал лишь 25 рилсов – то он и не увидит то, что шло по порядку на 28 месте позиции.

Задача автора контента спроектировать его так, чтобы:

— В первых 500 тестовых показах публикация обошла конкурентов и была выше
— Чтобы максимальное количество зрителей из числа первых показов взаимодействовали с публикацией и тем самым «поднимали» ее рейтинг.

Такие вот алгоритмы.

🧠 @founderit | навигация | дневник | поддержать

Так, у меня вопрос. Товарищ меня попросил дать ему классного, самого лучшего подрядчика на монтаж рилсов.

А я и не знаю 🤷

Кто ещё не спит (а топ креаторы ночью не спят 😎) и оказывает такие услуги, пришлите в комментарий парочку примеров и стоимость за 1 видео, пожалуйста? 🙏

(а кому нужен будет классный подрядчик на монтаж самых стильных рилсов, загляните потом в комментарии)