Meme

Создавай игры с GenAI и LLM.

Дядечка Ын продолжает радовать образовательным контентом. Курс про создание игр с ИИ.

Длительность курса 1 час. Можно использовать, кстати, как старт для вката в игровых агентов.

Говорят, что выходит GPT-4o1 pro super star plus mode (вспомнил нейминг китайских авто). Но есть один нюанс. Цена 200$, Карл!!!

Cohere 3.5 с обновой Reranker.

Конкуренты антропика в домене RAG не дремлют. Cohere 3.5 новый базированный пайп e2e RAG. Тут всё, как мы любим: и преранк на эмбедах и реранк на кросс-энкодере. При этом ребята обновили механизм внимания для улучшения работы с контекстом намерений пользователя. Как утверждают авторы — цель закрыть эксплицитную и имплицитную часть запросов кожАнных. Помимо этого, добавлены новые сеты для 100+ языков по различным доменным запросам (наука,финансы и тп.). Все это дало значимый бОльший прирост к метрикам поиска. Также,напоминаю,что у ребят есть и мультимодальный эмбеддер.

Cohere прекрасный пример того,как можно зарабатывать на сервисе вокруг <your favourite LLM>. Помним,еще подобное и у perplexity.

Радуемся, следим, юзаем.

Поддержу канал нашей исследовательницы. Мысли интересные, вопросы тоже. Контент картиночный)👇

Upd. Оригинал отсюда

Как гиперрост вызывает войны внутри компании

Картинки выглядит угрожающе, но на самом деле она лишь иллюстрирует, кто из первоначальной команды Open AI остался работать в компании. И добрые люди с Reddit сделали ее после внезапного заявления об уходе из компании главного технического директора Миры Мурати. Ее нет на картинке с первоначальной командой, она присоединилась к стартапу в 2018 году.

И говоря о проблема гиперроста, пример Open AI как нельзя лучше подходит в качестве иллюстрации. Именно головокружительный успех их продукта Chat GPT породил многочисленные проблемы, которые мы наблюдали весь прошлый год. После увольнения и возвращения Сэма Альтмана, казалось, что компания уладила внутренние противоречия и готова продолжать завоевывать рынок. Который, справедливости ради, не стоит на месте и выпускает все новых и новых конкурентов.

Компания рассматривает возможность перехода от некоммерческой организации с ограниченной прибылью к новой структуре, в которой инвесторы получат большую долю прибыли. При этом OpenAI обсуждает возможность передачи мистеру Альтману 7% акций в рамках усилий по реструктуризации в коммерческую компанию.

Однако, несмотря на то, что эксперты ожидают, что инвесторы в следующем раунде финансирования оценят компанию в 150 млрд долларов, неспособность Альтмана удержать топ-менеджеров также может стать для них тревожным сигналом. Один давний наблюдатель из Кремниевой долины говорит, что ощущение переворота похоже на то, что было в Uber в те дни, когда ее возглавлял Трэвис Каланик. «Феноменальный продукт, прогнившая культура», — так он описал ситуацию.

Как думаете, какие ошибки были допущены в период гиперроста? Мы видим, как минимум, несовпадение в ценностях компании.

Есть ли отечественные генеративные нейросети на самом деле?

В соцсетях сейчас вирусится видео, прикрепленное к посту: молодой человек рассказывает о том, как отечественные нейросети выдают крайне подозрительный результат по запросу нарисовать «родное».

Первое, что думают люди, видя такое, это что отечественных нейросетей на самом деле нет и они просто перенаправляют запросы в апишку Midjourney и им подобных зарубежных оригиналов.

Те, кто более прошарен, думают, что наши компании просто берут зарубежный опенсорс, разворачивают у себя, а русские запросы обрабатывают после перевода на английский.

А кто еще более прошарен, знает, что опенсорс в целом поддерживает и русский язык. Остается вопрос: так как же все-таки работают отечественные нейросети?

Зачем гадать, если можно спросить эксперта в области технологий AI, который сам имеет отношение к теме генеративного ИИ — Александра Абрамова. См. ответ у него в канале или репост ниже 👇

Вы спросили —Дядя отвечает. Истина находится где-то по середине. Действительно на нашем рынке можно встретить множество решений вокруг открытых моделей с huggingface или же апи модных нынче Midjourney.  Это может работать по принципу перевел с ру на ен и вкинул в апиху, далее выдал результат. Обычно, на старте, это было уделом малых команд, стартапов и пр.

На самом деле, ничего в этом зазорного нет, те же ребята с Perplexity строить свое решение начали именно вокруг топовых апи LLM (OpenAI, Google, Anthropic и т.п.).  Но при этом perplexity имеют свою доп. логику с поиском, линковкой фактов и пр. Что делает ее решение аналогом поисковика "в кармане".  После, они еще и собственные тюны моделей Llama like завезли, благо лицензия открытая позволяет. И это имеет спрос.
Т.е. более крупные игроки, стараются использовать такие решения для холодного старта или во все опираясь на открытые сеты , модели или архитектуры делать собственные решения/тюны/модели. И я думаю, что крупные игроки нашего рынка достигли уже того уровня зрелости, когда могут позволить себе свои исследования, и как следствие, свои решения в виде моделей и сервисов.

Вопрос остается только в источниках данных. Такое поведение, как мы видим на видео, может быть обусловлено, влиянием сетов обучения. Т.к. на рынке множество открытых сетов на английском языке для задач text2image, а для русского языка примеров много меньше. Создание таких ру-ен данных требует затрат на написание/генерацию и чистку. А в открытых сетах для обучения может возникать дисбаланс по ру-ен паре и как следствие превалирование этики из сетов коих больше. Поэтому тот же native/родной после предобучения на таких примерах будет носить знания культуры того языка коего больше. Тк в основном это все переводы с ен языка на ру как есть, да ещё к релевантным для ен языка картинкам. Для того, чтобы решить проблему "перекоса", не достаточно балансировки знаний, надо писать/матчить именно опорные ру тексты с "правильными" картинками к ним,а также придется, скорее всего, прибегнуть к выравниванию поведения — привет alignment/ human feedback и тп. А далее, вооружившись всем этим, нужно будет решать вопросы тюна с эмбеддером text2image, чтобы для языковой пары запрос сводился к "правильной картинке". Именно его представления будут использоваться диффузией как базой генерации. И в тч над этим, думаю, работают исследовательские команды крупных игроков.

Но нет предела совершенству, это непрерывный процесс дообучения и отлова "черных лебедей". Вот как-то так.

Откроем новую неделю с мемного поста. Картинка от друже @Erlemar.

Вывод. Не стрессуй. Действуй.

Ну, что вы так напряглись, ну не справился дядя, ща будет мем. Закроем день с улыбкой.

Хорошо поговорили с Виктором Кантором и командой ТехТок про Deep learning, NLP, и конечно GenAI. 🦾🤖🕺
Спасибо за приглашение 👇

Следите за новостями;)

А вот и оно.

https://youtu.be/3ra-zgi-dIM

Возвращаясь снова к вопросу демократизации и инволюции архитектур моделей.

https://xn--r1a.website/zheltyi_ai/408

Что же за таинственные 7б и 32б, не qwen ли like?🤔

Ах да. Там ж так и написано.