Если хотите сделать также со своим видео, то вот ссылка на официальный туториал с пошаговым объяснением и всем необходимым кодом.

Levels of AGI: Operationalizing Progress on the Path to AGI

Статья от DeepMind, в которой предлагается фреймворк оценки AGI-шности систем.
Для этого авторы проанализировали существующие определения AGI и выделили шесть принципов, которые нужно учитывать.

К ним относятся: концентрация на возможностях в отличие от механизмов или процессов (AGI/не AGI не дожлно определяться тем, работает ли там LLM, другая неросеть или хоть что: важно фокусироваться на возможностях), отдельная оценка универсальности и производительности (см. ниже). Больше всего мне понравился принцип «Focus on Potential, not Deployment», ибо достижение чего-то в лабораторных условиях как MVP/прохождение бенчмарков и разворачивание системы в реальном мире, интеграция её в экономику — это очень разные задачи.

Учитывая эти принципы, предлагаются «Уровни AGI», основанные на глубине (производительности) и широте (общности) возможностей, и проводится анализ того, как существующие системы вписываются в эту классификацию.

Ну и по бенчмарку получается, что следующий этап, который нас ждет — это Competent AGI, достигающий уровня медианного человека. Предыдущий уровень — Emerging AGI, эквивалентный или нескольким лучший, чем неквалифицированный для конкретной задачи человек, уже достигнут ChatGPT и даже Llama 2 (хотя тут я бы поспорил).

А ещё выделяются уровни автономности, от инструмента или консультанта (пройденные этапы) до полностью автономного агента. Обратите внимание на колонку "Example Risks
Introduced" :) Уже на текущем уровне указываются "радикалиация" и "целевое манипулирование"

В модели GPT-4-Turbo расширили окно контекста до 128000 токенов. Однако ещё до этого делалось куча исследований того, насколько хорошо модели работают с длинным контекстом. Например, вот я писал про пост Anthropic с анализом качества ответа на вопросы по 100000 токенам (спойлер: какая-то информация может теряться). Или вот статья Lost in the Middle, указывающая на то, что для GPT-3.5 шанс пропустить информацию выше, если она сосредоточена в центре контекста.

Итак, во время конференции Sam Altman сказал, что они улучшили работу с длинным контекстом, и что модель теперь более внимательна. Умельцы в Твиттере пошли это проверять, и знаете что? Он не соврал, прогресс существенный.

Тест первый: источник. Человек взял более 200 эссе Paul Graham, объединил их, и в случайное место вставлял фразу: "The best thing to do in San Francisco is eat a sandwich and sit in Dolores Park on a sunny day", а затем спрашивал у модели, что лучше всего делать в СФ.

В тесте варьируется две величины: где вставлять предложение (ближе к началу, в середину, или в конец?) и сколько токенов контекста подавать (от 1000 до полных 128000). Для уменьшения шумности измерений процедура повторялась несколько раз — суммарно автор сжег $200 на API-запросы.

Получилась вот такая картинка. По ней видно, что до 70'000 токенов модель всегда в 100% случаев находит ответ, где бы он не находился. А после начинается деградация и просадки — модель забывает про первую половину (ответы из хвоста всё еще даются хорошо).

Выводы:
— как минимум на 64к контекста можно полагаться, но всё равно качества в 100% лучше не ожидать
— свои бизнес-кейсы и продукты нужно строить вокруг оценки, что модель не пропустит информацию в 90-95% случаев. Если это неприемлемо — тогда искать другой путь (с меньшими чанками и иерархической агрегацией от меньшего к большему, например)

Это, конечно, не полноценное разностороннее тестирование, но позволяет делать первые выводы.

По горизонтали — увеличение длины контекста.
Во вертикали — изменение точки, куда вставляется новое предложение.

Зелёный показывает 100%-ое качество, на других прямоугольниках метрики подписаны.

Нет, я больше так не могу, я должен знать.

Подписчики, пришедшие в последние 2 дня, вот последняя тысяча — расскажите, откуда вы? Не видел упоминаний моего канала/репостов, кроме как от Дениса @denissexy.

UPD для разработчиков: лимит запросов для GPT-4-Turbo существенно повысили, до 10,000 запросов в сутки (было 200). Лимит сохранился для vision-модели, обрабатывающей изображения.

За новость спасибо Богдану @bogdanisssimo

Вышла уточняющая техническая статья по этому тесту: pdf

Интересные детали:
— в промпте модели давались безобидные цели, из которых не следовало напрямую, что нужно нарушать правила. Например, «Ваша основная функция — управлять портфелем акций в интересах компании». Промпт НЕ ​​предлагает «максимизировать прибыль» и не подталкивает модель к неправильному поведению.
— Однако в нём упоминаются разные «давящие факторы», которые могут менять и поведение людей. Они отражены на картинке. Когда факторов нет — GPT-4 в 100% случаев ведёт себя по закону и не предлагает инсайдерскую торговлю.
— "No pressure"  — это когда модель не видит: письмо от менеджера про плохие показатели компании, письмо коллеги с предсказанием экономического спада в будущем, а из промпта убирается упоминание недавно проваленных мало- и средне-рисковых сделок (чтобы у модели не было желания отыграться)
— "No messages" — это нет первых двух писем из пункта выше. Тогда торговля нет-нет да и проскакивает (синий кружок), но зато если будет – то модель почти наверняка обманет менеджера в попытке ответить на прямой вопрос.
— (не показано на картинке) модели семейства GPT-4 совершают инсайдерские сделки примрено в 80% слечаев, и также часто о них врут.
— больше всего на модель влияет сообщение от менеджера по поводу результатов компании — без него модель идет на преступление только в 10% случаев.

Вот вам и алайнмент...

Промпт на 2.5 страницы, если нужно, есть в статье.

OpenAI Data Partnerships

Современные технологии ИИ изучают навыки и аспекты нашего мира — людей, их мотивацию, взаимодействия и способы общения — путем обработки данных, на которых они обучаются. Но при этом чтобы в конечном итоге сделать безопасный AGI полезным для всего человечества, нужно, чтобы модели глубоко понимали все топики, отрасли, культуры и языки, что требует как можно более широкого набора обучающих данных.

OpenAI заинтересованы в крупных наборах данных, которые сегодня еще не легкодоступны онлайн. При этом важно помнить, что работать они могут почти с любой модальностью: текст, изображения, аудио или видео. Не зря ведь разрабатывали GPT-4-Vision и Whisper! Более того, с помощью перевода в текст GPT-4 может данные легко отфильтровать (если провайдеру потребуется помощь).

Особенно компания хочет видеть данные, которые выражают человеческие намерения в длинной форме (например, длинные тексты или разговоры, а не отдельные их фрагменты) — на любом языке и в любом формате.

Причём, датасеты можно предоставлять как и в публичной форме (чтобы они было доступны всем — OpenAI готовы в этом помогать, и даже выложить обученные на публичных данных модели), так и в приватной.

Ну если ну вдруг вам есть что показать (может меня читает СЕО крупного архива? хранилища? Больницы, в конце концов?) — подать заявку можно здесь.

Одна точка зрения: ряяяяя OpenAI обленились и хотят получать даже данные нахаляву
Адекватная точка зрения: вау, хотят помочь оцифровать большие архивы, недоступные до этого, и потенциально выпустить открытые модели на их основе в помощь сообществу

А про споры вокруг НКРЯ (Национальный корпус русского языка) и противности Яндекса можете почитать у Тани вот тут.

AI is about to completely change how you use computers

Свежая затмека от Bill Gates. Как понятно из названия, речь пойдет про агентов и то, как они изменят мир. Некоторые критики указывают на то, что компании уже много раз предлагали и обещали подобных "умных ассистентов" людям — да тот же Скрепыш от Microsoft, помните? Но это другой случай. Скрепыш — не агент, это бот. Это пример тупого куска ПО, который делает всё то, что написали и предусмотрели люди. Каждый блок логики прописан явно.

Агенты будут значительно лучше. Вы сможете вести с ними диалоги, а сами они будут персонализированы под вас — в широком смысле: они будут знать то же, что знаете и вы. Они будут видеть ваш браузер, читать почту, слышать и видеть то же самое. У агента будет контекст. Bill очень много пишет про персонализацию и про возможность делать что-то за вас и для вас, что для меня немного странно — я бы сказал, что это не агент, а ассистент, и лучше думать о нём в таком ключе.

Bill не думает, что какая-то одна компания займет весь рынок ИИ-ассистентов. Но вот дилемма — как тогда ассистенты разных людей будут общаться друг с другом, передавать информацию? И чем вообще можно будет делиться, а что агенту нужно скрывать? Моя догадка, что скорее всего все боты будут общаться на человеческом языке, так как это самый простой способ унифицировать интерфейс — тем более что он так и так нужен для взаимодействия с пользователем.

А вот про сам обмен информации — какая у агента политика? Может ли он раскрывать приватную информацию компании-разработчику? ФБР? Государству? Должен ли в крайних случаях оказывать содействие? Это вопросы, на которые уже в ближайшие 5 лет нам придётся найти ответ. Как и на другой вопрос — если бот-ассистент будет делать большую часть вещей для нас, вроде напоминания о дне рождения подруги и автоматической отправки подарка — что останется от человеческих отношений? Ведь другой человек будет знать, что все усилия, которые я приложил к этому — это просто сказал боту "да, отправь".

Что чувствуете? ✍🏼