Пока ждём обещанных новостей, немного лёгкого жанра.

Промпт-инженеры, приготовиться на выход!

https://spectrum.ieee.org/prompt-engineering-is-dead

GPT-4o looks promising

https://twitter.com/LiamFedus/status/1790064963966370209

Если совсем кратко, мне понравилось

* про обновления Gemini (улучшенный 1.5 + контекст 2M, Flash, мультимодальный Nano)/Gemma (на подходе 2 + PaliGemma: Open Vision-Language Model)
https://blog.google/technology/ai/google-gemini-update-flash-ai-assistant-io-2024/#exploration

* Veo https://deepmind.google/technologies/veo/

* Project Astra https://www.youtube.com/watch?v=nXVvvRhiGjI

* Железо: Trillium TPU (v6, https://cloud.google.com/blog/products/compute/introducing-trillium-6th-gen-tpus) + Arm-based Axion CPU

В последние дни много разговоров про исход AI-safety related людей из OpenAI. Вчера ушли руководители направления Superalignment (https://www.businessinsider.com/openai-leadership-shakeup-jan-leike-ilya-sutskever-resign-chatgpt-superalignment-2024-5) Суцкевер и Лейке, до этого ушли другие люди (https://www.businessinsider.com/openai-safety-researchers-quit-superalignment-sam-altman-chatgpt-2024-5), работавшие над governance, в частности Daniel Kokotajlo, написавший про это "Quit OpenAI due to losing confidence that it would behave responsibly around the time of AGI".

Пользуясь случаем, расшарю прикольный прогноз Daniel Kokotajlo "What 2026 looks like", сделанный в 2021-м:
https://www.alignmentforum.org/posts/6Xgy6CAf2jqHhynHL/what-2026-looks-like

Мы как раз в середине, можете сами оценить.

И вот этот его пост трёхмесячной давности тоже интересен:
https://www.lesswrong.com/posts/cxuzALcmucCndYv4a/daniel-kokotajlo-s-shortform?commentId=LKThjEJ6W8eQEJiXG

We evaluated 3 systems (ELIZA, GPT-3.5 and GPT-4) in a randomized, controlled, and preregistered Turing test. Human participants had a 5 minute conversation with either a human or an AI, and judged whether or not they thought their interlocutor was human. GPT-4 was judged to be a human 54% of the time, outperforming ELIZA (22%) but lagging behind actual humans (67%).

https://arxiv.org/abs/2405.08007

:)

Сознание и эмпатия уже зарождаются!

Интересный talk про использование нейросетевых моделей для интерпретации данных и открытия физических законов. В этой парадигме данные сначала обучают нейронку (происходит сжатие), а затем обученная нейронка дистиллируется в теорию (через символьную регрессию, например https://github.com/MilesCranmer/PySR этого же автора).

Вторая часть рассказа про важность foundation models и про проект Polymathic AI (https://polymathic-ai.org/) нацеленный на обучение foundation models для физики. Из прикольного, рандомная инициализация — очень плохой prior. Даже предобучение на видео котиков даёт сильно лучший результат.

В целом я тоже до сих пор восхищаюсь, как задача "всего лишь" предсказания следующего токена даёт нам такие офигительные модели.

https://www.simonsfoundation.org/event/the-next-great-scientific-theory-is-hiding-inside-a-neural-network/

Поступил комментарий от Jan Leike
https://x.com/janleike/status/1791498174659715494

И вот вам ещё тематический лонгрид, спасибо Мише Самину за наводку

https://www.vox.com/future-perfect/2024/5/17/24158403/openai-resignations-ai-safety-ilya-sutskever-jan-leike-artificial-intelligence

Ну и в продолжение темы, ещё вам свежего ))

How Far Are We From AGI
Tao Feng, Chuanyang Jin, Jingyu Liu, Kunlun Zhu, Haoqin Tu, Zirui Cheng, Guanyu Lin, Jiaxuan You
Статья: https://arxiv.org/abs/2405.10313
Репа (со ссылками на мастриды, а не с AGI): https://github.com/ulab-uiuc/AGI-survey

Тут группа людей с китайскими фамилиями из университета Иллинойса по результатам свежего одноимённого воркшопа ICLR 2024 “How far are we from AGI” (https://agiworkshop.github.io/) опубликовала работу на 120 страниц (из них 45 страниц ссылок) на тему “далеко ли до Таллинна AGI”. Судя по бросающимся в глаза “delve”, GPT тоже участвовал 🙂

Если честно, я пока не осилил, только по диагонали проглядел. Но выглядит полезно. Работа в первую очередь призывает к рефлексии на тему. Разбирают, какие у AGI ожидаются внутренности (Perception, Reasoning, Memory, Metacognition), как он будет работать с внешним миром (отдельно разбираются цифровой мир, физический и другие умные сущности, мясные и не очень), различные аспекты устройства и работы AGI систем (архитектуры, обучение/инференс, косты и эффективность, вычислительные платформы), AGI Alignment, потенциальный родмэп к AGI с уровнями AGI по Кардашёву, задача evaluation всего этого дела, что нужно для переходов на следующие уровни.

Есть синтез мнений с воркшопа. Процитированы Oriol Vinyals, Yejin Choi, Andrew Gordon Wilson, Song Han, Yoshua Bengio. Отвечая на вопрос “когда?”, больше 80% за горизонт 5+, из них самая большая доля в 37% за 20+.

Есть большой раздел с case studies про применения в науке, Generative Visual Intelligence, интересный раздел про World Models for AGI, Decentralized AI, AI для кодирования, AI for Robotics, Human-AI Collaboration.

Выглядит интересно, почитать точно есть что. И как сборник релевантных материалов, кажется, тоже очень ничего.

Напишите, что вам оттуда больше всего понравилось. Или что совсем неправильно на ваш взгляд. Или что важное упущено.