И вот вам ещё тематический лонгрид, спасибо Мише Самину за наводку

https://www.vox.com/future-perfect/2024/5/17/24158403/openai-resignations-ai-safety-ilya-sutskever-jan-leike-artificial-intelligence

Ну и в продолжение темы, ещё вам свежего ))

How Far Are We From AGI
Tao Feng, Chuanyang Jin, Jingyu Liu, Kunlun Zhu, Haoqin Tu, Zirui Cheng, Guanyu Lin, Jiaxuan You
Статья: https://arxiv.org/abs/2405.10313
Репа (со ссылками на мастриды, а не с AGI): https://github.com/ulab-uiuc/AGI-survey

Тут группа людей с китайскими фамилиями из университета Иллинойса по результатам свежего одноимённого воркшопа ICLR 2024 “How far are we from AGI” (https://agiworkshop.github.io/) опубликовала работу на 120 страниц (из них 45 страниц ссылок) на тему “далеко ли до Таллинна AGI”. Судя по бросающимся в глаза “delve”, GPT тоже участвовал 🙂

Если честно, я пока не осилил, только по диагонали проглядел. Но выглядит полезно. Работа в первую очередь призывает к рефлексии на тему. Разбирают, какие у AGI ожидаются внутренности (Perception, Reasoning, Memory, Metacognition), как он будет работать с внешним миром (отдельно разбираются цифровой мир, физический и другие умные сущности, мясные и не очень), различные аспекты устройства и работы AGI систем (архитектуры, обучение/инференс, косты и эффективность, вычислительные платформы), AGI Alignment, потенциальный родмэп к AGI с уровнями AGI по Кардашёву, задача evaluation всего этого дела, что нужно для переходов на следующие уровни.

Есть синтез мнений с воркшопа. Процитированы Oriol Vinyals, Yejin Choi, Andrew Gordon Wilson, Song Han, Yoshua Bengio. Отвечая на вопрос “когда?”, больше 80% за горизонт 5+, из них самая большая доля в 37% за 20+.

Есть большой раздел с case studies про применения в науке, Generative Visual Intelligence, интересный раздел про World Models for AGI, Decentralized AI, AI для кодирования, AI for Robotics, Human-AI Collaboration.

Выглядит интересно, почитать точно есть что. И как сборник релевантных материалов, кажется, тоже очень ничего.

Напишите, что вам оттуда больше всего понравилось. Или что совсем неправильно на ваш взгляд. Или что важное упущено.

Лекун не унимается!

"I think the issue of controlling AI has become a modern “bogeyman”, with horror forecasts of machines becoming smarter than us and dominating us (Figure 5). However, in humans and thus in machines, intelligence does not equal a will to dominate the other. Another concern is aligning behavior of intelligent machines with humanity’s values. Although it is hard to “educate” machines to behave properly, we can manage it—the same way we educate our kids to behave in society, and with the same regulations to guide social functioning. We can define intrinsic objectives that machines will pursue (think of these like “core values”) that they cannot violate or modify, ensuring that the machines’ behavior stays aligned with our values and goals.

Every new technology brings with it some unexpected consequences, so we as a society must correct any unwanted side effects quickly, minimizing their damage. After online services developed, such as YouTube, Facebook, Instagram, we encountered the problem of improper content and developed means for content moderation. I am confident in our ability to deal with the problems of new technologies successfully as they arise.

What excites me the most about the future of AI is uncovering the underlying principles of intelligence. That would help us explain what human intelligence really is, and enable us to build intelligent systems, which would eventually expand human intelligence. Progressing in our understanding of the world requires more intelligence: at some point we will need other systems beyond our limited brains that we can use. For an interesting example of how AI helped us better understand the world, read this article about solving the long standing problem of protein folding.

Another, more engineering-based endeavor I want to see in the future is building intelligent systems to help us with our daily lives. For example, domestic robots that will be like intelligent human assistants, managing things we do not want to do and filtering out unimportant information. We call this an AI-complete problem [13], that requires the integration of many abilities and techniques. I work on new basic self-supervised learning algorithms that could hopefully bridge the gap between machine learning today and human learning. I hope we will be able to tackle AI-complete problems more successfully and live even more comfortable lives."

https://kids.frontiersin.org/articles/10.3389/frym.2024.1164958

Пользуясь случаем хочу перерасшарить двенадцатилетнюю статью Девида Дойча про AGI.

Комментарии и выжимки специально не буду писать, пусть каждый найдет своё.

https://aeon.co/essays/how-close-are-we-to-creating-artificial-intelligence

Быстро работают!

Kolmogorov-Arnold Networks (KANs) for Time Series Analysis
Cristian J. Vaca-Rubio, Luis Blanco, Roberto Pereira, Màrius Caus
https://arxiv.org/abs/2405.08790

This paper introduces a novel application of Kolmogorov-Arnold Networks (KANs) to time series forecasting, leveraging their adaptive activation functions for enhanced predictive modeling. Inspired by the Kolmogorov-Arnold representation theorem, KANs replace traditional linear weights with spline-parametrized univariate functions, allowing them to learn activation patterns dynamically. We demonstrate that KANs outperforms conventional Multi-Layer Perceptrons (MLPs) in a real-world satellite traffic forecasting task, providing more accurate results with considerably fewer number of learnable parameters. We also provide an ablation study of KAN-specific parameters impact on performance. The proposed approach opens new avenues for adaptive forecasting models, emphasizing the potential of KANs as a powerful tool in predictive analytics.

Свежак.

https://www.science.org/doi/10.1126/science.adn0117

Authors: YOSHUA BENGIO, GEOFFREY HINTON, ANDREW YAO, DAWN SONG, PIETER ABBEEL, TREVOR DARRELL, YUVAL NOAH HARARI, YA-QIN ZHANG, LAN XUE, SHAI SHALEV-SHWARTZ, GILLIAN HADFIELD, JEFF CLUNE, TEGAN MAHARAJ, FRANK HUTTER, ATILIM GÜNEŞ BAYDIN, SHEILA MCILRAITH, QIQI GAO, ASHWIN ACHARYA, DAVID KRUEGER, ANCA DRAGAN, PHILIP TORR, STUART RUSSELL, DANIEL KAHNEMAN, JAN BRAUNER, AND SÖREN MINDERMANN

Как и ожидалось (см https://xn--r1a.website/gonzo_ML/2415), начали появляться решения, призванные сделать работу с большим контекстом более экономически осмысленной.

Гугл анонсировал Context caching (https://ai.google.dev/gemini-api/docs/caching) для Gemini. В этом режиме часть токенов можно закешировать (с почасовой оплатой) и использовать при повторных запросах (например, к большой книге, или к огромному контексту предыдущей беседы с чат-ботом). Это будет дешевле, чем заново отправлять это как входные токены.

На данный момент это актуально только для Gemini 1.5 Pro (у которой контекст 1M-2M, а в перспективе 10M и бесконечность) и цена вопроса (https://ai.google.dev/pricing) вроде как в два раза ниже, чем при отправке токенов заново. При этом ещё и отличаются цены за токены для промптов до 128k и более. Чую, скоро такими темпами целые тарифные сетки для LLM появятся, как для работников :)

Если вы запихнули в промпт 1M токенов, то стоит это $7.00 / 1 million tokens (for prompts longer than 128K), если их же закешировали, то $3.50 / 1 million tokens (for prompts longer than 128K) к которым кажется добавляется $4.50 / 1 million tokens per hour (storage). Не сказать пока, что по деньгам это прям game changer, но всё равно какая-то оптимизация.

Ну и для реальных кейсов всё равно кажется дорого. Ну забил ты весь 1M токенов промпта своим контентом, запрос твой будет стоить $7. С кешированием за первый запрос будет столько, за последующий один даже дороже (ибо плюс хранение), но если их отправлять много, то что-то сэкономишь (не более чем половину). Плюс ещё за выходные токены $21.00 / 1 million tokens (for prompts longer than 128K), но там миллион сложнее выпользовать, размер выходного контекста ограничен 8k (https://cloud.google.com/vertex-ai/generative-ai/docs/learn/models#gemini-models), так что если это саммари или ответы на вопросы, то за один вопрос/саммари добавка не очень большая будет, в худшем случае меньше 20 центов.

За какие запросы вы готовы заплатить $7 (а если вы забили у новой Gemini 2M промпта, то и $14), это отдельный сложный вопрос. В оригинальном посте я ориентировался на цены Gemini 1.0 Pro, поскольку 1.5 была ещё в экспериментальном режиме и цены объявлены не были. Похоже, цены на Gemini 1.0 Pro выросли (раньше я ориентировался на $0.125, сейчас там $0.5), а 1.5 на фоне тех оценок вообще безумно дорога. Интересно, для каких кейсов экономика здесь будет сходиться. Это какой-то очень высокий порог не для масс.

Антропик опубликовал работу про интерпретируемость

https://www.anthropic.com/news/mapping-mind-language-model

Today we report a significant advance in understanding the inner workings of AI models. We have identified how millions of concepts are represented inside Claude Sonnet, one of our deployed large language models. This is the first ever detailed look inside a modern, production-grade large language model. This interpretability discovery could, in future, help us make AI models safer.

Wavelet-KANs are coming!

Wav-KAN: Wavelet Kolmogorov-Arnold Networks
Zavareh Bozorgasl, Hao Chen
https://arxiv.org/abs/2405.12832