Вчера-сегодня идёт конференция Microsoft Build (для разработчиков), на которой показывают много разных AI-штук и не только. Про некоторые из штук напишу ближе к выходным, а пока вот вам шутки.

В конце вступительной презентации CTO Microsoft Kevin Scott рассказывал о том, что будущие модели от OpenAI будут ещё мощнее, что они вкладывают всё больше и больше вычислительных ресурсов в обучение, и не планируют останавливаться:
— «Мы ещё далеки от точки уменьшения отдачи от того, насколько мощными мы можем создавать модели AI по мере увеличения масштаба вычислений»
(читайте как «GPT-5 будет офигенной и GPT-6 скорее всего тоже»)

На твит со скриншотом с презентации решил ответить Gary Marcus, вечный критик нейросетей и глубокого обучения, который уже лет 10 говорит, что мы упёрлись в стену, и дальше прогресса не будет. Не знаю, как он не видит противоречия реальности своим словам за последние 3 года, но для нас это повод поглумиться 🥊

Он тегнул CTO Microsoft и спросил, готов ли тот поставить $100k на то, что тезис про дальнейшее масштабирование — не бред.

Гигачад Kevin 💪 ответил:
— Я думаю, что уже сделал ставку. И она намного больше, чем 100 тысяч долларов.

(Напомню, что Microsoft строит для OpenAI суперкомпьютер стоимостью 100 МИЛЛИАРДОВ долларов. Если пропустили — обязательно прочитайте вот этот пост)

🚨Новый Калифорнийский законопроект может убить будущее опенсорс моделей

TL;DR: На большие AI модели будет наложено очень много ограничений. Возможно, это задушит многих, кто тренирует большие LLM в США (пока только в Калифорнии), а также облачных провайдеров, предоставляющих GPU.

Сенат Калифорнии принял законопроект SB-1047, сильно ограничивающий тренинг домашних моделей. Они хотят заставить разработчиков получать разрешение (как на строительство дома) на трейн моделей, плюс фактически сделать опенсорсинг моделей лучше GPT-4 нелегальным. Надеюсь этот бред не сумеет пройти через врата ассамблеи и губернатора. Против законопроекта выступает AI Alliance, в который входят такие компании как Meta, IBM, Intel и AMD, так что шансы есть.

Я его прочитал, вот краткое содержание законопроекта:

➖Создаётся специальный отдел по надзору за продвинутым ИИ, который должен сертифицировать модели и которому должны отчитываться разработчики

➖Создаётся публичный кластер, CalCompute для исследования "безопасного деплоймента больших моделей"

➖Устанавливается контроль за моделями натренированным на 1e26 FLOP (чуть больше оценочного компьюта LLaMa 3 405B - по оценке Карпатого там 4e25 FLOP) или аналогичным к ним по мощности (аналогичность устанавливается на непонятных "стандартных бенчмарках")

➖Разработчики модели, попадающей под критерии, должны иметь возможность отключить все инстансы модели по требованию регулятора

➖Разработчики моделей, которые могут попасть под ограничения, должны отчитываться и получать добро от регулятора перед началом трейнинга

➖Разработчики моделей, которые подпадают под ограничения, ответственны не только за опасные действия самих моделей, но и за действия любых их файнтюнов (!)

➖Операторов компьют кластеров мощностью в 10^20 FLOPS или больше обязуют репортить когда кто-то тренирует ллмки и заниматься енфорсментом закона

➖Разработчики моделей, которые могут попасть под ограничение, обязаны ввести меры кибербезопасности которые защищают веса от утечки

➖Возможны исключения, которые может делать регулятор, но для них нужно доказать безопасность модели и её всех возможных файнтюнов

Судя по тексту, авторы законопроекта плохо понимают, как работают LLM. В текущем виде он фактически запрещает калифорнийским стартапам и другим небольшим организациям проводить большие трейнинг раны (если лицензию на постройку дома можно получать годами, то что уж говорить о лицензии на трейнинг ран).

Опенсорсу тоже будет несладко – из-за расплывчатости определений, потенциально, регулятор может наложить ограничения на любую модель, даже не 1e26 FLOP класса. Из-за этого, а также из-за сложности получения исключения, публиковать новые опенсорс модели может стать просто невозможно.

Закону ещё нужно пройти сквозь ассамблею штата (нижнюю палату парламента), так что тут ещё возможны поправки. Подписчики канала из Калифорнии могут высказать мнение о законопроекте своему представителю.

Вспоминаю ситуацию с криптографией в 90-х, надеюсь в этот раз отбиться от таких жёстких регуляций тоже выйдет.

Хотя, в Европе отбиться пока не вышло. В Европе в прошлом году предложили похожий драконовский закон – European AI Act (я о нем писал в декабре), и вчера его окончательно принял Европарламент. Он уже вступит в силу в 2025 году. Ох, как щемить будут нашу область 😭. Скоро появятся AI-офшоры, где все втихаря будут тренировать свои большие модели.

@ai_newz