OpenAI объявили журналистам, что вот-вот опубликуют решение еще одной Millennium Problem в математике.

В связи с этим предлагаю переименовать эти "Задачи тысячелетия" во что-то более подходящее. "Задачи на ближайшую неделю", или типа того

Блин, хотел поделиться ссылкой на материал из ТГ-канала Movchan's с разбором скандала по кросс-селлингу в банке Wells Fargo. Но не могу себя заставить линковать на очевидный (по первому же абзацу) нейрослоп по эстетическим соображениям.

Ведущие AI-компании неиронично be like: «наш рой агентов выполнял совершенно безвредные и добрые задачи, когда загружал на сервер файл EVIL.rb…»

Это реально похоже на анекдот.

Тут Revolut взломали просто МАКСИМАЛЬНО стыдным образом.

Читатель ждет уж истории про рой AI-агентов, тысячами хитроумных кибератак пробивающих брешь в обороне компании Сторонского.

Но нет, реальность гораздо более банальная: прислали запрос с ящика, неотличимого от государственного, и Револют сам в ответ тупо отправил все личные данные ряда клиентов – от сканов паспортов до детальных выгрузок всех транзакций.

P.S. В письме они там пишут, что запрос был прислан прямо с настоящего госдомена (т.е. подразумевается, что взломали какого-то бюрократа).

Неиронично, кстати, считаю, что попробовать поспорить с нейросетью, прежде чем вываливать первые пришедшие в голову аргументы на окружающих людей – это очень полезный навык, который трагически недоиспользуется в нашем обществе.

И в другую сторону это тоже работает: если вам приводят какой-то аргумент из области, где у вас нет глубокой профильной экспертизы — то с помощью нейронки сейчас довольно легко проверить, не буллщитят ли вас. Понятно, что в очень тонких вопросах вы так надежно вряд ли разберетесь (тут вам свои знания нужны, чтобы отследить, где модель в деталях важные решения принимает, которые не факт, что правильные). Но вот на уровне "понять, действительно ли вам утверждают что-то бесспорное для профи, или там на самом деле консенсуса на этот счет даже близко нет" — работает чаще всего отлично.

Правда, тут важно еще уметь правильно промптить нейронки так, чтобы они пытались сделать объективный анализ, а не просто поддерживали вашу точку зрения из солидарности "братства шершавых кабанов". То есть, если вы в запросе пишете "вот точка зрения оппонента, докажи, что он неправ и ничего не понимает в предмете" — you're doing it wrong!

То чувство, когда не нашел себя в списке пострадавших клиентов Revolut, и стало как-то даже немножко обидно

Дарио Амодей (глава Anthropic) выложил свой манифест по поводу того, что нам надо делать с гонкой ведущих AI-лабораторий за созданием всё более умных моделей.

TLDR: Дарио очень обеспокоен тем, как развиваются возможности передовых моделей, особенно в свете инцидентов вроде взлом Hugging Face роем агентов из OpenAI. Проблема там не только в самих OpenAI, в испытании своих внутренних передовых моделей у Антропика возникают примерно похожие по характеру инциденты.

Амодей ожидает, что если прогресс будет продолжаться как сейчас — то через 6-12 месяцев новые продвинутые рои агентов уже могут наделать действительно серьезных делов на миллиарды убытков (и почистить от них интернет может оказаться сильно сложнее).

Дарио предлагает план замедления развития передовых моделей из 3-х шагов:

1) Замедление прогресса внутри передовых ИИ-лаб до того темпа, когда они смогут обеспечить нужную безопасность. Это Антропик добровольно берет на себя, но просит государство затребовать и от других. Как один из компонентов этого шага, Антропик обещает обеспечить постоянный доступ внешним независимым проверяющим организациям (типа METR, которые расследовали OpenAI HF-инцидент), которые будут следить за тем, что лаба нигде не "срезает углы" по безопасности.

2) Кооперация похожих мер между ведущими компаниями в "демократической" индустрии (государство здесь может выступать посредником-медиатором).

3) Такая же кооперация на межстрановом уровне (понятно, что речь о Китае в первую очередь).

Мое личное мнение: отличный план, очень вовремя. Дарио Амодей молодец, что публично вышел с такой инициативой. Если OpenAI это поддержат (а не поддержать для них будет стыдновато, с учетом всех последних скандалов по кибербезопасности), то это будет очень хороший старт.

P.S. Жду в реплаях парад комментов на тему "да это же галимый пиар, они теперь просто с OpenAI вместе договорились одну и ту же тему разгонять!!"

P.P.S. Илон Маск уже поддержал инициативу Дарио. Сэм Альтман по инфе от Блумберга давеча на внутреннем собрании тоже говорил, что принципиально не против общего замедления. Получается, у нас тут уже своего рода КОНСЕНСУС намечается из глав ведущих AI-лаб?

Ну и для всех, кто пишет к реплаях "ну-ну, а Китай вы как уговорите замедляться?": а почему вы вообще думаете, что там верхушку компартии вообще не беспокоит вопрос резкого усиления AI, который принципиально не получается контролировать? На чем эта уверенность основана?

Прикольно: чуваки сделали вирус-червь WeWorm, распространяющийся в приложении WeChat через звонки, которые для этого даже не нужно брать (!). То есть, ответного действия от человека для заражения никакого не требуется.

Вичатом пользуется почти полтора миллиарда человек. Дыру уже пофиксили.

Трамп заявил, что он никуда замедляться никому не позволит — и вообще, Америка под его началом должна построить Big Beautiful AI, не то что у Китая.

Уровень сложности нашего таймлайна: будущее человечества зависит от способности деда разобраться в рисках AI и потом договориться с Китаем так, чтобы те не чувствовали, будто их пытаются на*бать.

В Твиттере тут опубликовали срывающее покровы расследование, которое на 100% бесспорно доказывает, что Джейкоб Коксон (автор вирусного треда про увольнение из Anthropic и риск ИИ на 170+ млн просмотров) — мошенник и обманщик, а всё это один гигантский псиоп.

Я ознакомился с доказательствами, и вот вам моя краткая TLDR-выжимка. Держитесь крепче: «чувак, который хотел с помощью своего увольнения сделать громкое публичное заявление, действительно попытался сделать из своего увольнения громкое публичное заявление (и не скрывает это!)»

Ну серьезно, там с таким придыханием упоминаются РАЗОБЛАЧАЮЩИЕ ФАКТЫ вроде:
— Коксон пошел к журналистам из WSJ, чтобы про его позицию написали статью (и запостил свои твиты только после выхода материала)
— Он попросил ряд своих корешей из AI-индустрии с похожими взглядами порепостить его тред, и т.д.

О боже мой, если соединить все эти точки на доске красной ниткой, начинает закрадываться подозрение, что... Коксон специально хотел, чтобы его манифест стал вирусным и активно прилагал к этому усилия?? Шок!!

P.S. В следующей серии разберем: действительно ли митинги с участием Мартина Лютера Кинга происходили совершенно случайно, или он призывал людей прийти на них и давал интервью в прессе? 🤔

— AI-оптимисты: "Да эти думеры просто в своих сценариях делают совершенно нереалистичные предположения о том, что люди будут вести себя максимально глупым образом, в реальности такого даже близко не будет…"

— Тем временем, люди в реальности: "Наш план по контролю за AI – это СИЛЬНЫЙ И УМНЫЙ (с высоким IQ!) ПРЕЗИДЕНТ"

Так, краткий апдейт вам хотел дать по Полимаркету. Раз уж на носу уже на этой неделе выборы — придется рассказать положняк по той ставке, с которой началось мое увлечение площадкой. А то я знаю, вы потом мне будете писать "поставил вслед за Павлом против ЕР и всё проиграл =(("

У меня, тем временем, уже несколько раз там менялось направление ставок (напомню, речь идет о вероятности того, что Единая Россия получит наибольший прирост мест в Думе по сравнению со статусом кво):
— Сначала я шортил ЕР по 90
— Потом покупал лонг по 53
— Потом опять шортил по 75

Текущая моя позиция околонулевая, рынок болтается около 77%. Интуитивно мне кажется, что это слишком много, и надо шортить. К этому есть несколько предпосылок:

🐌 Рейтинги ЕР сильно просели за последние полгода, на фоне всяких окружающих социально-экономических процессов.

🐌 Ходили слухи от неких _источников_, что KPI по результатам ЕР в регионах якобы опустили на фоне этого до 45%.

Но есть и аргументы за ставку лонг ЕР:

🐌 Исходя из правил пари, точкой отсчета является не результат прошлых выборов в 2021 году, а текущая ситуация. Тогда ЕР взяли 325 мест, но прямо сейчас у них занято 310 мест — получается, эти +15 как бы будут записаны в прирост "на халяву" даже при просто повторении прошлого результата. Хотя, на другом сайте, который прямо указан в правилах Полимаркета, так и стоит 325 — так что, тут непонятно точно, как в итоге разрешится.

🐌 Новые присоединенные регионы будут ожидаемо голосовать с огромным перевесом за ЕР, что еще даст буст к результатам 2021 года.

🐌 Самое важное: "умные деньги" в целом, и Gopfan в частности, дичайше топят за ЕР. У меня сложилось ощущение, что Гопфан честно транслирует свои тейки на публику, и не пытается специально заманивать своих последователей в ловушку — и по его словам он прямо очень уверен, что этот контракт разрешится победой ЕР.

Мой опыт на Полимаркете подсказывает, что переть против умных денег чаще всего оказывается дурацкой затеей. Матмодель выборов я тут, конечно, не строил — поэтому пытаться перемудрить профи типа Гопфана скорее всего было бы глупо.

Так что, я думаю, скорее всего постараюсь набрать умеренную ставку за ЕР по уровням ближе к 70 и ниже, если до них будет спускаться. Как говорится, это в любом случае тот тип ставок, которые проигрывать не очень-то и обидно.

[Дежурная оговорка про рынки предсказаний]

В чате Котенкова пытают нейросеть вопросами "да кто вообще такой этот Комаровский?"

Пока читал, что она отвечает — думал, жестянка мне сейчас курсы по аналитике тут же продаст...