Forwarded from Малоизвестное интересное
Из ИИ-лабов в любой момент могут утечь такие «плохие вещи», что утечка био-вирусов покажется пустяком.
Джек Кларк нажал кнопку тревоги на слушаниях по ИИ в Конгрессе США.
Все сегодняшние риски – цветочки в сравнении с завтрашними. На проходившей позавчера сессии AI Caucus конгрессмены впервые с высокой политической трибуны услышали правду о рисках ИИ.
Эта правда в том, что:
1. риски ИИ оказались существенно выше, чем предполагалось, и сегодня ни по одному из них нет хоть сколько-нибудь удовлетворительного решения;
2. эти риски предельно усугубляются их абсолютным непониманием общественностью и правительством США;
3. уже в этом году риски ИИ довольно высоки, но буквально через год-другой они станут таковы, что все известные нам сегодня глобальные риски померкнут на их фоне.
Своим выступлением перед конгрессменами Джек Кларк (соучредитель Anthropic, член National AI Advisory Committee (NAIAC); сопредседатель AI Index; сопредседатель OECD Working Group on AI + Compute и т.д.) как будто разбил стекло пожарной сигнализации и нажал на красную кнопку тревоги.
Его выступление оказалось настолько простым и убедительным, что его, похоже, поняли даже конгрессмены (мои читатели могут также прочесть его слайды).
Логика Джека Кларка такова.
1. Скорость развития ИИ-технологий настолько возросла, что не только политики, но и даже сами исследователи ИИ не успевают отслеживать новые ступени прогресса.
Иллюстрируя это, Джек приводит пример 3х препринтов, опубликованных за последние 10 дней, результаты которых принципиально меняют представление о рисках ИИ:
- Tracking the industrial growth of modern China with high-resolution panchromatic imagery: A sequential convolutional approach
- Dataset Bias in Human Activity Recognition
- A Watermark for Large Language Models
2. Из-за этой сумасшедшей скорости общественность и правительства не отдают отчета в том:
- что риски распространения сильно продвинутых ИИ, заточенных на «плохие применения», куда выше, чем осознаваемые и понимаемые риски распространения оружия путем его печати на 3D принтере;
- что риски сесть на иглу пропаганды использующих ИИ правительств и корпораций, куда выше, чем риски тотального оболванивания путем использования ТВ и онлайн-рекламы;
- что из ИИ-лабораторий в любой момент могут утечь такие «плохие» интеллектуальные агенты и инструменты, что утечка био-вирусов покажется пустяковым инцидентом;
- что Китай
а) уже вовсю использует ИИ для укрепления государства;
б) разбирается в этом гораздо лучше, чем вы себе представляете;
с) с каждым месяцем уходит вперед, пока США не поняли уровень рисков.
3. Общественность и правительство находится в плену иллюзий о возможных путях преодоления уже известных рисков.
Все они – по-прежнему, открытые проблемы:
- мониторинг ИИ систем ИИ с помощью самого же ИИ для предотвращения злоупотреблений;
- возможность понимать «логику решений» ИИ;
- Возможность ‘отслеживать’ результаты работы ИИ;
- Возможность сделать системы "беспристрастными" и "непредвзятыми"
Джек Кларк закончил выступление криком вопиющего в пустыне:
• Нормативно-правовая база и рыночный ландшафт побуждают людей не говорить вам и не лгать вам до тех пор, пока что-то не пойдет "на ура’.
• Если вы думаете, что опасности, связанные с ядерным оружием и биологией – самое плохое, просто немного подождите.
• Увы, но среди политиков США нет заметных людей, с которыми можно было бы хотя бы обсудить все это. Я пытался…
Как и Джек, я тоже пытаюсь. И пока с тем же успехом.
#РискиИИ
Джек Кларк нажал кнопку тревоги на слушаниях по ИИ в Конгрессе США.
Все сегодняшние риски – цветочки в сравнении с завтрашними. На проходившей позавчера сессии AI Caucus конгрессмены впервые с высокой политической трибуны услышали правду о рисках ИИ.
Эта правда в том, что:
1. риски ИИ оказались существенно выше, чем предполагалось, и сегодня ни по одному из них нет хоть сколько-нибудь удовлетворительного решения;
2. эти риски предельно усугубляются их абсолютным непониманием общественностью и правительством США;
3. уже в этом году риски ИИ довольно высоки, но буквально через год-другой они станут таковы, что все известные нам сегодня глобальные риски померкнут на их фоне.
Своим выступлением перед конгрессменами Джек Кларк (соучредитель Anthropic, член National AI Advisory Committee (NAIAC); сопредседатель AI Index; сопредседатель OECD Working Group on AI + Compute и т.д.) как будто разбил стекло пожарной сигнализации и нажал на красную кнопку тревоги.
Его выступление оказалось настолько простым и убедительным, что его, похоже, поняли даже конгрессмены (мои читатели могут также прочесть его слайды).
Логика Джека Кларка такова.
1. Скорость развития ИИ-технологий настолько возросла, что не только политики, но и даже сами исследователи ИИ не успевают отслеживать новые ступени прогресса.
Иллюстрируя это, Джек приводит пример 3х препринтов, опубликованных за последние 10 дней, результаты которых принципиально меняют представление о рисках ИИ:
- Tracking the industrial growth of modern China with high-resolution panchromatic imagery: A sequential convolutional approach
- Dataset Bias in Human Activity Recognition
- A Watermark for Large Language Models
2. Из-за этой сумасшедшей скорости общественность и правительства не отдают отчета в том:
- что риски распространения сильно продвинутых ИИ, заточенных на «плохие применения», куда выше, чем осознаваемые и понимаемые риски распространения оружия путем его печати на 3D принтере;
- что риски сесть на иглу пропаганды использующих ИИ правительств и корпораций, куда выше, чем риски тотального оболванивания путем использования ТВ и онлайн-рекламы;
- что из ИИ-лабораторий в любой момент могут утечь такие «плохие» интеллектуальные агенты и инструменты, что утечка био-вирусов покажется пустяковым инцидентом;
- что Китай
а) уже вовсю использует ИИ для укрепления государства;
б) разбирается в этом гораздо лучше, чем вы себе представляете;
с) с каждым месяцем уходит вперед, пока США не поняли уровень рисков.
3. Общественность и правительство находится в плену иллюзий о возможных путях преодоления уже известных рисков.
Все они – по-прежнему, открытые проблемы:
- мониторинг ИИ систем ИИ с помощью самого же ИИ для предотвращения злоупотреблений;
- возможность понимать «логику решений» ИИ;
- Возможность ‘отслеживать’ результаты работы ИИ;
- Возможность сделать системы "беспристрастными" и "непредвзятыми"
Джек Кларк закончил выступление криком вопиющего в пустыне:
• Нормативно-правовая база и рыночный ландшафт побуждают людей не говорить вам и не лгать вам до тех пор, пока что-то не пойдет "на ура’.
• Если вы думаете, что опасности, связанные с ядерным оружием и биологией – самое плохое, просто немного подождите.
• Увы, но среди политиков США нет заметных людей, с которыми можно было бы хотя бы обсудить все это. Я пытался…
Как и Джек, я тоже пытаюсь. И пока с тем же успехом.
#РискиИИ