«Системный Блокъ» запускает подкаст
#podcasts

Наш подкаст — об искусственном интеллекте. Сегодня словосочетание «искусственный интеллект» звучит отовсюду, но не значит примерно ничего. Поэтому наш подкаст называется «неопознанный искусственный интеллект», сокращенно «НИИ». Мы хотим разобраться, что называют искусственным интеллектом сегодня, как работают эти технологии, есть ли там настоящая «интеллектуальность» и появится ли она в будущем.

К нам в «НИИ» приходят люди, причастные к созданию искусственного интеллекта, — программисты, инженеры, лингвисты, математики, а также специалисты и ученые из других областей.

Наши гости

• Татьяна Шаврина, руководитель команды, которая занимается обработкой языка и искусственным интеллектом в Сбере;
• Константин Воронцов, профессор Вышки, профессор МФТИ, профессор РАН;
• Виктор Кантор, chief data scientist в МТС;
• Дмитрий Ветров, профессор, исследователь факультета компьютерных наук Высшей школы экономики

и другие эксперты в области машинного обучения, анализа данных и искусственного интеллекта.

Что мы обсуждаем с гостями

• где потолок развития нейросетей;
• что умеют GPT-2 и GPT-3;
• как понять, что машина стала разумной;
• нужны ли лингвисты для создания «сильного» ИИ;
• и не уничтожит ли такой ИИ человеческую цивилизацию💥

Где нас слушать

Первый выпуск подкаста «НИИ» мы выложим 7 декабря. А пока послушайте наш 3-минутный трейлер и подпишитесь на нас в Яндекс.Музыке или Apple Podcasts. Есть мы и в ВК.

А еще загляните на страничку «НИИ» на сайте «Системного Блока» — там есть дополнительные материалы для всех, кому интересны ИИ, data science и машинное обучение.

​​Первый выпуск подкаста НИИ: как прийти к «сильному» искусственному интеллекту 🤖
#podcasts

Темы первого выпуска

• Что может и чего не может современный «искусственный интеллект»
• Почему у нас нет универсальных роботов-помощников, подобных R2D2, JARVIS и C3PO
• В чем «узкий ИИ» (Narrow AI) еще бесконечно далек от человека
• Нужно ли моделировать ИИ на основе человеческого интеллекта и человеческого мозга
• Чем плох тест Тьюринга и какой тест позволил бы надежно определить интеллектуальность машины
• Почему подкаст называется «Неопознанный искусственный интеллект»
• И главное: что будет происходить в следующих выпусках, когда появятся гости

Хайлайты выпуска

1. Эпоха «узкого» ИИ

Мы живем в эпоху Narrow Artificial Intelligence или узкого искусственного интеллекта. Есть множество машин, которые умеют решать отдельные интеллектуальные задачи: Например, AlphaGo играет в Го, сверточная нейросеть в фотоприложении отличает кошечек от собачек, а антиблокировочная система в автомобиле управляет тормозами и понимает, когда их надо сжимать и разжимать — это тоже весьма интеллектуальная операция.

2. В чем проблема «узкого» ИИ

Узкие ИИ-системы неадаптивны — они не умеют приспосабливаться к разным задачам в процессе своей работы. Узкий ИИ противопоставляется общему или «сильному» ИИ — General Artificial Intelligence. «Сильный» ИИ должен приспосабливаться к новой среде и новым правилам, примерно как это делает человек. Но такого ИИ еще не существует.

3. Как тестировать ИИ на интеллектуальность

Тест Тьюринга слишком зависит от того, кто его проводит и какие вопросы он задает. Этот тест можно усложнить — например, не просто разговаривать с машиной, а пытаться научить ее играть в игру. Причем, любую — даже выдуманную на ходу. В этом суть «теста Старостина». Подробнее о тесте можно послушать в первом выпуске подкаста НИИ.

Где нас слушать или читать

Слушайте выпуск на Яндекс. Музыке, Apple Podcasts, Android Podcasts или в подкастах ВК.
Читайте нашу расшифровку, дополнительные материалы есть на страничке подкаста на сайте «Системного Блока».

​​Как лингвисты делают искусственный интеллект, а компьютер решает ЕГЭ
Второй выпуск подкаста Неопознанный Искусственный Интеллект — с Татьяной Шавриной
#podcasts

В студии подкаста Неопознанный Искусственный Интеллект — Татьяна Шаврина. Лингвист, программист, руководитель команды по обработке естественного языка и искусственному интеллекту в Сбере, соорганизатор AI Journey.

«Лингвистика для нас — центр всего. И программирование, и когнитивные науки, и гуманитарные вещи — все соединяются в ней».

О чем мы поговорили с Татьяной

• Как разработка искусственного интеллекта объединила лингвистику, программирование и когнитивные науки
• Что должен уметь «сильный ИИ» и как его построить
• Должен ли ИИ быть устроен как человеческий мозг
• Как должен быть устроен тест на интеллектуальность
• Чем растущий ребенок отличается от обучающейся нейросети
• Как нейросети решают ЕГЭ
• Как устроен русский SuperGLUE: головоломки для ИИ
• Что такое колониализм в ИИ
• Кого заменят роботы и какие статьи об ИИ стоит почитать

Хайлайты выпуска

1. Каковы критерии «сильного» ИИ

• Мультимодальность: он работает одновременно с информацией из разных источников — текстом, картинками, звуками, — и обрабатывает это все вместе.
• Мультидоменность: он одинаково хорошо работает в разных предметных областях и способен разбираться в новых.
• Адаптивность: он может сам приобретать новые навыки, причем на небольшом количестве примеров — на таком же, как это мог бы сделать человек, или даже меньше.

2. Как оценивают работу новых нейросетей и сравнивают их друг с другом

Когда выходит новая модель, ее оценивают по тому, как она справляется с решением benchmark’ов. Benchmark подразумевает, что у нас есть несколько типов заданий, у каждого из которых есть свой набор данных — в нем тренировочная выборка и тестовая. Тестовая выборка может быть открыта, а может быть скрыта. После оценки нейросеть добавляют в рейтинг, чтобы увидеть, где произошел прорыв, а где — просадка по качеству.

3. Как проявляется колониализм в цифровой среде

Происходящее в data science и вообще в интернет коммуникациях можно объяснить колониальной экономикой и политикой. Кто первый построил новую инфраструктуру, тот выкачивает все дорогостоящие данные, устанавливает свои правила и облагает остальных пользователей налогами.

Где нас слушать или читать

Слушайте выпуск на Яндекс. Музыке, Apple Podcasts, Google Podcasts или в подкастах ВК.

Расшифровка и дополнительные материалы — на странице подкаста на сайте «Системного Блока».

​​Как обучать датасаентистов, играя в шляпу
Третий выпуск подкаста Неопознанный Искусственный Интеллект — с Виктором Кантором
#podcasts

В студии подкаста — Виктор Кантор. Виктор руководит Data Science в МТС и преподает машинное обучение. Виктор — соавтор популярной специализации по машинному обучению на Coursera, преподает в вузах и на офлайн-курсах по машинному обучению «Data Mining in Action».

Мы пригласили его в наш подкаст, чтобы обсудить преподавание Data Science, развитие технологий машинного обучения и, конечно, будущее искусственного интеллекта.

О чем мы поговорили с Виктором

• Как обучать крутых датасаентистов;
• Как распознать инфоцыган, продающих некачественное образование
• Чем отличаются Data Mining, машинное обучение и Data Science;
• Возможен ли сильный искусственный интеллект;
• Что мешает преодолеть «узость» ИИ и так ли универсален человеческий мозг;
• Как научить робота ловить рыбу и будем ли мы программировать на естественном языке;
• Как стать крутым преподавателем Data Science и чем помогает игра в шляпу;
• Как запускать космические корабли в далеком будущем;
• Кто самый крутой русский датасаентист и о чем говорить с искусственным интеллектом.

Хайлайты выпуска

1. Как развивать General Artificial Intelligence

Наука не развивается по плану: для того, чтобы развивать General Artificial Intelligence, не обязательно верить, что-то получится, и не обязательно знать заранее, что мы воспринимаем как GAI. Можно просто решать больше задач, которые сейчас кажутся неподъемными, и постепенно приходить в ту точку, когда то, что получится, люди назовут General Artificial Intelligence.

То есть постепенно мы будем закрывать все больше узких задач, и постепенно у нас будут появляться алгоритмы, которые будут такое количество узких задач решать, что нам уже не так принципиально будет, что все они такие узкие.

2. На каком языке мы общаемся с ИИ

Чтобы роботы выполняли наши задачи, нам нужно уметь формулировать их так, чтобы их можно было выполнить в точности. На естественном языке можно выразить любой, доступный человеку смысл, но и интерпретировать его можно по-разному. General AI, наверное, должен сам уметь что-то делать с недостаточно точно сформулированной задачей.

Однако узкие ИИ так не умеют, поэтому мы пока перебираем разные возможные языки общения. Один из языков общения — обучающая выборка, примеры. ИИ учится на них, а мы ему говорим, что надо оптимизировать. Другой язык общения — среда, которая позволяет ИИ действовать определенным образом и периодически выдает ему фидбек, вознаграждает за какие-то действия. Это называется Reinforcement Learning, или обучение с подкреплением.

3. Что важно для преподавателя в Data Science

Будучи преподавателем, главное, себя не обманывать — понимать, какой у тебя есть реальный опыт и стараться учить в рамках него, а не пытаться себя выдавать за того, кем ты не являешься.

К преподаванию мотивирует осознание того, что ты вроде бы приходишь просто лекцию читать, но если делаешь это действительно хорошо — получается, что на самом деле в будущем запускаешь корабли в космос. Потому что сформированные с твоей помощью крутые специалисты и будут менять наше будущее.

Где нас слушать или читать

Слушайте выпуск на Яндекс. Музыке, Apple Podcasts, Google Podcasts или в подкастах ВК.

Расшифровка и дополнительные материалы — на странице подкаста на сайте «Системного Блока».

​​Как строить искусственный интеллект и не погубить человеческую цивилизацию
Четвертый выпуск подкаста Неопознанный Искусственный Интеллект — с Константином Воронцовым
#podcasts

В студии — Константин Воронцов, профессор Физтеха и Вышки, доктор физ.-мат. наук, человек, который занимается анализом данных, машинным обучением и искусственным интеллектом с начала 90-х.

Мы пригласили Константина в наш подкаст, чтобы обсудить потребность цивилизации в сильном ИИ, потолок развития нейросетей и столкновение интересов датасаентистов и специалистов службы безопасности.

О чем мы поговорили с Константином

• В чем революция глубинного обучения;
• Водитель машины как гибридная система машинного обучения;
• Этап «братьев Райт» в глубинном обучении: смотрим, что взлетит;
• Кошмар службы инфобезопасности: обучение на реальных потоковых данных;
• Почему комар все еще умнее беспилотника;
• «Мы роем себе могилу»: чем опасна мечта о сильном ИИ;
• Можно ли сделать универсального помощника;
• Человек versus нейросеть: сколько примеров нужно для обучения нам самим;
• Когда мы уже начнем понимать, что происходит внутри нейросетей.

Хайлайты выпуска

1. На каком этапе развития машинного обучения мы сейчас находимся

Cо стороны может показаться, что развитие методов машинного обучения и deep learning'a происходит по одному сценарию: 1) собрали датасет, 2) применили нейросеть с несколько модифицированной структурой, 3) получили результат, 4) рассказали сообществу, насколько улучшились показатели.

Это может выглядеть как хаотичное экспериментаторство, но его ценность — в сборе метаинформации. В нашем случае о том, какие нейросетевые архитектуры в каких задачах оказались успешными. При этом нам также необходимо огромное количество отрицательных экспериментов. Этот этап — начальный для любой строгой науки, им шли и физика, и биология, и др.

2. По какому пути развития пойдет машинное обучение

Обучаемые системы перейдут от обучения на статичных и предобработанных данных к обучению на разнородных непредобработанных потоковых данных. Уже есть алгоритмы, которые хорошо приспособлены для работы с потоками данных — это градиентные методы.

Дата-аналитики больше не будут переносить данные в удобную среду, а будут сидеть в живых продакшн-системах со специальной безопасной средой для экспериментирования с новыми моделями. Так как службы безопасности не готовы подпускать к данным своих компаний ученых со стороны, учеными будут становиться сами сотрудники.

3. В чем предназначение ИИ

Предназначение искусственного интеллекта — это автоматизация, выполнение рутинной работы. Тогда человек будет творить, заниматься смыслами, придумывать цели, идеи и видение, а все рутинные задачи будет выполнять его персональный ИИ-помощник.

Для создания такого автоматического секретаря широкого профиля у нас уже все есть — надо расширять датасеты, работать с мультимодальными данными, обеспечивать их полноту и решать много отдельных задач, после чего собирать множество решений в одно. Однако надо посчитать, не окажется ли это слишком дорого и энергетически затратно, а потому — нерентабельно.

Где нас слушать или читать

Слушайте выпуск на Яндекс. Музыке, Apple Podcasts, Google Podcasts или в подкастах ВК.

Расшифровка и дополнительные материалы — на странице подкаста на сайте «Системного Блока».

​Взгляд на ИИ из Кремниевой долины
Пятый выпуск подкаста Неопознанный Искусственный Интеллект — с Николаем Любимовым.
#podcasts

Николай сменил работу в Яндексе на ИИ-стартап в Кремниевой долине. Мы узнали у Николая, почему разметка данных — узкое горлышко в развитии ИИ и горячая тема для стартапов, как обстоят дела с самопрограммирующимися нейросетями и когда роботы начнут основывать коммерческие компании без людей.

В этом выпуске:

00:57 — О госте
02:29 — Почему диплернинг называется диплернингом
03:44 — «Узкое горлышко» разметки данных в современном ИИ
07:00 — Современный ИИ глазами стартапера из Кремниевой долины
14:35 — ИИ без «железного человека» и «звездных войн»: как ставить задачу четко
23:02 — ИИ для беспилотников: на чем обучать?
26:03 — Должен ли сильный ИИ говорить по-человечески?
35:44 — Фантазируем о мире, в котором победил ИИ
40:49 — Умерла ли «старая школа» ИИ
51:20 — Можно ли прийти к ИИ через моделирование мозга: нейрофизиология и антропоморфность
53:05 — Самоорганизующийся ИИ и самопрограммирующиеся нейросети

Хайлайты выпуска

1. Почему разметка — горячая тема

Интеллектуальность современных систем машинного обучения сильно связана с «интеллектуальностью» данных, на которых они обучались. Поэтому часто разработка умных нейросетей упирается в простой человеческий труд по разметке и сортировке данных.

Этот труд можно сделать быстрее с помощью … опять-таки машинного обучения. Например, можно не просто размечать данные, а постоянно оценивать, какие примеры нужнее всего, какие дадут наибольший прирост в качестве вашей модели. Разработка таких систем «активного обучения» — горячая тема в современном Data Science.

2. Симуляция реальности — как путь к более мощному искусственному интеллекту

Робота-помощника можно аккуратно приучать к существованию в сложной среде. Чтобы среда постепенно приближалась по сложности к реальному миру. Например, для начала — внутри персонального компьютера.

Разрешить такому роботу читать, копировать и записывать файлы — и пусть учится принимать разнообразные команды. Постепенно расширяя их спектр. Но «надо аккуратно, чтобы он не взломал Пентагон сразу».

3. Чего ждать от будущего

Прорыв произойдет, когда роботы научатся выполнять большие составные задачи, разбивая их на подзадачи и самостоятельно находя пути к решению. Например, когда робот сможет выполнять роль младшего разработчика: прочитать задание на естественном языке, понять, какую программу написать, какие данные запросить, как эта программа будет взаимодействовать с уже имеющимися системами внутри и вне компании и т.п. Важна именно способность такого робота оперировать в большой и сложной среде вокруг него, ничего не разрушая.

А закончится все тем, что «появятся peopleless-компания, которые основаны искусственным интеллектом».

Слушайте выпуск на Яндекс. Музыке, Apple Podcasts, Google Podcasts или в подкастах ВК.

Расшифровка и дополнительные материалы — на странице подкаста на сайте «Системного Блока».

​​Что не так с современным машинным обучением?
Шестой выпуск подкаста Неопознанный Искусственный Интеллект — с Дмитрием Ветровым
#podcasts

Почему современное машинное обучение стоит «примерно на уровне естественных наук XVIII века»? Могут ли нейросети начать закреплять внутри себя выученные знания? Почему опасно игнорировать необъяснимые «странности» нейросетей? В новом выпуске подкаста «Неопознанный искусственный интеллект» мы поговорили с Дмитрием Ветровым — профессором-исследователем НИУ ВШЭ, заведующий Центром глубинного обучения и байесовских методов.

В этом выпуске:

01:32 — Что такое байесовские методы и зачем они в машинном обучении
07:45 — Машинное обучение как «недонаука»: современное состояние ИИ
10:18 — Вредят ли корпорации поиску новых методов машинного обучения
12:29 — GPT-3, мультидоменный ИИ, «сильный» ИИ
18:29 — Когда можно доверить ИИ судьбоносные решения
20:57 — Смена технологической парадигмы в разработке ИИ
22:28 — Стоит ли помнить про онтологии и возможны ли гибриды нейросетей и символьного ИИ
25:19 — Как открыть «черный ящик»: проблема интерпретируемости нейросетей
28:06 — Пересадка из Яндекс.Такси в Яндекс.Толоку: разметка данных для машинного обучения
31:08 — Должен ли ИИ быть похож на мозг, а его разработчики — следовать за открытиями нейрофизиологов?
33:33 — Чем заменить тест Тьюринга.
40:42 — Блиц: самые крутые книжки и самые эпичные провалы в области ИИ

3 самые крутые книжки по мнению Дмитрия

1. Christopher M. Bishop — Pattern Recognition and Machine Learning
2. Kevin P. Murphy — Machine Learning: A Probabilistic Perspective
3. David J. C. MacKay — Information Theory, Inference and Learning Algorithms

Хайлайты выпуска

Если классическую статистику можно сравнить с классической физикой, то байесовские методы — своеобразная квантовая механика в области машинного обучения и матстатистики.

Хотя нейросети работают хорошо, есть большая проблема — сложно теоретически обосновать их работу. Нейросетевые модели содержат миллионы параметров, а обучаются по выборкам размером в десятки или сотни тысяч объектов. Размер обучающей выборки меньше, чем число весов нейронной сети. Классическая статистика здесь неприменима. А вот байесовская может помочь.

Когда нейросеть обучилась на какой-то выборке до предела и доля ошибок перестает падать, внутри нейросети продолжают происходить интересные процессы. Их можно назвать "консолидацией": уже выученная информация переупаковывается в более эффективном виде. Нейросеть как бы пытается упростить выученные закономерности, выразив их менее сложным образом.

Где слушать?

Слушайте выпуск на Яндекс. Музыке, Apple Podcasts, Google Podcasts или в подкастах ВК.

Расшифровка и дополнительные материалы — на странице подкаста на сайте «Системного Блока».

​​Почему искусственный интеллект врет и как его от этого отучить
Седьмой выпуск подкаста Неопознанный Искусственный Интеллект — с Давидом Дале
#podcasts

Давид закончил экономфак, строил модели кредитного скоринга в Альфа-банке, делал проекты в Data Factory «Яндекса», а потом работал над «Алисой». Теперь Давид — фриланс-разработчик чатботов, преподаватель Y-DATA (филиал ШАД Яндекса в Тель-Авиве) и научный сотрудник «Сколтеха».

В этом выпуске

01:24 — Путь датасайнтиста из корпорации во фриланс
06:34 — Как устроен мир разработки чат-ботов и персональных ассистентов
09:06 — Что такое «навыки» чатботов и как их программируют?
11:33 — Можно ли придумать для персональных ассистентов единый протокол
16:39 — Почему всех впечатляет нейросеть GPT-3
22:43 — Как работает GPT-3 и что позволяет ей порождать связный текст
28:00 — Как тестировать интеллектуальность нейросетей
32:54 — Где нужны гибридные подходы к построению интеллектуальных систем
44:34 — Зачем делать студию разработки персональных ассистентов
46:30 — Как устроено преподавание в Y-DATA

Хайлайты выпуска

1. Меньше обучения

Разработчики моделей машинного обучения стремятся урезать этап обучения, иногда почти до нуля. Языковая модель BERT перевернула область NLP, потому что умеет дообучаться с относительно небольшого количества примеров за счет тех знаний, которые она уже накопила. Происходит few-shot learning, когда с нескольких примеров модель может подхватить задачу.

Создатели моделей GPT ещё амбициозней — они хотят сделать zero-shot learning. Модель ни разу не пыталась решить конкретную задачу в процессе обучения (например, задачу машинного перевода), но улавливает эту поставленную задачу на лету с первого примера.

2. Современный рынок диалоговых агентов

Разработка чат-ботов, персональных ассистентов и навыков к ним — растущая область. Особенно в области автоматизации колл-центров, запросов к сервисам покупки билетов и другим масштабируемым сервисам. Но часто чат-боты и навыки — это не про Data Science, а про то, чтобы сделать хороший продукт с диалоговым интерфейсом. Data Science там может и не быть.

Где нас слушать или читать

Слушайте выпуск на Яндекс. Музыке, Apple Podcasts, Google Podcasts или в подкастах ВК.

Расшифровка и дополнительные материалы — на странице подкаста на сайте «Системного Блока».

​​Виден ли конец «нейронного блицкрига»: компьютерные лингвисты между вычислением и теорией

Восьмой выпуск подкаста Неопознанный искусственный интеллект — с Денисом Кирьяновым
#podcasts

Денис работает в SberDevices, он — один из создателей семейства голосовых помощников «Салют».

В этом выпуске:

01:33 — как делали голосовых помощников «Салют»
03:25 — чем машина все еще хуже человека: проблема целеполагания
06:53 — «писули» от «волшебной машины»: почему GPT-3 генерирует фейковые факты и выдуманные названия рок-групп
10:50 — как сделать персональных помощников более человекоподобными: проактивные ИИ-зануды
14:22 — как машине научиться делать то, чего она никогда не видела
16:55 — конец нейронного блицкрига: «забрасывать железом» компьютерно-лингвистические задачи больше не модно
17:59 — применение лингвистики в разработке голосовых помощников
19:07 — вычислительная лингвистика versus лингвистическая теория
24:30 — лингвисты между двумя стульями: преодолим ли разрыв между теоретиками и компьютерщиками
28:24 — что могут дать компьютерные модели теоретическим лингвистам
31:22 — когда нейросети начнут создавать новые теории
39:31 — ИИ будущего и межкультурные различия
40:54 — как должно быть устроено образование в области автоматической обработки языка
43:42 — Data Science в курятнике и кибер-village

Хайлайты выпуска

1. О «волшебстве» GPT-3

GPT-3 позиционируется как машина, которая может решать много разных задач. Если написать начало стихотворения — модель может продолжить в стихах. Если подать пары фраз на русском и английском — GPT-3 продолжит переводить. А если показать, как превращать длинный текст в короткий, модель научится делать и это.

Поэтому GPT-3 часто называют «универсальным решателем задач». Однако, качество работы GPT-3 пока отстает от человеческого на десятки процентов. Она может иногда сгенерировать хороший и правдивый текст, но в любой момент может породить и фейк. Поэтому GPT-3 сложно считать по-настоящему умной моделью.

2. Об обучении языковых моделей

Исследователи пришли к выводу, что для дальнейшего развития нейросетевых моделей недостаточно только количественных изменений — увеличения мощности серверов или размера корпуса, на котором обучается модель.

Нужно привносить что-то новое в архитектуру — искать способы передать машине больше знаний о реальном мире в каком-либо формальном представлении. Например, с помощью «графов знаний» (knowledge graphs).

3. О взаимосвязи между теоретической и компьютерной лингвистикой

Вопрос о том, как лингвистика поможет NLP, стоит давно, и им занимается много людей. А вот обратный вопрос — как NLP поможет понять что-то фундаментально новое о языке — пока менее популярен.

Сейчас ученые пытаются расшифровать «черные ящики» внтури языковых моделей: появляются статьи о том, что на одном из слоев BERTа находится нечто, похожее на синтаксис, на другом — нечто, похожее на морфологию, и т. д. Вероятно, векторные представления значений, с таким успехом применяемые в NLP, также могли бы обогатить такую область лингвистики, как семантика.

Где нас слушать или читать

Слушайте выпуск на Яндекс. Музыке, Apple Podcasts, Google Podcasts или в подкастах ВК.

Расшифровка и дополнительные материалы — на странице подкаста на сайте «Системного Блока».

​​Как видят мир беспилотники и почему «обучение с учителем» сломано
Девятый выпуск подкаста Неопознанный искусственный интеллект — с Борисом Янгелем
#podcasts

Борис Янгель работает в команде беспилотных автомобилей «Яндекса». Мы поговорили с ним о том, нужна ли полноценная интеллектуальность для создания беспилотника, в чем проблема обучения с учителем и почему сырая мощь вычислений постоянно оказывается «серебряной пулей», которая побеждает любые эвристики.

В этом выпуске

02:52 — Что такое искусственный интеллект сегодня
07:01 — Что происходит в мире компьютерного зрения и как может работать нейросеть DALL·E
13:10 — Почему грубая сила вычислений всегда побеждает
17:01 — Как обстоят дела с генерацией музыки и видео по описанию
18:38 — Computer vision, беспилотники и компьютерное понимание происходящего на дороге
21:09 — Критерии интеллектуальности машины
23:49 — Почему машинное обучение с учителем сломано
30:59 — Как решать задачи бенчмарка ARC от Франсуа Шолле
38:10 — Как обучаются беспилотники
43:19 — Нужен ли AGI для создания беспилотных автомобилей
47:04 — Стоит ли пытаться копировать природу при создании ИИ
49:28 — Как стыкуются Alpha Go и Дэниэль Канеман
54:54 — Актуальна ли проблема вагонетки для современных разработчиков беспилотных автомобилей
1:08:06 — Блиц: советы начинающим ML-специалистам, сериалы про ИИ, о чем говорить с компьютерным разумом
01:00:47 — Резюме выпуска: что мы поняли в беседе с Борисом Янгелем
01:12:19 — Финал выпуска

Хайлайты выпуска

1. Ограничения машинного обучения в беспилотных автомобилях

Наблюдая за тем, как кто-то ездит, машинное обучение не может выучить, что нельзя ехать в стену. Потому что почти никто никогда не ездит в стену. Модель никогда не будет уверена, пока ты не поедешь в стену. Или пока кто-нибудь не скажет: «Нет, в стену ездить нельзя». И роль такой фразы выполняет специальный язык, в котором можно описать такие ограничения: что бы ты ни делал, в стену ездить нельзя.

2. Сырая мощь вычислений остается «серебряной пулей» машинного обучения

И на GPT-3, и на DALL·E было потрачено огромное количество вычислений. Мы тратим больше вычислений — мы получаем лучший результат. Пока никаких нарушений этого принципа, кажется, не было видно.

Пару лет назад Ричард Саттон, один из отцов-основателей Reinforcement Learning, написал такое мини-эссе, которое называется «Горький урок» — The Bitter Lesson. Оно о том, что принцип «больше вычислений и универсальней модель» побеждает все в машинном обучении, и ничего с этим нельзя сделать.

3. Почему классическое машинное обучение с учителем сломано

Классические методы машинного обучения сильно опираются на корреляции и хуже умеют понимать причинно-следственные связи. Из-за этого мы можем случайно выучить некое совпадение признаков (например, употребление кофе и рак легких) и принять его за зависимость.

Неумение работать с причинно-следственными связями ограничивает то, насколько наши системы способны к обобщению. А еще это делает модели уязвимыми к adversarial атакам, когда небольшой шум в данных заставляет модель ошибаться в очевидном для человека случае.

Где нас слушать или читать

Слушайте выпуск на Яндекс. Музыке, Apple Podcasts, Google Podcasts или в подкастах ВК.

Расшифровка и дополнительные материалы — на странице подкаста на сайте «Системного Блока».