Релиз GPT-4 может состояться уже на следующей неделе

"Мы представим GPT-4 на следующей неделе. У нас есть мультимодальные модели, которые будут предлагать совершенно другие возможности — например, видео", — сообщил Андреас Браун, технический директор Microsoft в Германии и Lead Data & AI STU.

9 марта 2023 г. четыре сотрудника Microsoft в Германии представили большие языковые модели как революционную силу для своей компании. Мероприятие проходило на немецком языке.

Новость
@karray

Небольшое дополнение к посту выше про исследование восприятия людями и нейронками текстов.

Авторы статьи замечают, что многие части мозга устроены иерархически. На это указывают многие исследования (тык, тык). То есть, например, за восприятие текста отвечают несколько отделов — извилина Хешля, верхняя височная извилина и несколько других. При этом разные части мозга отвечают за разные процессы в восприятии текста. Так, извилина Хешля и другие области верхней височной коры отвечает за обработку низкоуровневой информации — акустики, фонем, синтаксиса и локальной семантики. А нижнелобные и теменные области преимущественно отвечают за высокоуровневую, семантическую информацию в тексте.

Как же это переносится на языковые модели? В целом, из того, как устроены нейросети, мы знаем, что начальные слои сети преимущественно обрабатывают низкоуровневую информацию входных данных, а дальние слои — высокоуровневую. Авторы статьи поставили эксперимент: обучали регрессию предсказывать fMRI активации разных частей мозга на основе разных слоев GPT-2. И действительно, оказалось, что fMRI извилины Хешля лучше приближается первыми слоями GPT-2, а fMRI нижнелобных и теменных областей — дальними слоями.

Но и это еще не все. Был еще такой эксперимент: ученые взяли активации слоев GPT-2 и разделили их на два вектора — вектор X, содержащий низкоуровневую информацию о тексте, и вектор Y, содержащий высокоуровневую информацию. Сделали они это так: сгенерировали 10 предложений с одинаковой синтаксической конструкцией (общей информацией), и разными словами (локальной информацией). Получили активации GPT-2 на 10 этих предложений и усреднили их, получив вектор X. А векторы Y — это векторы-активации слоев минус X.
И дальше обучали регрессию восстанавливать fMRI разных частей головы на основе этих векторов. Снова оказалось, что fMRI извилины Хешля лучше приближается векторами Y локальной информации, а fMRI нижнелобных и теменных областей — вектором общей информации X.

Насколько я понимаю, последний эксперимент показывает не столько связь в идее обработки текста между GPT-2 и мозгом, сколько служит еще одним признаком того, что разные части мозга отвечают за разный уровнень восприятия текста. Вот так с помощью нейронки можно что-то там хорошее понять про мозг)

Но это дополнение я писала не только из-за этих двух экспериментов, а еще потому, что тут снова возникает идея иерархии. Я об идеях иерархической структуры в нейронках писала летом 2022 года, когда Ян ЛеКун выпустил свою статью с мыслями о том, как должен быть устроен AGI. Одна из основных идей работы ЛеКуна — иерархия. Это тогда вдохновило меня подумать, собрать мысли насчет нейронок и структуры в них в кучу, и написать про это большой пост на Хабре.
Общая мысль такая: кажется, современные нейросети (даже самые большие и классные) в процессе обучения не особо выучивают понятие структуры объектов и сущностей. С другой стороны, кажется, что структурное иерархическое восприятие сильно помогает людям взаимодействовать с миром. Отсюда возникает идея, что внедрение в нейросети структурного восприятия могло бы помочь им лучше решать сложные задачи.
И в статье на Хабре я подробнее описала то, почему структура важна, почему нейросети структуру не понимают и как это можно пытаться исправить.

А при чем тут эта статья от Meta AI— да просто при том, что это еще один эвиденс, что структурное иерархическое восприятие в человеке есть, и даже на уровне устройства мозга =)

В последнем выпуске Южного Парка катком (в своем стиле) прокатились по ИИ.

S26:E4 ChatGPT, Dude

Я так понимаю GPT-4 будет анонсирована сегодня, следим за новостями в твиттере Сэма

GPT-4

OpenAI выпустили GPT-4, последнюю веху в их усилиях по расширению возможностей глубокого обучения. GPT-4 - это большая мультимодальная модель (принимающая изображения и текст на входе, выдающая текст на выходе), которая, хотя и хуже человека во многих реальных сценариях, демонстрирует производительность на уровне человека в различных профессиональных и академических тестах.

Подробности тут
Есть еще статья на 98 страниц

В 13:00 PT будет live demo для разработчиков

Все что мы понимаем про GPT-4 на данный момент

Яник выпустил обзор на все что мы знаем про GPT-4, посмотреть можно тут.

Потенциал больших языковых моделей в образовании

Недавно некоторые школы запретил использование ChatGPT, но эксперты утверждают, что это ошибка. Они считают, что LLM смогут предложить возможности для обеспечения равенства в образовании, помочь людям с ограниченными возможностями и имеют потенциал для персонализированного обучения.

Мы уже писали о том, что ChatGPT смог успешно пройти медицинский тест. Но авторы статьи делают акцент на том, что ChatGPT может помочь лучше понять материал и подготовиться к экзаменам.

И вот, вместе с анонсом GPT-4, были представлены первые партнеры, которые работают над интеграцией GPT-4 в свои сервисы.

Khan Academy разработала помощника под названием Khanmigo, который будет выступать в качестве виртуального наставника для студентов и помощника в классе для учителей. Например, он может задавать студентам индивидуальные вопросы, чтобы стимулировать более глубокое изучение материала. Учителя смогут создавать индивидуальные программы для каждого студента, а также отслеживать их успеваемость (к сожалению, wait list пока открыт только для жителей США).

В Duolingo, приложение для изучения языков, наконец-то добавили что-то полезное. Используя GTP-4 был создан собеседник с искусственным интеллектом, и функция "Объясни мой ответ", которая объясняет правила, когда пользователь допускает ошибку. Эти нововведения будут доступны для испанского и французского языков, а позже планируя добавить и другие языки. Команда видит в GPT-4 потенциал для обеспечения более эффективного и увлекательного обучения.

@karray

Microsoft сегодня официально рассказал об интеграциях ИИ-решений от OpenAI в свои продукты. Компания продолжает использовать удачную и вполне прижившуюся метафору «второго пилота» — она как про то, чтоб сохранить за пользователем уверенность, что командир воздушного судна-то по-прежнему он. Итак, встречайте Microsoft 365 Copilot.
Местами, правда возникают вопросы. Очень круто и реалистично выглядит посыл «Люди в основном используют процентов 10 возможностей PowerPoint; Copilot даст им возможность использовать остальные 90». Чуть хуже выглядит капитан, знающий и умеющий в разы меньше помощника :)
Но сам по себе подход безусловно правилен, как ни назови, и перспективы улучшения работы многих миллионов пользователей офисного софта выглядят впечатляюще. Но куда сильнее может поменять жизнь, если приживется, Business Chat — универсальный личный помощник, работающий и с документами, и с сервисами (например, календарем), и с коммуникацией с другими людьми. Вот здесь пахнет не улучшением и ускорением, а большими изменениями рабочих процессов :)
https://www.microsoft.com/en-us/microsoft-365/blog/2023/03/16/introducing-microsoft-365-copilot-a-whole-new-way-to-work/

Ух, встретился сегодня с Эмадом из Stability AI. Следите за их анонсами 🤯

Рассылка про промптинг

Вот уж не знаю насколько это инфоциганство или нет, но на просторах твиттера мне попалась вот такая рассылка.

Если вдруг подпишитесь - дайте знать: дельная или такое себе.

Рассылка

Восстановите древнюю библиотеку из вулканического пепла и выиграйте $250000

Vesuvius Challenge — это соревнование по машинному обучению и компьютерному зрению для чтения и восстановления текстов из папирусов Геркуланума, которые были погребены извержением вулкана в 79 году н.э.

Ученые долго бились над задачей по распознаванию древних свитков. В начале 2023 года лаборатория доктора Силза из Университета Кентукки совершила прорыв: их модель машинного обучения успешно распознает чернила на рентгеновских снимках, демонстрируя возможность применения виртуальной развертки к свиткам Геркуланума.

Спустя 275 лет древняя загадка папирусов Геркуланума превратилась в программную проблему, которую вы можете помочь решить!

Больше информации и регистрация по ссылке

@innovationitsme

ИИ новости недели от Яника

Наблюдая за реакцией мира на современные достижения искусственного интеллекта (AI), в частности на GPT-4 и ChatGPT, был замечен такой парадокс: людям нравится писать текст с помощью AI, но при этом, людям неинтересно читать текст написанный AI. Для меня это тоже так, поэтому мне стало интересно поставить такой вопрос: важно ли то кем был создан продукт, человеком или AI?

Ответить на вопрос проблематично, так как проводить сравнение AI и человека с практической точки зрения не имеет смысла. Такое сравнение, равносильно сравнению двух людей, или двух AI, один из которых выполняет работу лучше другого. Поэтому, чтобы выявить есть ли вообще разница, или все упирается в практическую значимость, попробуем создать равные условия для сравнения. https://telegra.ph/V-preddverii-toski-po-nastoyashchemu-03-14

@MayDays30

Генератор несуществующих профессий будущего

Рынок труда меняется и за этим может быть тяжело наблюдать. Вот вам копинг (coping) инструмент.

Поделитесь в комментах, кто какую работу мечты увидел?
Я начну: планирую квантово-синхронизированно танцевать👯‍♀️📻

🌚 Тык
@GingerSpacetail

GPT (Generative Pre-trained Transformers) как технология общего назначения (General Purpose Technology)

GPT проходит человеческие тесты все более уверенно. Более того, LLM удовлетворяет трем основным критериям технологии общего назначения: улучшается с течением времени, повсеместно проникает в экономику и способна порождать дополнительные инновации.

Поэтому опубликованное сегодня исследование мотивировано не столько прогрессом самих языковых моделей, сколько широтой возможностей разработанных вокруг LLM технологий.

Большия языковые модели имеют потенциал для управления другими цифровыми инструментами (API, поисковые системы, другие генеративные нейронки и т.д). В долгосрочной перспективе выглядит, что LLM могут решать любую задачу, обычно выполняемую на компьютере.

Анализ показал, что примерно 19% человеческих профессий (на US рынке труда) имеют не менее 50% задач, подверженных серьезному влиянию LLM и их производных.

Профессии и скилы брали из базы O*NET и ранжировали по способности GPT-like моделей ускорить выполнение задачи хотя бы на 50%.

Наиболее защищены навыки, связанные с ручным трудом, а так же научным и критическим мышлением (сюда не входит программирование, если что). Минимально задетые LLM отрасли: обрабатывающая, горнодобывающая промышленность и сельское хозяйство.

Даже не знаю, кого уместнее процитировать, Шнура с лопатой или Пушкина с торжествующим крестьянином...

Бонус - в комментах список из 34 профессий, в которых ни одна профессиональная задача не "пострадала" с появлением LLM.

📰Статья
@GingerSpacetail

Adobe Firefly

Adobe наконец то включились в гонку генеративных моделей и выпустили Светлячка - генеративную сетку, которая обещает стать следующей эволюционной ступенькой в создании контента.

Поиграть (ну точнее вписаться в waitlist) можно тут

Почитать подробнее

Ultrasound challenge на CVPR

18 июня в рамках самой узнаваемой конференции по машинному обучению в области компьютерного зрения - CVPR, пройдет воркшоп по применению глубокого обучения в анализе ультразвукового изображения. Это такая штука немного похожая на сейсмику.
И там же будет челлендж по сегментации 3D объекта, а точнее его сетки, из ультразвукового изображения с помощью глубокого обучения. Прям как выделение геологических тел из сейсмических данных. Первый приз 5000 канадских долларов 🤑.

Если интересен сам воркшоп - сюда
За участием в челлендже - сюда.