Forwarded from Малоизвестное интересное
Дуэль ИИ и человека на вершине творчества.
Кто лучше пишет - признанный писатель или ИИ?
Эта 1я приятная для человечества новость за несколько лет творческого соревнования людей с искусственным интеллектом машин.
До сих пор, как это ни обидно для людей, игра шла в одни ворота.
• Началось это еще в конце прошлого века с сенсационного проигрыша тогдашнего шахматного чемпиона мира машине. Ну а сегодняшние чемпионы мира уже и не пытаются выиграть у машин, ибо машины по классу игры ушли далеко вперед.
• А когда дошло до творческого предсказания трехмерной структуры 214 миллионов белков, выяснилось, что здесь нечего ловить уже и всему человечеству (людям бы потребовалось на это 80+ млн лет!).
Однако, по состоянию на этот год, все же оставался один не взятый ИИ творческий бастион. Самый высший по людским меркам – литература. Хотя и, казалось бы, самый сподручный для ИИ на основе больших языковых моделей (LLM), ибо здесь они играют на своем = языковом поле.
Сообщения о результатах исследований, где LLM превосходят среднестатистических людей в широком спектре задач, связанных с языком, стали рутиной, и творческое письмо не является исключением.
Поэтому возникает естественный вопрос: готовы ли LLM конкурировать в навыках творческого письма с лучшим (а не средним) романистом?
Чтобы получить ответ на этот вопрос, группа испанских исследователей устроила соревнование в духе дуэлей ИИ и человека, типа DeepBlue против Каспарова и AlphaGo против Ли Сидоля.
Это была дуэль между
• Патрисио Проном - признанный на мировом уровне аргентинский писатель, чьи произведения переведены на многие языки, обладатель нескольких национальных и международных литературных наград, которого критики считают одним из лучших в своем поколении испаноязычным писателем.
• и GPT-4 - одной из лучших в мире сегодняшних LLM, обладающей множеством наивысших экспертных оценок в широком спектре творческих тестов и уже доказавшей свои способности достигать и превосходить среднестатистический уровень людей при выполнении отдельных видов профессиональной деятельности.
Организаторы попросили Прона и GPT-4 предложить по тридцать заголовков, а затем написать рассказы как на свои заголовки, так и на заголовки соперника.
Затем авторы исследования подготовили оценочную шкалу, вдохновленную определением креативности философа Маргарет Боден, назвавшей творчество «фундаментальной особенностью человеческого интеллекта и неизбежным вызовом для интеллекта искусственного».
И наконец, были собраны 5400 оценок, проставленных литературными критиками и учеными.
Результаты этого эксперимента показали:
✔️ LLM все еще далеки от того, чтобы бросить вызов лучшим писателям из вида Homo sapiens.
✔️ По шахматным меркам, в писательском деле LLM не то что до гроссмейстера, но и, похоже, до мастера не дотягивает ни по одному из критериев оценки: привлекательность, оригинальность, креативность, собственный голос, возможность включения в антологию.
✔️ Достижение топового человеческого уровня навыков творческого письма, вероятно, не может быть достигнуто просто увеличением размеров языковых моделей.
И это значит, что мы еще с LLM поборемся за звание «венец творения» среди носителей высшего интеллекта на Земле 😊
Картинка https://telegra.ph/file/46a4fae677a99b8926088.jpg
Статья https://arxiv.org/abs/2407.01119
#LLMvsHomo
Кто лучше пишет - признанный писатель или ИИ?
Эта 1я приятная для человечества новость за несколько лет творческого соревнования людей с искусственным интеллектом машин.
До сих пор, как это ни обидно для людей, игра шла в одни ворота.
• Началось это еще в конце прошлого века с сенсационного проигрыша тогдашнего шахматного чемпиона мира машине. Ну а сегодняшние чемпионы мира уже и не пытаются выиграть у машин, ибо машины по классу игры ушли далеко вперед.
• А когда дошло до творческого предсказания трехмерной структуры 214 миллионов белков, выяснилось, что здесь нечего ловить уже и всему человечеству (людям бы потребовалось на это 80+ млн лет!).
Однако, по состоянию на этот год, все же оставался один не взятый ИИ творческий бастион. Самый высший по людским меркам – литература. Хотя и, казалось бы, самый сподручный для ИИ на основе больших языковых моделей (LLM), ибо здесь они играют на своем = языковом поле.
Сообщения о результатах исследований, где LLM превосходят среднестатистических людей в широком спектре задач, связанных с языком, стали рутиной, и творческое письмо не является исключением.
Поэтому возникает естественный вопрос: готовы ли LLM конкурировать в навыках творческого письма с лучшим (а не средним) романистом?
Чтобы получить ответ на этот вопрос, группа испанских исследователей устроила соревнование в духе дуэлей ИИ и человека, типа DeepBlue против Каспарова и AlphaGo против Ли Сидоля.
Это была дуэль между
• Патрисио Проном - признанный на мировом уровне аргентинский писатель, чьи произведения переведены на многие языки, обладатель нескольких национальных и международных литературных наград, которого критики считают одним из лучших в своем поколении испаноязычным писателем.
• и GPT-4 - одной из лучших в мире сегодняшних LLM, обладающей множеством наивысших экспертных оценок в широком спектре творческих тестов и уже доказавшей свои способности достигать и превосходить среднестатистический уровень людей при выполнении отдельных видов профессиональной деятельности.
Организаторы попросили Прона и GPT-4 предложить по тридцать заголовков, а затем написать рассказы как на свои заголовки, так и на заголовки соперника.
Затем авторы исследования подготовили оценочную шкалу, вдохновленную определением креативности философа Маргарет Боден, назвавшей творчество «фундаментальной особенностью человеческого интеллекта и неизбежным вызовом для интеллекта искусственного».
И наконец, были собраны 5400 оценок, проставленных литературными критиками и учеными.
Результаты этого эксперимента показали:
✔️ LLM все еще далеки от того, чтобы бросить вызов лучшим писателям из вида Homo sapiens.
✔️ По шахматным меркам, в писательском деле LLM не то что до гроссмейстера, но и, похоже, до мастера не дотягивает ни по одному из критериев оценки: привлекательность, оригинальность, креативность, собственный голос, возможность включения в антологию.
✔️ Достижение топового человеческого уровня навыков творческого письма, вероятно, не может быть достигнуто просто увеличением размеров языковых моделей.
И это значит, что мы еще с LLM поборемся за звание «венец творения» среди носителей высшего интеллекта на Земле 😊
Картинка https://telegra.ph/file/46a4fae677a99b8926088.jpg
Статья https://arxiv.org/abs/2407.01119
#LLMvsHomo
Forwarded from Малоизвестное интересное
Открытие тысячелетия - создана универсальная модель человеческого познания.
И уж поверьте, - это важнее, чем выборы Трампа.
Вычислительная модель «Кентавр» способна точно (!) предсказывать и моделировать любое (!) человеческое поведение в любом (!) эксперименте из любой (!) области, который можно описать на естественном языке.
Это открытие сделано выдающимся коллективом из 15-ти ведущих мировых научных центров. И оно окажет прорывное влияние на когнитивные науки, бросая вызов существующей парадигме разработки вычислительных моделей человеческого разума.
Кратко это открытие можно описать так:
• если революционный прорыв ChatGPT показал человечеству, что ИИ-модели могут быть неотличимы от людей в любых действиях, основанных на использовании человеческих языков, -
• то революционный прорыв «Кентавра» показывает человечеству, что ИИ-модели могут быть неотличимы от людей по своему поведению в любых ситуациях и обстоятельствах, связанных с исследованием, планированием и научением.
Иными словами, ИИ-модели могут не только оперировать на наших языках неотличимо от нас, но и при этом вести себя, как неотличимые от нас разумные сущности.
Авторы исследования создали модель «Кентавр» путем дообучения открытой языкового модели Llama 3.1 70B на новом крупномасштабном наборе данных под названием Psych-101. Psych-101 – набор данных беспрецедентного масштаба. Он охватывая данные по каждому психологическому испытанию от более чем 60,000 участников, которые сделали более 10,000,000 актов выбора в 160 экспериментах.
«Кентавр» не только точнее моделирует поведение новых участников по сравнению с существующими когнитивными моделями, но и обобщает свои знания на новые контексты, модификации задач и совершенно новые области.
Более того, авторы обнаружили, что внутренние представления модели становятся более согласованными с человеческой нейронной активностью после дообучения модели.
Это открытие имеет реальные шансы стать универсальной моделью познания. Следующим шагом должно стать преобразование этой универсальной вычислительной модели в единую теорию человеческого познания.
#LLMvsHomo #Познание
И уж поверьте, - это важнее, чем выборы Трампа.
Вычислительная модель «Кентавр» способна точно (!) предсказывать и моделировать любое (!) человеческое поведение в любом (!) эксперименте из любой (!) области, который можно описать на естественном языке.
Это открытие сделано выдающимся коллективом из 15-ти ведущих мировых научных центров. И оно окажет прорывное влияние на когнитивные науки, бросая вызов существующей парадигме разработки вычислительных моделей человеческого разума.
Кратко это открытие можно описать так:
• если революционный прорыв ChatGPT показал человечеству, что ИИ-модели могут быть неотличимы от людей в любых действиях, основанных на использовании человеческих языков, -
• то революционный прорыв «Кентавра» показывает человечеству, что ИИ-модели могут быть неотличимы от людей по своему поведению в любых ситуациях и обстоятельствах, связанных с исследованием, планированием и научением.
Иными словами, ИИ-модели могут не только оперировать на наших языках неотличимо от нас, но и при этом вести себя, как неотличимые от нас разумные сущности.
Авторы исследования создали модель «Кентавр» путем дообучения открытой языкового модели Llama 3.1 70B на новом крупномасштабном наборе данных под названием Psych-101. Psych-101 – набор данных беспрецедентного масштаба. Он охватывая данные по каждому психологическому испытанию от более чем 60,000 участников, которые сделали более 10,000,000 актов выбора в 160 экспериментах.
«Кентавр» не только точнее моделирует поведение новых участников по сравнению с существующими когнитивными моделями, но и обобщает свои знания на новые контексты, модификации задач и совершенно новые области.
Более того, авторы обнаружили, что внутренние представления модели становятся более согласованными с человеческой нейронной активностью после дообучения модели.
Это открытие имеет реальные шансы стать универсальной моделью познания. Следующим шагом должно стать преобразование этой универсальной вычислительной модели в единую теорию человеческого познания.
#LLMvsHomo #Познание