Исследователи из Оксфорда придумали, как детектить галлюцинации в LM

Идея проста и изящна: давайте заставим LLM выплевывать не один, а несколько ответов, затем откластеризуем их по истинности (то есть если фраза A подразумевает, что верна фраза B, значит они в одном кластере), а потом посчитаем семантическую энтропию.

Дело в том, что правильные ответы будут похожи, а галлюцинации - нет. Получается, если энтропия высокая, значит моделька подвирает и придумывает, а если низкая, значит говорит уверенно и в ее словах нет противоречий. Самое интересное тут, что использовать метод можно не только на инференсе, но не непосредственно во время alignment'а.

Похожую идею, кстати, использовали в недалеком прошлом авторы статьи “More Agents Is All You Need”. Там окончательный ответ формировался с помощью мнения большинства по ответам нескольких агентов.

Возвращаясь к оксфорской статье, ее результаты очень многообещающие: в 79% случаев метод смог верно задетектить галлюцинации. Тем не менее, реальное его внедрение в LLM обойдется дорого, так что метод вряд ли подойдет для бизнеса.

Прочувствовали?

Мира Мурати из OpenAI опять выдала базу

«Некоторые творческие профессии, возможно, исчезнут из-за ИИ, но, возможно, их вообще не должно было существовать»

Как вам такой safe AGI?

В Европе открылся новый университет, полностью посвященный ИИ-образованию

ELLIS Institute в Тюбингене (Германия) теперь планирует стать всемирным центром новаторских фундаментальных исследований в области ИИ.

На открытии вчера было много звездных гостей, в том числе Ян Лекун. Он выступил с небольшой вступительной речью, резюмируем:

«Если вы студент или академический исследователь и хотите добиться прогресса в области искусственного интеллекта человеческого уровня, НЕ РАБОТАЙТЕ НАД LLM.

LLM — это уход с траектории.
Тысячи инженеров работают над LLM, используя огромные вычислительные ресурсы. Единственный способ внести свой вклад в этой области — это проанализировать существующие LLM и показать их возможности и ограничения.

Но гораздо интереснее и эффективнее придумывать новые идеи и новые архитектуры и показывать, что они могут работать даже при решении небольших задач.»

Собираем вещи в Германию?

Не забываем классику

Дата центры в совокупности потребляют больше энергии, чем Италия, Испания, и даже Австралия.

Это выяснили аналитики из Bloomberg в новой статье на тему потребление энергии системами ИИ.

Как всегда, Bloomberg отличается интересными сравнениями и яркими графиками. Отличное чтиво на воскресенье.

Просто стимул выпустить GPT-5

Мира Мурати в интервью Dartmouth Engineering:

«GPT3 – это интеллект малыша. GPT-4 соответствует знаниям старшеклассника. А GPT-5 будет иметь уровень PhD»

Как думаете, значит ли это, что GPT-5 тоже потребуется 5 лет, чтобы написать документ, который никто никогда не будет читать?

История про то, как два 18-летних школьника привлекли $500 000 на разработку своего AI-стартапа

Несколько недель назад Кристофер Фицджеральд и Николас Ван Лэндшут закончили среднюю школу. Но сейчас, вместо того, чтобы наслаждаться каникулами и собирать вещи в колледж, они сидят и работают над своим AI-стартапом APIGen.

Идея создать его пришла к школьникам всего пару месяцев назад, и за это время они успели изучить рынок, сделать питчдеку и почти закончить MVP. Продукт нацелен на авто-генерацию API для бизнес-процессов и IoT устройств.

Со слов инвесторов, которые дали подросткам $500 тысяч:

«Мы пошли на встречу к этим детям, думая, что просто собираемся дать какие-то отеческие советы и поделиться опытом. А после двух часов их презентации мы вышли, думая, что это была лучшая презентация, которую мы слышали за последние пять лет.»

И кстати, 500к – это только под пресид раунд. Бету обещают выкатить в этом месяце. Удачи пожелаем?

POV: ты попал в гости к Андрею Карпаты

Наткнулись на интересное исследование о способностях GPT-4 рассуждать на тему этики

Этика подразумевает в данном случае ответы на такие вопросы как "что такое добро и зло?", "что важнее, долг или счастье?" или решение таких загадок, как проблема вагона.

Сюрприз: люди оценивают этические рассуждения GPT выше, чем ответы известного эксперта по этике. Респонденты говорили, что они "более морально правильные, заслуживающие доверия, продуманные и точные".

Интересно также, что опрошенные часто догадывались, что им показывают ответы ИИ, но все равно голосовали за них. Более того, исследователи даже предположили, что безжизненность ответов GPT стала одним из факторов "выигрыша". Это в каком-то смысле логично: ведь проще верить в таких вопросах тому, у кого, как тебе кажется, нет эмоций, и кто не подвержен человеческому фактору.

Кстати, оказывается, для этики есть даже специальная модификация теста Тьюринга: Comparative Moral Turing Test. Знали?

Завезли результаты с арены!

Claude 3.5 Sonnet с небольшой разницей вырвался на 1 место и обогнал GPT-4o на Coding лидерборде. В общем зачете на первом месте все еще OpenAI, Sonnet второй.

Организаторы обещают, что скоро обновится еще и вижн лидерборд. Ставим ставки, коллеги.