Сегодня как-то так

Исследователи из Оксфорда придумали, как детектить галлюцинации в LM

Идея проста и изящна: давайте заставим LLM выплевывать не один, а несколько ответов, затем откластеризуем их по истинности (то есть если фраза A подразумевает, что верна фраза B, значит они в одном кластере), а потом посчитаем семантическую энтропию.

Дело в том, что правильные ответы будут похожи, а галлюцинации - нет. Получается, если энтропия высокая, значит моделька подвирает и придумывает, а если низкая, значит говорит уверенно и в ее словах нет противоречий. Самое интересное тут, что использовать метод можно не только на инференсе, но не непосредственно во время alignment'а.

Похожую идею, кстати, использовали в недалеком прошлом авторы статьи “More Agents Is All You Need”. Там окончательный ответ формировался с помощью мнения большинства по ответам нескольких агентов.

Возвращаясь к оксфорской статье, ее результаты очень многообещающие: в 79% случаев метод смог верно задетектить галлюцинации. Тем не менее, реальное его внедрение в LLM обойдется дорого, так что метод вряд ли подойдет для бизнеса.

Прочувствовали?

Мира Мурати из OpenAI опять выдала базу

«Некоторые творческие профессии, возможно, исчезнут из-за ИИ, но, возможно, их вообще не должно было существовать»

Как вам такой safe AGI?

В Европе открылся новый университет, полностью посвященный ИИ-образованию

ELLIS Institute в Тюбингене (Германия) теперь планирует стать всемирным центром новаторских фундаментальных исследований в области ИИ.

На открытии вчера было много звездных гостей, в том числе Ян Лекун. Он выступил с небольшой вступительной речью, резюмируем:

«Если вы студент или академический исследователь и хотите добиться прогресса в области искусственного интеллекта человеческого уровня, НЕ РАБОТАЙТЕ НАД LLM.

LLM — это уход с траектории.
Тысячи инженеров работают над LLM, используя огромные вычислительные ресурсы. Единственный способ внести свой вклад в этой области — это проанализировать существующие LLM и показать их возможности и ограничения.

Но гораздо интереснее и эффективнее придумывать новые идеи и новые архитектуры и показывать, что они могут работать даже при решении небольших задач.»

Собираем вещи в Германию?

Не забываем классику

Дата центры в совокупности потребляют больше энергии, чем Италия, Испания, и даже Австралия.

Это выяснили аналитики из Bloomberg в новой статье на тему потребление энергии системами ИИ.

Как всегда, Bloomberg отличается интересными сравнениями и яркими графиками. Отличное чтиво на воскресенье.

Просто стимул выпустить GPT-5

Мира Мурати в интервью Dartmouth Engineering:

«GPT3 – это интеллект малыша. GPT-4 соответствует знаниям старшеклассника. А GPT-5 будет иметь уровень PhD»

Как думаете, значит ли это, что GPT-5 тоже потребуется 5 лет, чтобы написать документ, который никто никогда не будет читать?

История про то, как два 18-летних школьника привлекли $500 000 на разработку своего AI-стартапа

Несколько недель назад Кристофер Фицджеральд и Николас Ван Лэндшут закончили среднюю школу. Но сейчас, вместо того, чтобы наслаждаться каникулами и собирать вещи в колледж, они сидят и работают над своим AI-стартапом APIGen.

Идея создать его пришла к школьникам всего пару месяцев назад, и за это время они успели изучить рынок, сделать питчдеку и почти закончить MVP. Продукт нацелен на авто-генерацию API для бизнес-процессов и IoT устройств.

Со слов инвесторов, которые дали подросткам $500 тысяч:

«Мы пошли на встречу к этим детям, думая, что просто собираемся дать какие-то отеческие советы и поделиться опытом. А после двух часов их презентации мы вышли, думая, что это была лучшая презентация, которую мы слышали за последние пять лет.»

И кстати, 500к – это только под пресид раунд. Бету обещают выкатить в этом месяце. Удачи пожелаем?

POV: ты попал в гости к Андрею Карпаты