Хорошая демонстрация новой фичи Cursor - Cursor Composer (автор). Напоминает работу с артефактами клода.

Что бы его использовать надо сначала включить: Cursor -> Cursor Settings -> Beta. Дальше использовать cmd/ctl-i.

Есть ещё видео месячной давности в твиттере разработчиков.

Сергей Булаев AI 🤖 - об AI и не только

Написал тут эмоциональный пост про блади мэри. Хочется поделиться. Вечер же, всё такое...

А вообще, вчера придумал нового бота. В рамках своих идей по работе с памятью и её сохранением. Весь день программировали с Клодом и курсором. Завтра, надеюсь, покажу. Мне кажется полезная штука получается наконец.

Дожили. По поисковому запросу о межличностных отношениях людей, один искуственный интеллект цитирует другой искуственный интеллект.


Сергей Булаев AI 🤖 - об AI и не только

Слышали про случайное блуждание (по английски говорят даже drunkard’s walk - блуждание пьяного) и закон арксинуса?

Если взять простой двухмерный пример то речь идёт о выборе на каждом шаге одного из направлений (например вверх или вниз) случайным образом. Почему то кажется, что в таком случае мы всегда будем болтаться где то около середины и постоянно пересекать ноль. Но это совсем не так.

Если в случайном блуждании частица начинает движение в одном направлении, то вероятность того, что она продолжит двигаться в этом направлении значительно выше, чем вероятность того, что она будет часто менять его.

Случайное блуждание имеет свойство редко возвращаться к начальной точке (нулю). Несмотря на то, что каждое новое движение имеет 50% шансов пойти в ту или иную сторону, суммарное расстояние от начальной точки (модуля) растёт с каждым шагом.

Закон арксинуса описывает вероятность того, что частица будет находиться выше или ниже нулевой линии в случайном блуждании. Оказывается, что вероятности сильно смещены к началу и концу временного промежутка. Это объясняет феномен, когда в долгой игре одна команда может лидировать большую часть времени, но резкие изменения происходят либо в начале, либо в конце.

Что это значит на практике?

В длинной серии подбрасываний монеты вероятность того, что одна из сторон будет выпадать 85% времени, составляет примерно 25:32. Это означает, что в большинстве долгих, равных по силе игр одна команда будет лидировать как минимум 85% времени.

Если все студенты одинаково способны, но их успехи подвержены случайным колебаниям, то скорее всего один студент будет держаться на первом месте по оценкам, а другой — на последнем в течение большей части семестра.

Вы регулярно вкладываете одну и ту же сумму денег в фонд, стоимость которого случайным образом колеблется. Если всё началось с потерь, то, скорее всего, будете ещё долго терять.

Клод сделал одноразовое приложение, где можно посмотреть как это работает. Исходники тут.

Сергей Булаев AI 🤖 - об AI и полезной математике

Ученые из MIT выпустили базу рисков ИИ. Их там более 700. Есть даже гугл табличка.

Они поделили их на 23 “типа” опасностей. Что интересно консенсус у них не очень, в среднем каждый эксперт упоминал риски только из трети типов, самый крутой затронул 16 :) (тоесть все видят риски в разном).

Только 12 из 100 экспертов упомянули мой любимый риск про заваливание интернета кучей бесполезного говна (или это просто не риск, потому что уже случилось?)

Сергей Булаев AI 🤖 - об AI и его рисках

Ужас какой!

Еще интересное исследование по LLM-подвезли:

В этот раз ученые решили проверить, что значит в понимании АИ "реальность" и каким языком они ее воспринимают – если коротко, похоже реальность они понимают намного лучше, чем мы ожидали: 

Традиционно считалось, что LLM просто предсказывают следующее слово на основе статистических закономерностей в обучающих данных

Это же исследование показывает, что модель не просто предсказывает слова, а формирует внутреннее представление о том, как эти инструкции влияют на состояние виртуального мира

Чуть подробнее:

1. Ученые натренировали небольшую LLM используя простые лабиринтные головоломки для виртуального робота – это позволило им изучить "мышление" LLM в контролируемой среде

2. LLM самостоятельно создала внутреннее представление о симуляции, несмотря на то, что никогда не видела её напрямую (!), то есть модель развила способность интерпретировать инструкции и понимать их значение в контексте задачи. Это противоречит предыдущим представлениям о том, что LLM просто имитируют текст из обучающих данных (Илья, пососи):

– "Создание внутреннего представления о симуляции" означает, что модель сформировала некое абстрактное понимание правил и законов виртуального мира, в котором действует робот.

– "Развитие способности интерпретировать инструкции" - это следствие прошлого пункта. Модель не просто повторяет инструкции, а "понимает", как они изменяют состояние виртуального мира.

3. Чтобы проверить эту идею, модель поместили в "зазеркалье"с другими правилами симуляции мира и модель не смогла адаптироваться – что подтвердило, что модель "знает" как исполнять инструкции, а не просто их повторяет

4. Модель смогла начать "предсказывать" будущие состояния, что указывает на более глубокое понимание задач

5. В очередной раз ученые подчеркивают сходства между процессом обучения LLM и освоением языка детьми – сначала "лепет", затем освоение синтаксиса, и наконец, понимание смысла. Я иногда общаюсь с ML-инженерами родителями – многие часто про это говорят

6. Исследование ставит под сомнение наши представления о том, какая информация необходима для изучения лингвистического значения, что может привести к созданию более эффективных методов обучения ИИ

То есть если раньше считалось, что эти модели просто «умные попугаи» которые повторяют то, на чем обучены, то теперь есть доказательства того, что они могут формировать более глубокое понимание задач и концепций

Хотя результаты многообещающие, исследователи признают ограничения своего эксперимента и необходимость дальнейших исследований в более сложных условиях, с более большими моделями и тп.

Если кто-то хочет повторить эксперимент, вот код.