Нобелевскую премию по физике этого года присудили за открытие в области квантовых вычислений
Награду только что получили Джон Кларк, Мишель Деворет и Джон Мартинис. В 80-х они впервые доказали, что явления квантовой механики, обычно наблюдаемые только на микроскопическом уровне, могут проявляться в полноразмерных системах.
Они установили, что так называемое квантово-механическое туннелирование возможно на макро-уровне. В их экспериментах использовалась сверхпроводящая электрическая цепь, и ученые смогли доказать, что она способна перейти из состояния без напряжения в состояние с напряжением, проходя через барьер, что в принципе невозможно для классических объектов в физическом мире.
Это и есть квантовый переход (то есть вся система ведёт себя как единая квантовая частица, хотя содержит огромное количество электронов).
По сути, именно с этого открытия началось все развитие квантовых компьютеров, квантовых криптографических систем и тд.
Поздравляем!
Награду только что получили Джон Кларк, Мишель Деворет и Джон Мартинис. В 80-х они впервые доказали, что явления квантовой механики, обычно наблюдаемые только на микроскопическом уровне, могут проявляться в полноразмерных системах.
Они установили, что так называемое квантово-механическое туннелирование возможно на макро-уровне. В их экспериментах использовалась сверхпроводящая электрическая цепь, и ученые смогли доказать, что она способна перейти из состояния без напряжения в состояние с напряжением, проходя через барьер, что в принципе невозможно для классических объектов в физическом мире.
Это и есть квантовый переход (то есть вся система ведёт себя как единая квантовая частица, хотя содержит огромное количество электронов).
По сути, именно с этого открытия началось все развитие квантовых компьютеров, квантовых криптографических систем и тд.
Поздравляем!
❤185🔥72👍23
This media is not supported in your browser
VIEW IN TELEGRAM
Ускоряем рабочие процессы: оплачивайте Cursor через МТС Оплату ✨
Покупайте подписки для работы в пару кликов через СБП и с минимальной комиссией. Так же можно оплачивать ещё 150+ зарубежных сервисов: Replit, Sentry, Qodo, Warp, Windsurf и другие.
Весь процесс займёт не больше 5 минут. Пароли и лишние данные не нужны — только ваша почта. Оплачивайте сервисы и исправляйте баги вместе с МТС Оплатой 🤗
Покупайте подписки для работы в пару кликов через СБП и с минимальной комиссией. Так же можно оплачивать ещё 150+ зарубежных сервисов: Replit, Sentry, Qodo, Warp, Windsurf и другие.
Весь процесс займёт не больше 5 минут. Пароли и лишние данные не нужны — только ваша почта. Оплачивайте сервисы и исправляйте баги вместе с МТС Оплатой 🤗
🗿28⚡18❤8
В польском стартапе Pathway создали новую архитектуру нейросетей – Biological Dragon Hatchling
Идея тут в основном в том, чтобы соединить две линии развития ИИ: всеми любимые трансформеры и модели мозга. Уже доказано, что между мозгом и трансформером есть связь (см эту статью от DeepMind). Тем не менее, до спопобностей нашей черепушки LLMкам пока далеко: не хватает нескольких основных свойств.
В общем, заканчивая лирическое вступление: тут взяли трансформер и решили впаять в него некоторые фичи из мозга. Получилась графовая архитектура, в которой нейроны – это вершины, а синапсы – рёбра с весами. Модель работает как распределённая система из нейронов, которые общаются только с соседями.
С обучением все тоже не как обычно. Наш мозг учится по правилу Хебба: нейроны, которые активируются вместе, укрепляют связь. Тут это реализовано без изменений, то есть если активность нейронов A и B часто совпадает, вес ребра между ними увеличивается, и логическая взаимосвязь становится крепче. Если присмотреться, то похоже на какой-то аналог механизма внимания.
И еще одно. Веса тут разделены на две группы: фиксированные и динамические. Аналог долговременной и кратковременной памяти. Фиксированные веса – это базовые знания, они обновляются только во время обучения и далее не меняются. Динамические веса нам нужны для ризонинга. Каждый шаг рассуждения – это локальное обновление связей.
Немного запутанно, НО авторы сделали тензорную версию (BDH-GPU). Она эквивалентна BDH, но выражена в виде обычных матриц и векторов, так что её можно обучать, как трансформер. По сути там все то же внимание, пару блоков MLP, ReLU и немного специфичные активации. Все знакомо.
Но оказалось, что система с такой архитектурой демонтрирует очень приятные свойства:
1. Интерпретируемость. Каждая пара нейронов (i, j) имеет свой синапс и хранит его состояние, которое можно наблюдать и отслеживать. Плюс, активации моносемантичны. Один нейрон действительно отвечает за одно понятие.
2. BDH может легко объединять две модели с помощью простой конкотенации. Представьте, какой простор для масштабирования.
3. И к слову про масштабирование: BDH показывает те же scaling laws, что и GPT-2, и при одинаковом числе параметров модель достигает схожей точности на ряде задач. Это значит, что основное свойство трансформера сохранено.
Красиво получилось. Если еще выпустят на этой архитектуре что-нибудь осязаемое, цены не будет.
Код | Статья
Идея тут в основном в том, чтобы соединить две линии развития ИИ: всеми любимые трансформеры и модели мозга. Уже доказано, что между мозгом и трансформером есть связь (см эту статью от DeepMind). Тем не менее, до спопобностей нашей черепушки LLMкам пока далеко: не хватает нескольких основных свойств.
В общем, заканчивая лирическое вступление: тут взяли трансформер и решили впаять в него некоторые фичи из мозга. Получилась графовая архитектура, в которой нейроны – это вершины, а синапсы – рёбра с весами. Модель работает как распределённая система из нейронов, которые общаются только с соседями.
С обучением все тоже не как обычно. Наш мозг учится по правилу Хебба: нейроны, которые активируются вместе, укрепляют связь. Тут это реализовано без изменений, то есть если активность нейронов A и B часто совпадает, вес ребра между ними увеличивается, и логическая взаимосвязь становится крепче. Если присмотреться, то похоже на какой-то аналог механизма внимания.
И еще одно. Веса тут разделены на две группы: фиксированные и динамические. Аналог долговременной и кратковременной памяти. Фиксированные веса – это базовые знания, они обновляются только во время обучения и далее не меняются. Динамические веса нам нужны для ризонинга. Каждый шаг рассуждения – это локальное обновление связей.
Немного запутанно, НО авторы сделали тензорную версию (BDH-GPU). Она эквивалентна BDH, но выражена в виде обычных матриц и векторов, так что её можно обучать, как трансформер. По сути там все то же внимание, пару блоков MLP, ReLU и немного специфичные активации. Все знакомо.
Но оказалось, что система с такой архитектурой демонтрирует очень приятные свойства:
1. Интерпретируемость. Каждая пара нейронов (i, j) имеет свой синапс и хранит его состояние, которое можно наблюдать и отслеживать. Плюс, активации моносемантичны. Один нейрон действительно отвечает за одно понятие.
2. BDH может легко объединять две модели с помощью простой конкотенации. Представьте, какой простор для масштабирования.
3. И к слову про масштабирование: BDH показывает те же scaling laws, что и GPT-2, и при одинаковом числе параметров модель достигает схожей точности на ряде задач. Это значит, что основное свойство трансформера сохранено.
Красиво получилось. Если еще выпустят на этой архитектуре что-нибудь осязаемое, цены не будет.
Код | Статья
❤54👍18🔥11😁1