🚌 Добавил возможность проверять свою регистрацию на автобус в бота Ulcamp. Просто дал Клоду ещё одну функцию, позволяющую проверить, зарегистрирован ли пользователь на трансфер или нет.

{
"name": "check_bus_schedule",
"description": "Check which bus is user registered for using information that is kept in function database. Phone is optional. Just send a request to recieve schedule.",
"input_schema": {
"type": "object",
"properties": {"phone": {"type": "string"}},
},
},

💬 Бот, кстати, отлично работает и справляется с потоком запросов. До ULCAMP осталась всего неделя. Если что, у меня есть промокод на билет BIZNESBOT10 на 10%. 🎟️

Сергей Булаев AI 🤖 - о ботах и не только.

Звёзды и их молодость

Сергей Булаев AI 🤖 - об AI и не только

🧠 Исследователи из Huawei Noah's Ark Lab и University College London представили EM-LLM - модель с эпизодической памятью, имитирующую некоторые аспекты работы человеческого мозга. Это очередной шаг в улучшении обработки длинных контекстов в AI. Полный текст публикации.

EM-LLM сегментирует информацию на события, используя уровень неожиданности (surprise) и графовые алгоритмы. Как это работает?

1. Модель оценивает, насколько каждый новый токен неожидан в контексте предыдущих. Чем выше неожиданность, тем вероятнее, что это начало нового "события".
2. Далее используется матрица сходства между ключами внимания в слоях трансформера. Эта матрица рассматривается как граф, где токены - вершины, а сходство между ними - веса рёбер. Применяются алгоритмы кластеризации графов для уточнения границ событий.

Процесс извлечения памяти включает два этапа:

1. Поиск по сходству: выбираются k событий, наиболее похожих на текущий запрос.
2. Сохранение временной последовательности: для каждого выбранного события добавляются соседние события из исходной последовательности.

Это имитирует эффекты временной смежности и асимметрии, наблюдаемые в человеческой памяти - тенденцию вспоминать события, близкие по времени и в определенном порядке.

Результаты тестировались на LongBench - наборе задач для оценки работы с длинными текстами:

- 4.3% общий рост по сравнению с современными моделями
- 33% улучшение в задаче PassageRetrieval, где нужно найти исходный параграф по его краткому содержанию

EM-LLM можно применить к существующим моделям без переобучения, что упрощает внедрение

Этот подход перекликается с моим проектом https://flashbacks.ai, где я рабатаю над AI-ассистентом для людей которые боятся деменции (таких как я). Принципы EM-LLM могут помочь в создании подобного помощника, способного лучше организовывать и извлекать воспоминания.

Хотя EM-LLM показывает неплохие результаты, она все ещё очень далека от полного воспроизведения сложности человеческой памяти.

#AIMemory #flashbacksAI

@sergiobulaev - об AI и когнитивных технологиях

Андрей Карпаты, бывший глава отдела ИИ в Tesla и исследователь в OpenAI, запускает Eureka Labs - образовательную платформу с использованием ИИ. Цель Eureka Labs - создать ИИ-ассистентов для обучения, которые будут работать вместе с преподавателями, чтобы "каждый мог изучить что угодно".

Первый продукт компании - курс по ИИ под названием LLM101n, который научит студентов создавать собственный ИИ. Курс обещает показать как создавать веб-приложение, подобное ChatGPT, с нуля, используя Python, C и CUDA.

Точные детали о финансировании Eureka Labs, бизнес-модели и команде пока неизвестны.
Карпаты описывает Eureka Labs как кульминацию его 20-летней страсти к ИИ и образованию.

До этого Карпаты работал в Stanford University, OpenAI и Tesla, где руководил командой компьютерного зрения для системы Autopilot. Параллельно с работой над Eureka Labs, Карпаты ведет онлайн-курс "Neural Networks: Zero to Hero" и YouTube-канал с лекциями об ИИ и языковых моделях.

Я тут недавно по его видео разбирался руками как вообще работают трансформеры.

Сергей Булаев AI 🤖 - об AI и не только

🏠💰 Роскошный особняк Сэма Альтмана за $27 млн оказался проблемным.

Генеральный директор OpenAI Сэм Альтман столкнулся с неожиданными проблемами в своём модном особняке в Сан-Франциско. Дом площадью около 880 кв. метров, расположенный на знаменитой улице Ломбард, оказался настоящим разочарованием с множеством дефектов.

🏊‍♂️ Бассейн-инфинити, нависающий над краем дома, протекает, заливая нижний этаж.
🚽 Неисправная канализация сливает сточные воды прямо в землю.
🌱 Система полива сада и смыва туалетов, использующая переработанную дождевую воду, даёт сбои.
🦇 C пещерой Бэтмена, ведущей в гараж, вроде всё ок.
Согласно судебному иску, поданному командой Альтмана, застройщик Troon Pacific намеренно исказил информацию о качестве недвижимости, чтобы продать её "как можно быстрее". Более того, некоторые подрядчики якобы "отомстили" за задержку оплаты, забив канализационные трубы мусором.
💰 Только ремонт бассейна оценивается в $4 млн, не считая других многочисленных проблем.
Интересно, что это не первый скандал с участием Troon Pacific. В мае компанию обязали вернуть $50 млн инвесторам за незавершенный проект реновации в Сан-Франциско.

Через неделю буду там - надо будет дойти посмотреть до дома вижвую :)

#СэмАльтман #OpenAI

Сергей Булаев AI 🤖 - об AI и не только

🎙️ Посмотрел очередной выпуск подкаста AI&I. Интервью со Стеф Смит о будущем создания контента в эпоху ИИ. Стеф - настоящий исследователь интернета, ведущая подкаста a16z и создатель множества проектов, включая Internet Pipes(инструмент для поиска новых интересных знаний) и книгу "Doing Content Right".

Вот несколько интересных моментов:

🎨 Стеф создала почти все иллюстрации для Internet Pipes с помощью ChatGPT и Midjourney. Она рассказала, как использовала тренд "make it more" для визуализации процесса выпечки картофеля, демонстрируя эволюцию идеи.

🔍 Поиск эстетики: Стеф просматривала главную страницу Midjourney, изучая промпты понравившихся изображений. Это помогло ей правильно артикулировать свои желания и создать уникальный стиль для проекта.

🤖 Стеф считает, что будущее за узкоспециализированными ИИ-инструментами. Она поделилась своими фаворитами:

Consensus

: ИИ-поисковик для научных запросов

Globe Explorer

: создает "оглавления" для каждого запроса

🎭 Стеф интересуется искусством, которое мы ценим из-за личности создателя. Она привела пример Instagram-аккаунта с 2.6 млн подписчиков, показывающего жизнь вязаных лягушек.

🧠Стеф сравнивает свой мозг с языковой моделью, стремясь "тренировать" его на "лучших данных". Она обращает внимание на неожиданно популярных нишевых креаторов, считая это "сигналом" ценных инсайтов.

📝 В интервью использовались WebSim.ai - для генерации сайтов и симулирования интернета, Granola для создания саммари разговора и Suno для создания песни на основе обсужденных тем.

#Креативность #ЮзКейсыИИ

Сергей Булаев AI 🤖 - об AI и не только

🤖🐜 Исследователи из TU Delft опубликовали в Science Robotics работу о навигации крошечных роботов.

🧠💡 Задачей исследование было: как сделать так, чтобы крошечный робот мог самостоятельно ориентироваться в пространстве, имея минимум вычислительных ресурсов? Современные подходы к AI-навигации требуют мощных процессоров и большого объёма памяти.

🐜🧭 Исследователи обратили внимание на муравьёв. Они способны находить дорогу домой, имея "компьютер" размером с булавочную головку. Секрет муравьёв - в комбинации простого подсчёта шагов и запоминания ключевых визуальных ориентиров.

📏📸 Был разработан алгоритм навигации, который требует всего 1.16 килобайт памяти на 100 метров пути. Это позволило 56-граммовому дрону автономно летать на расстояния до 100 метров и возвращаться обратно, используя только встроенный микроконтроллер и простую камеру.

🧠🔍 Вместо попыток впихнуть огромную нейросеть в крошечное устройство, исследователи создали простой, но эффективный алгоритм, имитирующий природные механизмы.

🚀🌱 Такой подход открывает дорогу для создания целого класса микро-AI систем, способных выполнять сложные задачи с минимальными ресурсами. Представьте рой таких микродронов, мониторящих склады или теплицы, или крошечных роботов, исследующих труднодоступные места.

#МикроИИ

Сергей Булаев AI 🤖 - об AI и не только

🔒📧 Proton запустил AI помощника для написания писем с повышенными вниманием к конфиденциальности.

Швейцарская компания Proton, известная своими приватными сервисами (и которой я пользуюсь уже довольно давно), представила Proton Scribe - AI-асистента для составления и редактирования писем.

Ключевые моменты:

- Работает полностью на устройстве пользователя, без отправки данных на сервер
- Основан на open-source модели Mistral 7B
- Не обучается на пользовательских данных
- Доступен под открытой лицензией GPL-3.0

Цель Proton - предложить безопасную альтернативу сторонним AI-инструментам, особенно для бизнес-пользователей, обеспокоенных утечкой конфиденциальных данных.

#ПриватностьИИ

@sergiobulaev - об AI и приватности

🧠 Исследователи из Стэнфорда, UC San Diego и UC Berkeley представили новый подход к обучению языковых моделей - Test-Time Training (TTT) layers. Это может стать важным шагом в создании более эффективных и масштабируемых ИИ-систем.

Ключевые моменты:

🔄 TTT layers используют самообучение в процессе работы. Их скрытое состояние - это модель, которая обучается на каждом токене входной последовательности.

📊 Представлены две реализации: TTT-Linear и TTT-MLP. Обе показывают результаты на уровне или лучше современных моделей вроде Transformer и Mamba при меньших вычислительных затратах.

🚀 TTT-Linear уже быстрее Transformer на контекстах от 8К токенов и сравнима по скорости с Mamba.
📏 TTT слои лучше работают на длинных контекстах, сохраняя способность учиться даже после 16К токенов, в отличие от Mamba.

Это исследование показывает, как переосмысление базовых принципов обучения ИИ может привести к значительным улучшениям. TTT layers предлагают интересный компромисс между эффективностью RNN и выразительностью self-attention.

Этот подход может помочь в создании более компактных и энергоэффективных ИИ-систем, способных обучаться "на лету". Это может быть особенно полезно для конечных устройств и приложений, требующих адаптации к изменяющимся условиям.

#ИнновацииИИ #НовыеМодели

Сергей Булаев AI 🤖 - об AI и не только