Открытия с ИИ: учёные форсируют кросс-дисциплинарные направления

В этом году, как известно, Нобелевские премии по физике и химии были присуждены за достижения с ИИ, - Джон Хопфилд и Джеффри Хинтон отмечены за фундаментальные работы по нейронным сетям, а Дэвид Бейкер, Демис Хассабис и Джон Джампер получили награду за решение проблемы фолдинга белка.

Достижения эти произошли благодаря использованию ИИ и компьютерных систем.
В связи с чем исследователи Carnegie Mellon призывают к междисциплинарной интеграции естественных и компьютерных наук.
Необходимо изменить подход к подготовке специалистов широкого профиля (по аналогии с Леонардо да Винчи - специалисты, владеющие знаниями в разных областях ) для комплексных научных прорывов с использованием ИИ.
Ну и, традиционно, - продвигаться к созданию искусственного общего интеллекта (AGI).

#Nobel #DeepMind #Hinton
-------
@tsingular

Claude получил персонализацию стиля общения

Антропик представил долгожданное обновление функций персонализации стиля диалога для всех пользователей Claude.ai.
Нейросеть теперь умеет адаптировать тон, структуру и формат ответов под индивидуальные предпочтения каждого собеседника.
Доступны готовые шаблоны для технической документации, маркетинга и проектных требований.
Возможна загрузка собственных примеров текста для обучения предпочтительному стилю коммуникации.

Скопировать стиль любого автора стало еще проще. Перетаскиваете документ в диалог, - и всё.
Надо в бота добавить что-ли...

#Claude #Anthropic #personalization
-------
@tsingular

Взлом ИИ роботов превращает их в камикадзе

Специалисты Университета Пенсильвании разработали технологию взлома систем автономных устройств.
RoboPAIR, разработанная учёными, демонстрирует 100% успеха в деактивации защитных механизмов роботизированных систем.

Атакующий модуль использует языковые модели для генерации вредоносных команд, для обхода встроенной защиты.
После обхода защиты, модуль создаёт в API целевого робота возможность исполнять произвольные промпты.

Уязвимыми оказались Go2, Clearpath Jackal и симулятор Nvidia Dolphins.

Взломанные машины способны атаковать пешеходов, устанавливать взрывные устройства и вести скрытое наблюдение.

Получается используют LLM для взлома LLM.

#robotics #security #RoboPAIR #cybersecurity
-------
@tsingular

Коллекция техник RAG, - 15 базовых и 10 экспериментальных вариантов.

Corrective RAG - проверяет факты в реальном времени, валидирует ответы по источникам
Speculative RAG - предугадывает потребности пользователя, готовя ответы заранее
Agenetic RAG - адаптируется к пользователю со временем, учится на взаимодействиях
Self-RAG - самостоятельно оценивает точность своих ответов и улучшается
Adaptive RAG - подстраивается под контекст пользователя в реальном времени
Refeed Feedback RAG - улучшается на основе прямой обратной связи от пользователей
Realm RAG - комбинирует поиск с глубоким пониманием контекста
Raptor RAG - работает с иерархией данных
Replug RAG - интегрируется с внешними источниками
Memo RAG - сохраняет контекст между взаимодействиями с пользователем
Attention-Based RAG - фокусируется на ключевых элементах запроса
RETRO RAG - использует исторический контекст для ответов
Auto RAG - автоматизированная система поиска с минимальным участием человека
Cost-Constrained RAG - оптимизирует поиск с учетом ограничений по бюджету
ECO RAG - экологичный подход, минимизирующий энергопотребление

И еще 10 экзотических экспериментальных вариантов

Т.е. RAG можно вообще как отдельный модуль строить с коллекцией функций. Такой MegaRAG, где на входе будет еще один RAG оркестратор стоять и выбирать какой из RAGов подключить для решения задачи.

А тут еще больше разных техник:
https://github.com/NirDiamant/RAG_Techniques

#RAG #каталог #оркестраторы
-------
@tsingular

Интересные результаты исследования о том, как форматирование ввода Markdown, YAML, JSON и обычного текста влияет на производительность моделей GPT.

В статье оцениваются только модели GPT, но известно, что это применимо и к другим моделям.

Например, старые версии Claude предпочитали XML (инструкции в <></> как раз отттуда).

Производительность модели может существенно различаться (до 40%) исключительно в зависимости от того, как отформатирована подсказка (см. рисунок).

Влияние одинаково для разных типов задач, от рассуждений до генерации кода.

Более крупные модели (например, GPT-4) обладают большей устойчивостью к изменениям формата по сравнению с более мелкими моделями, такими как GPT-3.5.

GPT-4-turbo имеет наиболее постоянную производительность для разных форматов (хотя все еще со значительным разбросом).

Различные модели показывают различные предпочтения для форматов подсказок, при этом GPT-3.5 работает лучше с JSON, а GPT-4 — с Markdown.

Эти предпочтения плохо переносятся между моделями, даже в пределах одного семейства (вероятно, из-за разных данных обучения).

На практике это означает, что форматы подсказок могут быть интересным параметром для оптимизации.

Исследование:
https://arxiv.org/abs/2411.10541

#JSON #YAML #Markdown #promptengeneering
———
@tsinuglar

AnythingLLM: фреймворк для запуска агентов локально с любым ИИ на выбор

Nvidia RTX анонсирует AnythingLLM, - решение для запуска локальных ИИ-агентов, работающих автономно без облака.

Удобное приложение обеспечивает выполнение многоэтапного планирования и решения задач на домашнем компьютере.

Встроены функции хранения и анализа документов, общение по ним, векторные хранилища любого вида, поддержка всех возможных ИИ провайдеров, - Mistral, Ollama, OpenAI, Anthropic.
Автоматически подтягивает все доступные модели по API ключу.
Интегрируется и общается с SQL базами, можно создавать агентов с разными функциями, вроде:
- поиск по интернету - причем с разными провайдерами на выбор
- сбор информации с сайтов, чтение содержимого
- работа с различными RAGами
- голосовое управление агентом

Ставится как десктопное приложение или можно в докере поднять на сервере и работать через WebUI!

Главное преимущество - полный контроль над данными и независимость от интернета.

Ну тут уж я фобию переборол, установил, - решение огонь.
Проверено, рекомендую!

#NVIDIA #AnythingLLM #RTX
-------
@tsingular

Китай наносить удар! дракон!

Вторая китайская команда, на этот раз Qwen-часть AliBaba, разродилась моделью. Тоже превью (все видимо ждут полную о1, чтобы начать релизить?), тоже без технических деталей и статьи, зато сразу с доступными весами:

https://huggingface.co/Qwen/QwQ-32B-Preview

Тем, кому хочется сразу помучить модель вопросами, без возни с GPU, можно поиграться тут: https://huggingface.co/spaces/Qwen/QwQ-32B-preview (пока очередь маленькая)

Блогпост

Ниже — картинка с метриками. Для 32B модели результаты очень-очень недурные — Qwen-2.5 и до этого считался очень сильной моделью (с которой даже иногда избегали сравнение другие авторы моделей, ахахха, чтобы не выглядеть на их фоне вторично), а тут в два раза меньшая моделька такие скачки совершает

Веселых картинок вам с утра.

С кодом на процессинге.

@cgevent

Создатели Android запускают ''/dev/agents' - новую ОС для ИИ-агентов

Команда экс-разработчиков Android, включая Хьюго Барра и Дэвида Синглтона, анонсировала амбициозный стартап.

Целью проекта будет создание облачной операционной системы нового поколения для автономных агентов.

Платформа предложит инновационный интерфейс и улучшенную защиту данных.

Разработчики ставят своей задачей упростить создание ИИ-решений, подобно тому как Android демократизировал мобильные технологии.

Похоже, грядёт новая операционная система, в которой ИИ будет не приложением поверх системы, а глубоко встроен в структуру, причем в виде агентов, а не просто модели.
Интересно, будет ли она такой же открытой, как Android? 🤔
Это же получается новый подкласс базовых моделей нужен на уровне ядра?
Причины синих экранов вообще теперь бесполезно будет искать... тупо чёрный ящик.

#Android #DevAgents #CloudOS

CAT4D: революция в создании динамических 3D сцен из обычного видео от команды Google Deepmind

Система комбинирует видео-диффузионную модель с многоракурсным преобразованием и оптимизацией через гауссово представление.

Технология не нуждается в синхронизированной мультикамерной съёмке, восстанавливая даже скрытые участки сцены.

Обучение выполнено на смеси синтетических и реальных датасетов: Objaverse, Kubric, CO3D.

Обработка занимает 1 минуту на 16×A100 GPU, оптимизация - 25 минут на одной карте.

Сайт
Paper

#Cat4D #computervision #3Dreconstruction #Google ##Deepmind
———
@tsingular

BrainGPT обыграл нейробиологов в предсказании научных результатов

Университетский колледж Лондона создал специализированную нейромодель BrainGPT, которая превзошла учёных в точности предсказания итогов экспериментов.

В масштабном исследовании сравнили 15 различных LLM со 171 экспертом-нейробиологом.

Результаты впечатляют: искусственный разум показал точность 81% против 63% у людей.

А специально обученная на профильной литературе версия достигла рекордных 86% точности.
Методология применима во всех научных и технических областях.

Непонятно кто теперь будет верифицировать прогнозы ИИ, если он становится умнее учёных...
Ну или верификация будет занимать всё больше и больше времени.
Человек, - медленное слабое звено, получается. :)

#BrainGPT #UCL #BrainBench
-------
@tsingular

Приоритеты внедрения ген ИИ в ритейле на 2025

В сфере торговли прогнозируют массовое внедрение генеративного ИИ для автоматизации ключевых процессов.

Основной фокус будет направлен на персонализацию клиентского опыта через умные рекомендации и таргетированные рассылки.

Разработка продуктов ускорится благодаря автоматическому анализу рынка и генерации описаний.

Операционные процессы оптимизируют через единый разговорный интерфейс и автоматическую документацию.

Технологии позволят создавать предиктивные модели для прогнозирования спроса и управления запасами.

SouthChinaMorningPost
AWS AI for Retail

#Retail #Китай #AWS
-------
@tsingular

OpenAI наконец-то запустили GPT Store.

https://gptstore.ai/

Год народ разрабатывал GPTs, теперь их можно будет начать монетизировать.

#GPTs #OpenAi #Store
———
@tsingular

Уроки с AWS: мульти-адаптерный LoRA оркестратор на SageMaker

Пример реализации конфигурации со множественными LoRA адаптерами на базе AWS через единое API SageMaker без необходимости перезагрузки endpoint.
Гибкая архитектура позволяет распределять нагрузку между GPU, CPU и локальными ресурсами.

Т.е. сначала мы динамически меняли промты под ситуацию, затем динамичный многокомпонентный RAG с доменными справочниками, теперь, вот пример с динамичным зоопарком LoRA адаптеров в виде готового фреймворка.

#SageMaker #LoRA #AWS #обучение
-------
@tsingular

Langflow - шикарный визуальный конструктор RAG и мульти-агентных ИИ систем

Langflow,- open-source фреймворк для создания ИИ приложений без написания кода с интуитивным интерфейсом.

Компоненты, которые уже в комплекте:
- тексты, чаты, переменные, промпты.
- данные из API из файлов, директорий, SQL, URL и вебхуков
- обработка данных, фильтация, объединение, JSON, разделение, обновление, сообщения
- модели - оллама, антропик, openai, AWS, Cohere, Google, HF, LM Studio, Nvidia, Perplexity, Qianfan, Vertex etc...
- векторные хранилки 13+ разных, включая Chroma, Clickhouse, Elasticsearch, Milvus, MogoDB, OpenSearch и др.
- ембеддеры 15 интерфейсов для подлючения вообще любых
- агенты как модули потока
- долгосрочные хранилки как память
- API как tools для моделей
- langchain как подсистема
и много чего ещё.

А ещё там встроенный магазин коннекторов, в котором уже 1288 различных модулей от сообщества!

Важный момент, ставить лучше через uv.
Стандарный pip install langflow глючит!

pip install uv
uv pip install --upgrade langflow

Или Докер:
docker run -it --rm -p 7860:7860 langflowai/langflow:latest

#Langflow #Python #RAG #framework
-------
@tsingular

Midjourney + Kling AI 1.5 Motion Brush

в первые дни зимы нейрорендер выглядит так.

Народ скрестил генерацию Midjourney и применил новую фишку Клинга - контроль движения.
Да, физика не соблюдается, - заметно по видеоряду много где, но в остальном, - огонь.

#Midjourney #Kling #нейрорендер
———
@tsingular