Технозаметки Малышева
8.27K subscribers
3.72K photos
1.4K videos
40 files
3.91K links
Новости инноваций из мира Искусственного Интеллекта. 🤖

Всё об ИИ, ИТ трендах и Технологической Сингулярности.

🤖: @ai_gptfreebot [бесплатный бот]
✍️: @tsingular_bot [каталог ботов и курсов]

💸[поддержка]: pay.cloudtips.ru/p/c8960bbb
Download Telegram
Коллекция техник RAG, - 15 базовых и 10 экспериментальных вариантов.

Corrective RAG - проверяет факты в реальном времени, валидирует ответы по источникам
Speculative RAG - предугадывает потребности пользователя, готовя ответы заранее
Agenetic RAG - адаптируется к пользователю со временем, учится на взаимодействиях
Self-RAG - самостоятельно оценивает точность своих ответов и улучшается
Adaptive RAG - подстраивается под контекст пользователя в реальном времени
Refeed Feedback RAG - улучшается на основе прямой обратной связи от пользователей
Realm RAG - комбинирует поиск с глубоким пониманием контекста
Raptor RAG - работает с иерархией данных
Replug RAG - интегрируется с внешними источниками
Memo RAG - сохраняет контекст между взаимодействиями с пользователем
Attention-Based RAG - фокусируется на ключевых элементах запроса
RETRO RAG - использует исторический контекст для ответов
Auto RAG - автоматизированная система поиска с минимальным участием человека
Cost-Constrained RAG - оптимизирует поиск с учетом ограничений по бюджету
ECO RAG - экологичный подход, минимизирующий энергопотребление

И еще 10 экзотических экспериментальных вариантов

Т.е. RAG можно вообще как отдельный модуль строить с коллекцией функций. Такой MegaRAG, где на входе будет еще один RAG оркестратор стоять и выбирать какой из RAGов подключить для решения задачи.

А тут еще больше разных техник:
https://github.com/NirDiamant/RAG_Techniques

#RAG #каталог #оркестраторы
-------
@tsingular
6🔥1
🔥 Multi-Agent Orchestrator — фреймворк, разработанный для управления несколькими AI-агентами!

💡 Он позволяет маршрутизировать запросы пользователей, обеспечивать управление контекстом взаимодействий и поддерживать масштабируемую архитектуру приложений.

🔍 Основные возможности:

🌟 Классификация запросов: Использует LLM для выбора наиболее подходящего агента на основе контекста, истории взаимодействий и описания агентов.

🌟 Гибкость агентов: Поддерживает интеграцию различных агентов, таких как Amazon Bedrock, OpenAI, AWS Lambda и прочих пользовательских решений.

🌟 Управление контекстом: Обеспечивает сохранение и использование истории взаимодействий для последовательных ответов.

🌟 Расширяемая архитектура: Легкая интеграция новых агентов и настройка существующих для решения задач в различных доменах.

🌟 Универсальное развертывание: Подходит для локальных и облачных окружений, включая AWS Lambda.

🔐 Лицензия: Apache-2.0

🖥 Github

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥6
Интересные результаты исследования о том, как форматирование ввода Markdown, YAML, JSON и обычного текста влияет на производительность моделей GPT.

В статье оцениваются только модели GPT, но известно, что это применимо и к другим моделям.

Например, старые версии Claude предпочитали XML (инструкции в <></> как раз отттуда).

Производительность модели может существенно различаться (до 40%) исключительно в зависимости от того, как отформатирована подсказка (см. рисунок).

Влияние одинаково для разных типов задач, от рассуждений до генерации кода.

Более крупные модели (например, GPT-4) обладают большей устойчивостью к изменениям формата по сравнению с более мелкими моделями, такими как GPT-3.5.

GPT-4-turbo имеет наиболее постоянную производительность для разных форматов (хотя все еще со значительным разбросом).

Различные модели показывают различные предпочтения для форматов подсказок, при этом GPT-3.5 работает лучше с JSON, а GPT-4 — с Markdown.

Эти предпочтения плохо переносятся между моделями, даже в пределах одного семейства (вероятно, из-за разных данных обучения).

На практике это означает, что форматы подсказок могут быть интересным параметром для оптимизации.

Исследование:
https://arxiv.org/abs/2411.10541

#JSON #YAML #Markdown #promptengeneering
———
@tsinuglar
👍6
AnythingLLM: фреймворк для запуска агентов локально с любым ИИ на выбор

Nvidia RTX анонсирует AnythingLLM, - решение для запуска локальных ИИ-агентов, работающих автономно без облака.

Удобное приложение обеспечивает выполнение многоэтапного планирования и решения задач на домашнем компьютере.

Встроены функции хранения и анализа документов, общение по ним, векторные хранилища любого вида, поддержка всех возможных ИИ провайдеров, - Mistral, Ollama, OpenAI, Anthropic.
Автоматически подтягивает все доступные модели по API ключу.
Интегрируется и общается с SQL базами, можно создавать агентов с разными функциями, вроде:
- поиск по интернету - причем с разными провайдерами на выбор
- сбор информации с сайтов, чтение содержимого
- работа с различными RAGами
- голосовое управление агентом

Ставится как десктопное приложение или можно в докере поднять на сервере и работать через WebUI!

Главное преимущество - полный контроль над данными и независимость от интернета.

Ну тут уж я фобию переборол, установил, - решение огонь.
Проверено, рекомендую!

#NVIDIA #AnythingLLM #RTX
-------
@tsingular
🔥6
Forwarded from Сиолошная
Китай наносить удар! дракон!

Вторая китайская команда, на этот раз Qwen-часть AliBaba, разродилась моделью. Тоже превью (все видимо ждут полную о1, чтобы начать релизить?), тоже без технических деталей и статьи, зато сразу с доступными весами:

https://huggingface.co/Qwen/QwQ-32B-Preview

Тем, кому хочется сразу помучить модель вопросами, без возни с GPU, можно поиграться тут: https://huggingface.co/spaces/Qwen/QwQ-32B-preview (пока очередь маленькая)

Блогпост

Ниже — картинка с метриками. Для 32B модели результаты очень-очень недурные — Qwen-2.5 и до этого считался очень сильной моделью (с которой даже иногда избегали сравнение другие авторы моделей, ахахха, чтобы не выглядеть на их фоне вторично), а тут в два раза меньшая моделька такие скачки совершает
🔥6
Forwarded from Метаверсище и ИИще (Sergey Tsyptsyn ️️)
This media is not supported in your browser
VIEW IN TELEGRAM
Веселых картинок вам с утра.

С кодом на процессинге.

@cgevent
🔥4
Создатели Android запускают ''/dev/agents' - новую ОС для ИИ-агентов

Команда экс-разработчиков Android, включая Хьюго Барра и Дэвида Синглтона, анонсировала амбициозный стартап.

Целью проекта будет создание облачной операционной системы нового поколения для автономных агентов.

Платформа предложит инновационный интерфейс и улучшенную защиту данных.

Разработчики ставят своей задачей упростить создание ИИ-решений, подобно тому как Android демократизировал мобильные технологии.

Похоже, грядёт новая операционная система, в которой ИИ будет не приложением поверх системы, а глубоко встроен в структуру, причем в виде агентов, а не просто модели.
Интересно, будет ли она такой же открытой, как Android? 🤔
Это же получается новый подкласс базовых моделей нужен на уровне ядра?
Причины синих экранов вообще теперь бесполезно будет искать... тупо чёрный ящик.

#Android #DevAgents #CloudOS
👌6👀4
Media is too big
VIEW IN TELEGRAM
CAT4D: революция в создании динамических 3D сцен из обычного видео от команды Google Deepmind

Система комбинирует видео-диффузионную модель с многоракурсным преобразованием и оптимизацией через гауссово представление.

Технология не нуждается в синхронизированной мультикамерной съёмке, восстанавливая даже скрытые участки сцены.

Обучение выполнено на смеси синтетических и реальных датасетов: Objaverse, Kubric, CO3D.

Обработка занимает 1 минуту на 16×A100 GPU, оптимизация - 25 минут на одной карте.

Сайт
Paper

#Cat4D #computervision #3Dreconstruction #Google ##Deepmind
———
@tsingular
🔥61👍1
BrainGPT обыграл нейробиологов в предсказании научных результатов

Университетский колледж Лондона создал специализированную нейромодель BrainGPT, которая превзошла учёных в точности предсказания итогов экспериментов.

В масштабном исследовании сравнили 15 различных LLM со 171 экспертом-нейробиологом.

Результаты впечатляют: искусственный разум показал точность 81% против 63% у людей.

А специально обученная на профильной литературе версия достигла рекордных 86% точности.
Методология применима во всех научных и технических областях.

Непонятно кто теперь будет верифицировать прогнозы ИИ, если он становится умнее учёных...
Ну или верификация будет занимать всё больше и больше времени.
Человек, - медленное слабое звено, получается. :)

#BrainGPT #UCL #BrainBench
-------
@tsingular
5🤨2
Приоритеты внедрения ген ИИ в ритейле на 2025

В сфере торговли прогнозируют массовое внедрение генеративного ИИ для автоматизации ключевых процессов.

Основной фокус будет направлен на персонализацию клиентского опыта через умные рекомендации и таргетированные рассылки.

Разработка продуктов ускорится благодаря автоматическому анализу рынка и генерации описаний.

Операционные процессы оптимизируют через единый разговорный интерфейс и автоматическую документацию.

Технологии позволят создавать предиктивные модели для прогнозирования спроса и управления запасами.

SouthChinaMorningPost
AWS AI for Retail

#Retail #Китай #AWS
-------
@tsingular
👍32
This media is not supported in your browser
VIEW IN TELEGRAM
OpenAI наконец-то запустили GPT Store.

https://gptstore.ai/

Год народ разрабатывал GPTs, теперь их можно будет начать монетизировать.

#GPTs #OpenAi #Store
———
@tsingular
👻1🆒1
Уроки с AWS: мульти-адаптерный LoRA оркестратор на SageMaker

Пример реализации конфигурации со множественными LoRA адаптерами на базе AWS через единое API SageMaker без необходимости перезагрузки endpoint.
Гибкая архитектура позволяет распределять нагрузку между GPU, CPU и локальными ресурсами.

Т.е. сначала мы динамически меняли промты под ситуацию, затем динамичный многокомпонентный RAG с доменными справочниками, теперь, вот пример с динамичным зоопарком LoRA адаптеров в виде готового фреймворка.

#SageMaker #LoRA #AWS #обучение
-------
@tsingular
Forwarded from Denis Sexy IT 🤖
Наткнулся на интересный ресеч рынка корпоративных LLM 2024:

— OpenAI потеряла за год 16% корпоративного рынка (не путаем с ChatGPT)
— Anthropic же приобрел на 12% долю рынка
— На втором слайде самые популярные юзкейсы LLM в корпоративном мире — на первом месте суммаризация
— У каждого крупного департамента в корпорациях появился бюджет на генеративный АИ и он растет
— Про архитектуры, третья картинка: RAG стал еще популярнее в корпо-мире, промпт инженеринг теперь мало кому интересен, как и файнтюнинг моделей под задачи, а вот агенты набирают обороты при выборе архитектуры
— Отдельно отмечено, что корпоративный мир выбирает генеративный АИ на основе качества генераций (в любом домене), так как для них часто это прямо влияет на скорость возврата инвестиций

Вставлю свои 5 копеек:
Мне тоже кажется 2025 год будет про агентов, так как наконец-то экономика генеративного АИ всем понятна

Файнтюны падают, потому что нет смысла — сейчас одна гигантская модель часто решает все задачи сразу (но кончено же есть исключения)

Промт инженеринг упал, потому что его уже пишут сами LLM и оно нормально работает

Агенты только-только начали свою бизнес-адаптацию и будут набирать обороты вплоть до AGI
👍92👌1👾1
This media is not supported in your browser
VIEW IN TELEGRAM
Langflow - шикарный визуальный конструктор RAG и мульти-агентных ИИ систем

Langflow,- open-source фреймворк для создания ИИ приложений без написания кода с интуитивным интерфейсом.

Компоненты, которые уже в комплекте:
- тексты, чаты, переменные, промпты.
- данные из API из файлов, директорий, SQL, URL и вебхуков
- обработка данных, фильтация, объединение, JSON, разделение, обновление, сообщения
- модели - оллама, антропик, openai, AWS, Cohere, Google, HF, LM Studio, Nvidia, Perplexity, Qianfan, Vertex etc...
- векторные хранилки 13+ разных, включая Chroma, Clickhouse, Elasticsearch, Milvus, MogoDB, OpenSearch и др.
- ембеддеры 15 интерфейсов для подлючения вообще любых
- агенты как модули потока
- долгосрочные хранилки как память
- API как tools для моделей
- langchain как подсистема
и много чего ещё.

А ещё там встроенный магазин коннекторов, в котором уже 1288 различных модулей от сообщества!

Важный момент, ставить лучше через uv.
Стандарный pip install langflow глючит!

pip install uv
uv pip install --upgrade langflow


Или Докер:
docker run -it --rm -p 7860:7860 langflowai/langflow:latest

#Langflow #Python #RAG #framework
-------
@tsingular
🔥9🐳2👍1🆒1
This media is not supported in your browser
VIEW IN TELEGRAM
Midjourney + Kling AI 1.5 Motion Brush

в первые дни зимы нейрорендер выглядит так.

Народ скрестил генерацию Midjourney и применил новую фишку Клинга - контроль движения.
Да, физика не соблюдается, - заметно по видеоряду много где, но в остальном, - огонь.

#Midjourney #Kling #нейрорендер
———
@tsingular
👍12
Media is too big
VIEW IN TELEGRAM
AWS re:Invent 2024: облачные сервисы умнеют и дешевеют

На этой неделе стартует AWS re:Invent 2024 и генеральный директор Matt Garman подсветил ряд ключевых анонсов.

Инференс становится базовым компонентом AWS наравне с compute/storage/databases, интегрируясь во все сервисы и при этом становиться ещё дешевле.
Инфраструктурное обновление сфокусировано на Trainium 2 чипах и оптимизации core-сервисов под gen AI, при этом компания масштабирует GPU-мощности и переходит на углеродно-нейтральную энергетику, включая ядерную.
Автономные агентные системы с оркестрацией через Lambda автоматизируют тысячи параллельных задач, а gen AI встраивается напрямую в операционную среду приложений, упрощая разработку и ускоряя миграцию legacy-систем из on-prem в облако.

Еще обещают, что AWS выпустит на re:Invent новую базовую модель Olympus.

Интересно, что ElevenLabs перевёл этот ролик за 1 минуту. GPU у них, конечно, с запасом.

#AWS #reInvent #ElevenLabs #переводы
-------
@tsingular
Forwarded from Метаверсище и ИИще (Sergey Tsyptsyn ️️)
This media is not supported in your browser
VIEW IN TELEGRAM
Виртуальная примерочная от Клинга, это конечно огнищще.

Еще полгода назад, мы тут взахлеб обсуждали одеваторы и раздеваторы фотачек.
А сейчас это происходит на видео!

Представляете, сколько там сейчас низковисящих фруктов для стартапов в области ритейла.
Кстати, если вы не в курсе, то у Амазона есть своя видеомоделька, для генерации превьюшек для товаров.
Но одежда - это конечно хит.

Рядом ждут своей очереди украшения, косметика, шляпы, очки, примерка, мать его, пирсинга и пр.
Читаем тут:
https://klingai.com/release-notes

В общем идете в Клинг
01. Select "Virtual Try-On"
02. Upload a garment
03. Upload a model
04. Generate Image
05. Generate Video

Midjourney промпт для картинки выше:
editorial photo, medium shot, asian female model with bleached blonde hair in a dynamic pose, wearing a short simple black outfit walking towards the camera, loft studio background with exposed brick and textures, 85mm high precision photo --ar 5:6 --q 2 --p--stylize 75

Kling промпт: the camera slowly zooms out as a woman walks towards us in a fashion photo shoot, 35mm style
забрал тут

@cgevent
🔥9👍6🍓1
Стартап Orange ускоряет перевод манги с помощью Claude

Orange внедрил модель Claude от Anthropic для автоматизации перевода японских комиксов на английский язык.
Процесс сократился с нескольких месяцев до пары дней благодаря автоматической обработке текста и генерации шрифтов.
Система учитывает специфику манги: звуковые эффекты, речевые пузыри, разделение предложений 🎨
Рынок комиксов в США достиг $880 млн и растёт до $3.71 млрд к 2030 году 📈
Профессиональные переводчики выражают обеспокоенность качеством работы и сохранением культурного контекста 🤔

Скоро и русские субтитры к аниме будут делать за 5 минут. Отаку будут счастливы! 😊

#Orange #Claude #manga
-------
@tsingular
🆒2👍1
Amazon выпускает семейство моделей Nova

Amazon представила комплексное семейство ИИ-моделей для работы с текстом, видео и изображениями.
Линейка включает Nova Micro (самая быстрая и дешёвая модель с контекстом в 128K), Nova Lite и Pro (мультимодалки с контекстом в 300K и возможностью анализировать до 30 минут видео в одном запросе), Nova Canvas для генерации изображений и Nova Reel для генерации видео из картинки.

Модели поддерживают 200+ языков (включая русский).

В 2025 году планируется выпуск флагманской модели Nova Premier с расширенными мультимодальными возможностями.

Интересное семейство моделей, по бенчмаркам идут практически на равных с Sonnet 3.5 и GPT 4o.
Зато свои. Для Амазона явный плюс.

#Amazon #Nova #Bedrock
-------
@tsingular
🔥4👍2🆒2