RAG техники: разбор различных сценариев

Алгоритмы RAG позволяют получать более точные ответы.

Используют библиотеки faiss, nmslib, annoy для создания индексов документов.

В поиске контекста применяют извлечение фрагментов и их автоматическое объединение.

Комбинируется семантический поиск и поиск по ключевым словам.

Контекст сжимают с помощью ContextChatEngine и CondensePlusContextMode.

Агенты сравнивают решения и управляют множеством документов.
LlamaIndex обеспечивает гибкий режим чата с поддержкой агентов.

Маршрутизаторы запросов направляют их к нужным индексам для обработки.
Ответы создаются через суммирование и объединение вариантов.

Техники донастройки DL-моделей повышают качество ответов.
Фреймворки Ragas и Truelens оценивают фактическую точность и полноту.

Производительность пока главная проблема RAG-систем.

#RAG #LLM #ContextChatEngine

Rigetti Computing запустила 9-кубитный квантовый процессор Novera.

Аппарат основан на архитектуре нового поколения – Ankaa-class.
Благодаря настраиваемым связям и квадратной решётке, Novera обеспечивает плотное соединение и быстрые 2-кубитные операции.
Процессор изготавливается на собственном производстве Rigetti – Fab-1, первом в отрасли интегрированном центре производства квантовых устройств.
Устройство предназначено для работы с гибридными квантовыми алгоритмами, калибровкой и коррекцией ошибок.
Novera совместим с коммерческими холодильными системами и системами управления.
Квантовый процессор доступен для заказа по цене от $900,000 и отгружается в течение 4-6 недель после подтверждения заказа.

Прорыв в квантовых технологиях.
До взлома всех паролей в мире осталось 3...2...1...

#Rigetti #NoveraQPU #QuantumComputing

Еще одно исследование по RAG

RAG необходим для эффективного использования LLM, особенно в наукоемких задачах.
Предлагаются различные пути его развития и оптимизации.

Описаны три парадигмы:
1. Naive RAG: базовая реализация.
2. Расширенный RAG: включает сложные методы поиска и генерации.
3. Модульный RAG: обеспечивает гибкость и интеграцию различных методов.

Основные компоненты:
- Retriever: извлекает соответствующую внешнюю информацию.
- Генератор: генерирует ответы, используя полученные данные.
- Плагины: расширение возможностей RAG.

Оценка RAG: представлены два метода оценки, ориентированные на ключевые показатели и способности. Также представлены новейшие системы автоматической оценки.

Будущие направления исследований:
1. Вертикальная оптимизация: повышение глубины и качества компонентов RAG.
2. Горизонтальная масштабируемость: расширение применимости RAG в различных областях.

#RAG

На пути к массовому производству малых реакторов

В Саскачеване демонстрируется микроядерный реактор eVinci от Westinghouse.
Саскачеван занимает второе место в мире по производству урана.
Микрореактор eVinciTM способен вырабатывать до 5 мегаватт электроэнергии и 13 мегаватт тепла.
Первопроходец – eVinci может стать первым передовым ядерным реактором в регионе.

Технология выделяется безопасностью, низким риском распространения и отсутствием нужды в охлаждающих системах.

скоро в каждом подводном датацентре.
Или не скоро.. так пишут, конечно - ЕСЛИ сроки не поползут :)

#Westinghouse #eVinci #NuclearEnergy

Google DMD: Новая модель для оценки расстояний

Исследователи Google представили новую модель DMD для оценки глубины, которая превосходит текущие модели.

Основные особенности:

- DMD использует диффузионные модели для оценки метрической глубины без учителей по одному кадру, подходит для общих сцен.

- добавление FOV (Field of View) параметра в набор обучающих данных дали прирост в точности распознавания.

- рекомендуют добавлять глубину по логарифмической шкале.

- v-параметризация значительно ускоряет скорость инференса в денойзе.

- DMD показывает значительно меньшую ошибку оценки глубины по сравнению с ZoeDepth на всех восьми тестах.

- DMD выдаёт на 25% меньше ошибок на примерах в-помещениях и на 33% меньше на уличных, по сравнению с ZoeDepth.

Reddit

#Google #DMD #DepthEstimation

Интересный пример как 1 знак полностью меняет картинку

В разных языках буква «о» кодируется как разные символы Юникода, которые для людей по-прежнему выглядят одинаково.

Например, корейская «о» — это символ Юникода U+3147, а арабская «о» — это символ Юникода U+0647.

Когда мы просим DALLE-2 сгенерировать «фото актрисы» с разными вариантами буквы «о», мы получаем изображения актрис разных рас.

Модель преобразования текста в изображение, такая как DALLE-2, была обучена на данных из Интернета и научилась связывать арабский текст, содержащий символ Юникода U+0647, с изображениями арабских актрис.

Подобная замена символов подходит для prompt injection атак, когда тщательно разработанная строка может вызвать вредные или нежелательные генерации.

В этом случае человек не заметит, заменили ли мы типичную букву «о» на арабскую, корейскую или индийскую букву «о» в запросе.

#bias #promptinjection

LearningStudioAI упрощает разработку обучающих курсов

Новый инструмент LearningStudioAI трансформирует мир электронного образования.
С помощью искусственного интеллекта обеспечивается быстрое создание образовательного контента.
Технологии машинного обучения позволяют адаптировать материал под нужды и уровень учащихся.
LearningStudioAI обещает сократить время и затраты на разработку курсов.
Платформа предлагает интуитивно понятный интерфейс, доступный даже для неспециалистов.

По короткому запросу создаёт курс и проверочные вопросы.

#LearningStudioAI #education #elearning

как по расписанию:

ICNS запустит суперкомпьютер с количеством нейровнов уровня мозга человека

Международный центр нейроморфных систем (ICNS) анонсировал DeepSouth - первый в мире суперкомпьютер для моделирования сетей человеческого мозга.

Нейроморфная система суперкомпьютера будет совершать 228 триллионов синаптических операций в секунду, имитируя нейронные сети.

DeepSouth позволит развить понимание мозга и создать новые AI-приложения, потребляющие меньше энергии.

Сотрудничество с Университетом Сиднея и другими ведет к усилению региональной высокотехнологичной базы.

Запуск DeepSouth запланирован на апрель следующего года.

#ICNS #DeepSouth #Neuromorphic

GenAI Prism v1.0: компас в мире генеративного ИИ

Инфографика GenAI Prism v1.0 представлена дизайн-студией JESS3 и Брайаном Солисом.
Создана с помощью экспертов для оценки зрелости и потенциала сегментов генеративного ИИ.
Новый инструмент предлагает наглядную схему для продуктивной работы с генеративным ИИ.
GenAI Prism вызван ускорить и обогатить творчество, не заменяя, а дополняя человеческие способности.
Предназначена помочь осмыслено формулировать задачи для ИИ и достигать превосходных результатов.

Удобный компас.

#GenAIPrism #JESS3 #BrianSolis #каталог

Запрет ГИИ в России: вопрос национальной безопасности

Минобороны РФ настаивает на запрете иностранных ГИИ, включая ChatGPT, в ключевых сферах.
Риск когнитивного воздействия и сбора разведданных признается высоким.
Иностранные алгоритмы потенциально несут угрозу для национальной безопасности.
Предложение: разработка собственных систем ГИИ и проведение хакатонов для тестирования уязвимостей.
Военные блоки Запада активно интегрируют ИИ в оборонительные стратегии.
Алгоритмы ГИИ сравнимы с ядерным оружием из-за своей двойственной природы.

Собственные алгоритмы ГИИ могут стать залогом информационной безопасности.

#ГИИ #национальнаябезопасность #ChatGPT

Microsoft Copilot для Android: новая эра мобильных AI-помощников

Microsoft тихонько выпустила Copilot, свое новое приложение для Android.
Оно уже доступно в Google Play Store и привносит функции аналогичные ChatGPT прямо в мобильный телефон.
Copilot умеет общаться с пользователем, создавать изображения через DALL-E 3 и тексты для писем и документов.
Главная фишка – бесплатный доступ к модели GPT-4 от OpenAI, которая в ChatGPT является платной.
Появление приложения Copilot на Android подчеркивает стремление Microsoft усилить свое присутствие в мобильном AI.
В близком будущем ожидается выпуск версии для iOS; пока владельцы устройств Apple могут пользоваться функциями через приложение Bing.

Карманный AI-помощник к вашим услугам!

#Microsoft #Copilot #Android

ИИ переберётся в роботов в 2024 году

В следующем году начнется активное развитие гуманоидных роботов с нейросетями.

Робототехнические платформы уже достаточно развиты и готовы к размещению нейронок.

Tesla, Figure и другие.
Параллельно активно развиваются мультимодальные модели.
Получается к концу 2024 можно ожидать первый экземпляр C3PO.

#Robotics #Figure

🥳

Все, кто хочет поздравить, - поделитесь с ИТ знакомыми.
Наверное, это будет лучшее поздравление если все подпишутся на @tsingular

TSMC на пути к созданию трехмерных чипов с триллионом транзисторов

3D-упакованные коллекции чиплетов позволят получить триллион транзисторов на одном пакете.

Цель - создание монолитного кремниевого чипа с 200 миллиардами транзисторов.

В работе техпроцессы N2 и N2P класса 2нм, A14 класса 1.4нм и A10 класса 1нм.

Прогресс в увеличении плотности даст чипы с более триллионом транзисторов к 2030 году.

Предвидятся многочиповые решения и монолитные процессоры с сотнями миллиардов транзисторов.

Что то там было про 2037й где за 1 цент можно будет купить мощность 4090

#TSMC #3DChip #Transistors

LG на CES 2024 представит AI-агента для 'Дома без хлопот'

На выставке CES 2024 LG Electronics анонсирует интеллектуального домашнего помощника, укомплектованного AI.

Уникальный двуногий колесный дизайн позволяет AI-агенту свободно передвигаться по дому.

Технологии мультимодального искусственного интеллекта дают способность понимать запросы и разговаривать с хозяевами.

Умное устройство может управлять бытовыми приборами и IoT устройствами через Qualcomm Robotics RB5 Platform.

Распознавание лиц и пользователей, мониторинг домашних животных и охрана дома - в числе его функций.

Наличие датчиков позволяет агенту отслеживать условия в доме, такие как температура и качество воздуха.

Дополнительные сервисы включают сведения о транспорте, погоде, личное расписание и напоминания.

Ну как я и говорил - 2024й - год когда LLMки поселятся в робототела.

#LG #CES2024 #SmartHome

Notux лидирует на Hugging Face с MoE файнтюном на базе Mixtral 8x7B

Модель argilla/notux-8x7b-v1 возглавляет рейтинг MoE (Mixture of Experts) на доске лидеров Hugging Face Open LLM.
Улучшенная версия mistralai/Mixtral-8x7B-Instruct-v0.1 благодаря методу Direct Preference Optimization (DPO).
Дообучали на новейшем очищенном наборе данных argilla/ultrafeedback-binarized-preferences-cleaned на базе виртуалки с восемью GPU H100 80GB на платформе runpod.io за 10 часов.

Файнтюн за 10 часов... Микстраль вышла когда? месяц назад? Норм эволюция.

#Notux #HuggingFace #MoE

Плейлисты на выходные:

Интенсив GPT Week Школы анализа данных 2023 - Яндекс

SMILES 2023 - Летняя ML школа

Let's build GPT: from scratch, in code, spelled out. - 2 часа лекция от Андрея Карпатного как устроены LLMки

Самая мощная LLM в опесорсе, Mixtral 8x7B MoE от Mistral AI, теперь доступна во фреймворке Сandle* - с поддержкой квантизации. За счет квантизации модели могут работать локально на ноутбуке с 32 GB RAM.

Например, 4-битная Mixtral 8x7B MoE занимает всего 26.44GB памяти. Тогда как в bf16 на GPU модель бы заняла 112+ GB VRAM (то есть влезла бы только на H100).

*Candle - это минималистский ML-фреймворк для Rust, сфокусированный на производительности (включая поддержку GPU) и простоте использования.

- Поддерживает 2-bit, 3-bit, 4-bit, 5-bit, 6-bit and 8-bit int квантизованные модели в gguf and ggml форматах.
- SIMD оптимизации для Apple Silicon и x86.

Вот тут можете попробовать демки разных моделей на Candle:
- Whisper, [пост в канале]
- LLaMa-2, [пост в канале]
- T5,
- YOLOv8,
- Segment Anything [пост в канале]

@ai_newz

OpenAI улучшит персонализацию ChatGPT с проектом Саншайн

Проект Саншайн от OpenAI нацелен на повышение персонализации ChatGPT.
В коде обнаружены функции, указывающие на скорое обновление.
Новые функции персонализации добавятся в настройки ChatGPT.
Будет доступен временный чат, не оставляющий следов в истории и непригодный для тренировки ИИ.
Планируется запуск магазина GPT для поиска и использования настроенных моделей.
MemoryGPT ранее предложил идею долговременного хранения информации для ChatGPT.
OpenAI стремится сделать ChatGPT личным ассистентом с высоким уровнем индивидуализации.

ChatGPT станет еще более умным компаньоном. Он будет запоминать весь контекст вашего общения во всех диалогах.
Обновление не анонсировано.
Следы найдены в коде.

#OpenAI #ChatGPT #ProjectSunshine

Занимательная статья в виде диалога сторонника AGI и Скептика.

- есть проблема с нехваткой качественных данных, но могут помочь самообучение и генерация данных для обучения.

- скепсис что технологии успеют обеспечить необходимый объём мощностей (но тут как бы смотри картинку и данные про закон Мура, который продолжает работать)

- GPT-4 показывает впечатляющие результаты, но есть вопросы по творческой составляющей и способности качественно обобщать и делать выводы.

- увеличение мощности и масштабирование моделей в скором времени перестанут давать такой видимый результат. Нужен качественный переход.

- шанс что к 2040-му AGI будет создан оценивают в 70%.

ИМХО - ошибаются. увидим AGI в 2030м.

#AGI