Там llama-3 наконец-то починили! В llama.cpp была ошибка в обработке пре-токенизатора, из-за этого на языках, отличных от английского, были проблемы с ошибками и интеллектом. Проблем не было только в неквантованных весах и в загрузчике exllama. В koboldcpp обновление еще не завезли, но должны на днях. Чтобы все заработало, рекомендуют переквантовать/перекачать новые gguf llama-3 и всех файнтюнов, которые вышли на ее основе. Но так же есть вариант с добавлением параметра --override-kv tokenizer.ggml.pre=str:llama3 в llama.cpp (для main.exe или server.exe)

Я протестировал именно его, без переквантования gguf. По моим замерам количество речевых ошибок на русском действительно уменьшилось, процентов на 20-30. На скрине - количество хороших и плохих ответов на один и тот же развернутый вопрос в роулплей диалоге на русском. В talk-llama-fast пока нет поддержки, когда-нибудь добавлю.

гайд от Google Cloud по обобщению длинных документов

Google Cloud Workflows помогает автоматизировать и упорядочить использование LLM, таких как PaLM и Gemini от Vertex AI, для обобщения длинных документов.

Два основных подхода: map/reduce (документ разбивается на секции, обобщаемые параллельно) и итеративное уточнение (последовательное обобщение с учетом контекста).

Workflows позволяет эффективно распараллелить обобщение секций методом map/reduce, что существенно быстрее итеративного подхода.

Подпроцесс в Workflows инкапсулирует вызов моделей Gemini по REST API с заданными параметрами, такими как температура и максимальная длина обобщения.

mapreduce - сто бед, - один ответ :) 🚀

#GoogleCloud #Workflows #Summarization #обобщение
-------
@tsingular

Microsoft: ИИ - это "новый цифровой вид"

Глава Microsoft AI Мустафа Сулейман считает, что ИИ станет нашим "цифровым компаньоном и партнёром". 🤝💻
По его мнению, все сайты в будущем обзаведутся "разговорным интерфейсом" с личным ИИ-ассистентом.
ИИ будет "бесконечно знающим, точным и надёжным", с высоким IQ и EQ. 🧠❤️
Он сможет выполнять задачи в цифровом и физическом мире, став нашим компаньоном, коллегой, другом и партнёром.
Сулейман оптимистичен насчёт будущего ИИ, несмотря на потенциальные риски.
Критики указывают на недостающие детали в его видении, такие как вытеснение рабочей силы и нагрузка на модераторов контента.

#Microsoft #Suleyman #DigitalSpecies
-------
@tsingular

Amazon открыла для всех Q - продвинутого ИИ-ассистента для бизнеса

Amazon Q - передовой генеративный ИИ-помощник для ускорения разработки ПО и работы с внутренними данными компаний выпущен в коммерческий релиз. 🚀
Он не только генерирует код, но и тестирует, отлаживает, оптимизирует и внедряет его.
Amazon Q упрощает получение ответов на вопросы по корпоративным данным, подключаясь к репозиториям для обобщения, анализа и диалога.
Включает модули:
- Q Developer - для помощи разработчикам с кодированием, тестированием, безопасностью
- Q Business - ассистент для сотрудников, генерирующий контент на основе корпоративных систем
- Q Apps - для создания ИИ-приложений без программирования
AWS предлагает бесплатное обучение Amazon Q в рамках программы "AI Ready".

Теперь любая компания сможет внедрить свой ChatGPT, заточенный под свой бизнес, не покидая инфраструктуру AWS.
Конкуренция MS Copilot, получается.

#AmazonQ #Enterprise #Q
-------
@tsingular

Upwork запускает ИИ-платформу Uma для автоматизации найма фрилансеров

Upwork представил платформу Uma на базе ИИ для автоматизации процесса найма фрилансеров.
Uma использует ИИ для сопоставления навыков фрилансеров с требованиями проектов, создания вакансий, анализа резюме и подбора подходящих кандидатов.

По простому промпту позволяет создать развёрнутое описание задания и уточнить детали.

Роботы-работорговцы chek ✅

#Upwork #freelance #automation

Это было 3000 лет тому назад.
Был там.

😀

#GPUfarm #AIfarm
------
@tsingular

Краткий курс по LLM от Ян ЛеКуна :)

#Yann #LeCun #LLMcourse
———
@tsingular

GLaDOS из Portal ожила благодаря NVIDIA Jetson

Дэйв Нивински создал интерактивного GLaDOS на базе NVIDIA Jetson.
Робот распознаёт речь, синтезирует голос и понимает команды.
Для реалистичных ответов GLaDOS юзает OpenChat LLM.
А Unitree Z1 рука с камерой следит за человеком.
Среди других победителей Hackster AI Innovation Challenge:
- EdgeStyle для виртуальной примерки шмоток
- An Eye for an Item для поиска потерянных вещей

Вот это я понимаю, игра переходит в реальность! 🎮🤖

«Надо отдать тебе должное. Разбудить меня - очень здравая мысль.»
«В следующем испытании используются турели. Светлые сферические штуковины с пулями."
(с) ГЛаДОС

#NVIDIA #Jetson #Portal #GLaDOS
———
@tsingular

ChatRTX добавляет новые модели ИИ и функции

ChatRTX позволяет взаимодействовать с локальными данными, используя ПК и рабочие станции на базе NVIDIA RTX.
Добавлена поддержка новых языковых моделей (LLM): Gemma от Google и ChatGLM3 (англо-китайская).
Поддержка CLIP от OpenAI для взаимодействия с изображениями через естественный язык.
Whisper позволяет осуществлять голосовые запросы и получать текстовые ответы.

Качаем обновление, получается.
Интересно, когда он превратиться в интерактивного ассистента.

#NVIDIA #RTX #ChatRTX
-------
@tsingular

Новый бенчмарк для оценки рисков безопасности языковых моделей

Представлен новый эталонный тест CyberSecEval 2 для оценки рисков и возможностей языковых моделей (LLM) в области кибербезопасности. 🔒
Тест охватывает различные аспекты безопасности LLM:
- Инъекцию вредоносных команд 💉
- Эксплуатацию уязвимостей 🎯
- Злоупотребление кодовыми интерпретаторами 💻
Введена метрика False Refusal Rate (FRR) для количественной оценки баланса между безопасностью и полезностью LLM.
Выявлены уязвимости LLM к инъекции вредоносных команд, все протестированные модели подвержены этой угрозе. 😱
Указана необходимость дальнейших исследований для повышения безопасности LLM перед их автономным использованием. 🔍

Получается, пока LLM нельзя доверять серьезные задачи без присмотра. Но где наша не пропадала!
(c) ClaudeOpus

#CyberSecEval #LLM #security
-------
@tsingular

Sanctuary AI и Microsoft работают над созданием ИИ для универсальных роботов

Sanctuary AI и Microsoft объединяют усилия для создания передовых моделей ИИ, применимых в универсальных человекоподобных роботах.

Компания разрабатывает «Большие поведенческие модели» (LBM) на базе языковых моделей, которые позволят роботам обучаться на реальном опыте.

Используется система управления Carbon и инфраструктура Azure от Microsoft.️

Роботы компании уже выполняют сотни задач в реальном бизнесе, охватывая 15 отраслей.

#SanctuaryAI #Microsoft #robotics

Улучшения в генераторе музыки Udio:

* Модель теперь может держать голове контекст 2 минут трека вместо 30 секунд ранее. А значит структурно композиции будут более консистентными и не терять нить на 3-ей минуте.

* Генерить можно до 15 минут, что подойдёт для прог-рока, эмбиента, гоа-транса, или даже подкастов.

* Чтобы не заблудиться ответвлениях, генерируемые варианты теперь сгруппированы в дерево: видно где дочерний трек, а где родительский.

* И наконец-то можно выделить конкретный кусок композиции, на основе которого нужно расширить трек, а ненужное вырезать.

Всем накинули 200 кредитов.

Погнали генерить музыку!
Подробнее про Udio

Пользователь Meta* Quest 3 показал, как можно оживить воспоминания с помощью функции пространственных видеороликов. Отснятый материал загружается через мобильное приложение Meta* Quest, преобразуется и отправляется на гарнитуру.

* Meta признана в России экстремистской организацией и запрещена.

Сайт | YouTube | VK | TG

MAMBA для начинающих: Нейронка, которая лучше и быстрее, чем Трансформеры

Мамба — архитектура нейронной сети, конкурирующая с трансформерами.

Основываясь на улучшенных рекуррентных нейронных сетях (RNN), Мамба использует линейные функции, позволяющие эффективно обрабатывать большие объёмы данных с минимальными вычислительными затратами.

Разработка показала интересные результаты даже на моделях с несколькими миллиардами параметров.

Мамба способна работать с более крупными контекстами при меньшем объеме расчетов, чем трансформеры, что делает её особенно ценной для задач, требующих обработки большого массива информации.
Проблемы с исчезающими градиентами, характерные для RNN, в Мамбе решаются через инициализацию весов и настройку параметров угла и магнитуды.

Интересный подход. Есть, правда, проблемы с распараллеливанием, но для общего развития ролик полезный.

#CNN, #RNN, #Mamba
-------
@tsingular

Архитектуры ИИ агентов для рассуждений и планирования: обзор

Рассмотрены одно- и многоагентные архитектуры ИИ, их преимущества и ограничения.
Ключевые компоненты агентов: персона, роль, набор инструментов.
Методы улучшения рассуждения и планирования: ReAct, RAISE, Reflexion, AutoGPT+P, LATS.
Параллельное выполнение задач в многоагентных системах.
Рассмотрены проблемы групповых бесед и обмена информацией между агентами.
Влияние ролей и динамических команд агентов.
Ограничения: сложность логики, галлюцинации, локальные минимумы.
Актуальные задачи: всесторонние оценки, применимость, смягчение предубеждений.

Интересный обзор архитектур по работе с мультиагентными системами.

#AgentArchitectures #ReinforcementLearning #MultiAgentSystems

KAN - новая архитектура нейросетей на основе теоремы Колмогорова-Арнольда

KAN (Kolmogorov-Arnold Networks) - альтернатива многослойным перцептронам. 🧠💡
Ключевые особенности KAN:
- Функции активации на ребрах, а не нейронах
- Основана на теореме Колмогорова-Арнольда об аппроксимации функций
- Вместо весов обучаются функции на ребрах, в нейронах - их суммирование
- Для обучения функций используются сплайны 📈
- Масштабируется за счет композиции матриц обучаемых функций на каждом слое
Авторы разработали библиотеку pykan для работы с KAN. 🐍🔧

Потенциально, это может перевернуть глубокое обучение. Ждем бенчмарков! 🤯📊

#KAN #NeuralNetworks #MachineLearning
-------
@tsingular

Регулярно спрашивают,- что почитать, где поучиться этим вашим ИИ.
Ну нет ничего проще и бесплатнее, чем курс HuggingFace на русском языке.

Курс научит основам обработки естественного языка (NLP) с использованием таких библиотек, как:
- 🤗 Transformers
- 🤗 Datasets
- 🤗 Accelerate
- 🤗 Tokenizers
А также работе с репозиторием Hugging Face Hub.
Материалы курса включают теорию, практические упражнения и блокноты Jupyter с кодом.

#HuggingFace #NLPcourse #transformers
------
@tsingular

OpenBioLLM-70B: прорыв в сфере биомедицинского ИИ

Компания Saama AI Labs представила открытую языковую модель OpenBioLLM-70B, специализированную на биомедицинской тематике.
Основана на Llama-3-70B-Instruct и зафайнтюнена на Custom Medical Instruct dataset (который выложат попозже), модель превосходит в специализированных тестах GPT-4, Gemini и Med-PaLM.
Она эффективно анализирует сложные клинические записи, извлекает ключевую информацию и генерирует структурированные резюме.
OpenBioLLM-70B распознает медицинские концепты, классифицирует документы и обеспечивает конфиденциальность данных.
Однако, несмотря на впечатляющие результаты, модель пока не рекомендуется применять в клинической практике без дополнительного тестирования.

Ну раз уж многие врачи и так уже ходят к ИИ за консультацией, пусть уже ходят к специализированным нейронкам что-ли.

#OpenBioLLM #SaamaAILabs #BiomedicineAI
-------
@tsingular

Amazon представил новую модель для векторного эмбеддинга Titan V2

Новая версия модели оптимизирована под наиболее распространенные кейсы, такие как RAG, мультиязычные задачи и встраивание кода.
V2 гораздо быстрее V1 (логично), но, что интересно на порядок дешевле.

2 цента за 1 млн токенов

Модель обучена на более чем 100 языках и показывает неплохие результаты на бенчмарках MTEB (SFR -one love все-равно).
Максимальная размерность вектора - 1024 (такое)...
Всем ли подойдет, - не понятно, нужно тестировать. Хотелось бы 4096.

#Amazon #TitanEmbeddings #NLP
-------
@tsingular

Оракл, тем временем, просто выпустил новую базу со встроенной векторизацией и векторным поиском.

т.е. все эти полезные для ИИ упражнения будут исполняться фоном, без необходимости установки отдельной базы.

когда уже в MySQL добавят.

#Oracle #Database23ai
———
@tsingular

Новый алгоритм MaxDiff RL ускоряет и улучшает обучение роботов

Ученые из Северо-Западного инженерного института (США) создали алгоритм ИИ MaxDiff RL, позволяющий роботам быстрее и надежнее обучаться новым навыкам с первой попытки.

Традиционное машинное обучение хорошо работает для бестелесных ИИ-систем вроде языковых моделей, но не подходит для физической среды, как у роботов. MaxDiff RL решает эту проблему, обеспечивая сбор качественных данных роботами в движении.

Ключевая идея - побуждать роботов исследовать среду максимально случайно, собирая разнообразный опыт. Такая "спроектированная случайность" улучшает качество данных.

Алгоритм подходит для разных задач робототехники, от мобильных роботов до стационарных манипуляторов.
Ученые считают, он позволит повысить надежность принятия решений умными роботами.

#MaxDiffRL #robotics #NorthwesternEngineering