This media is not supported in your browser
VIEW IN TELEGRAM
LocalAI: открытый фреймворк для запуска любых моделей локально
Это настолько круто, что должно быть запрещено
LocalAI невероятный комбайн на С++ и Go на котором можно запускать вообще все что угодно локально и даже без GPU (помянем конечно храбрецов, которые решат это попробовать, но все же)
Поддерживаются форматы GGUF, Transformers, Diffusers и полностью совместима с API OpenAI, Elevenlabs, Anthropic.
Огромный встроенный каталог моделей поддерживает генерации:
текст, эмбеддинг модели, текст-в-картинку (SD, Flux и др), текст-в-голос, голос-в-голос (клонирование), голос-в-текст
Мультимодальные модели,- распознаёт картинки и видео!
Поддерживаются P2P вычисления! Т.е. можно подключиться к облачному кластеру огромного размера!
Есть поддержка режима работы ИИ рой!
Работает как через WebUI, так и через командную строку так же просто, как Ollama:
local-ai run llama-3.2-1b-instruct:q4_k_m
может даже вызывать модели от ollama :)
local-ai run ollama://gemma:2b
(просто троллинг какой-то)
В общем, Ollama и LMStudio и GPT4All и Nvidia ChatRTX можно отменять.
Установка:
curl https://localai.io/install.sh | sh
#LocalAI #opensource
———
@tsingular
Это настолько круто, что должно быть запрещено
LocalAI невероятный комбайн на С++ и Go на котором можно запускать вообще все что угодно локально и даже без GPU (помянем конечно храбрецов, которые решат это попробовать, но все же)
Поддерживаются форматы GGUF, Transformers, Diffusers и полностью совместима с API OpenAI, Elevenlabs, Anthropic.
Огромный встроенный каталог моделей поддерживает генерации:
текст, эмбеддинг модели, текст-в-картинку (SD, Flux и др), текст-в-голос, голос-в-голос (клонирование), голос-в-текст
Мультимодальные модели,- распознаёт картинки и видео!
Поддерживаются P2P вычисления! Т.е. можно подключиться к облачному кластеру огромного размера!
Есть поддержка режима работы ИИ рой!
Работает как через WebUI, так и через командную строку так же просто, как Ollama:
local-ai run llama-3.2-1b-instruct:q4_k_m
может даже вызывать модели от ollama :)
local-ai run ollama://gemma:2b
(просто троллинг какой-то)
В общем, Ollama и LMStudio и GPT4All и Nvidia ChatRTX можно отменять.
Установка:
curl https://localai.io/install.sh | sh
#LocalAI #opensource
———
@tsingular
👍9⚡1
🚀 Ollama выпустила настольное приложение под Windows и Mac
Поддерживает:
- Drag & drop для файлов (PDF, текст) — прямая обработка документов с которыми можно пообщаться прямо в чате.
- Динамическая настройка контекстного окна для больших документов
- Мультимодальная поддержка — изображения + текст (Gemma 3 и аналогичные)
- Встроенный чат-интерфейс вместо CLI-команд
#Ollama #LocalAI
———
@tsingular
Поддерживает:
- Drag & drop для файлов (PDF, текст) — прямая обработка документов с которыми можно пообщаться прямо в чате.
- Динамическая настройка контекстного окна для больших документов
- Мультимодальная поддержка — изображения + текст (Gemma 3 и аналогичные)
- Встроенный чат-интерфейс вместо CLI-команд
#Ollama #LocalAI
———
@tsingular
👍11⚡5❤3
TrendMicro: обзор уязвимостей LLM моделей
Trend Micro выпустила обзор основных уязвимостей больших языковых моделей.
Исследователи выделили три ключевые поверхности атак: прямое внедрение промптов, бэкдоры через RAG и эксплуатацию доверия между агентами.
Особенно уязвимы мультиагентные системы - они создают новые векторы атак в дополнение к традиционным уязвимостям.
Недавно обнаружили CVE-2024-7475 с оценкой 9.1 по шкале CVSS в проекте LocalAI, позволяющую выполнять произвольный код.
Атаки на уровне GPU могут снизить точность модели с 80% до 0.1% - "катастрофическое повреждение мозга".
Изучаем внимательно.
#TrendMicro #cybersecurity #LocalAI
———
@tsingular
Trend Micro выпустила обзор основных уязвимостей больших языковых моделей.
Исследователи выделили три ключевые поверхности атак: прямое внедрение промптов, бэкдоры через RAG и эксплуатацию доверия между агентами.
Особенно уязвимы мультиагентные системы - они создают новые векторы атак в дополнение к традиционным уязвимостям.
Недавно обнаружили CVE-2024-7475 с оценкой 9.1 по шкале CVSS в проекте LocalAI, позволяющую выполнять произвольный код.
Атаки на уровне GPU могут снизить точность модели с 80% до 0.1% - "катастрофическое повреждение мозга".
Изучаем внимательно.
#TrendMicro #cybersecurity #LocalAI
———
@tsingular
✍6❤3⚡1
🔥 Ноутбуки превращаются.. превращаются ноутбуки...
Индустрия ПК переживает самую радикальную трансформацию за 25 лет.
Причина — гонка за возможность запускать AI-модели локально, без облака.
Техническая эволюция:
- NPU становятся стандартом - специализированные чипы для матричных вычислений добавляются в каждое устройство, как когда-то математические со-процессоры.
- Рост производительности: от 10 TOPS (2023) до 350 TOPS в Dell Pro Max Plus AI PC. Qualcomm, AMD, Intel удвоили показатели за год.
- Unified Memory Architecture - 25-летняя концепция раздельной памяти CPU/GPU отмирает. AMD Ryzen AI Max например уже объединяет CPU+GPU+NPU на одном кристалле с доступом к общим 128 GB RAM. Apple делал это уже давно, теперь подтягиваются Windows-производители.
- Intel+Nvidia альянс — бывшие конкуренты объединяются для производства чипов с общей памятью и встроенным NPU.
- Microsoft AI Foundry Local — runtime-стек с каталогом тысяч open-source моделей. Автоматическая маршрутизация задач между CPU/GPU/NPU. Поддержка LoRA и RAG на устройстве.
Цена прогресса:
Unified architecture, с другой стороны, делает невозможными апгрейды. CPU, GPU, NPU, память спаяны намертво, как в MacBook или смартфонах, только теперь еще и с NPU.
На практике это несёт много плюсов:
- Задержка ниже облака
- Приватность данных на устройстве
- Работа без интернета
- Батарея держится дольше, за счет того, что NPU жрет меньше GPU
Qualcomm вообще заявляет: "Хотим полноценный AGI на мобильных устройствах". :)
В общем, ноутбуки превращаются в планшеты.
Устарел - выкинул, взял новый, но с AGI.
#NPU #UnifiedMemory #LocalAI #ноутбуки
———
@tsingular
Индустрия ПК переживает самую радикальную трансформацию за 25 лет.
Причина — гонка за возможность запускать AI-модели локально, без облака.
Техническая эволюция:
- NPU становятся стандартом - специализированные чипы для матричных вычислений добавляются в каждое устройство, как когда-то математические со-процессоры.
- Рост производительности: от 10 TOPS (2023) до 350 TOPS в Dell Pro Max Plus AI PC. Qualcomm, AMD, Intel удвоили показатели за год.
- Unified Memory Architecture - 25-летняя концепция раздельной памяти CPU/GPU отмирает. AMD Ryzen AI Max например уже объединяет CPU+GPU+NPU на одном кристалле с доступом к общим 128 GB RAM. Apple делал это уже давно, теперь подтягиваются Windows-производители.
- Intel+Nvidia альянс — бывшие конкуренты объединяются для производства чипов с общей памятью и встроенным NPU.
- Microsoft AI Foundry Local — runtime-стек с каталогом тысяч open-source моделей. Автоматическая маршрутизация задач между CPU/GPU/NPU. Поддержка LoRA и RAG на устройстве.
Цена прогресса:
Unified architecture, с другой стороны, делает невозможными апгрейды. CPU, GPU, NPU, память спаяны намертво, как в MacBook или смартфонах, только теперь еще и с NPU.
На практике это несёт много плюсов:
- Задержка ниже облака
- Приватность данных на устройстве
- Работа без интернета
- Батарея держится дольше, за счет того, что NPU жрет меньше GPU
Qualcomm вообще заявляет: "Хотим полноценный AGI на мобильных устройствах". :)
В общем, ноутбуки превращаются в планшеты.
Устарел - выкинул, взял новый, но с AGI.
#NPU #UnifiedMemory #LocalAI #ноутбуки
———
@tsingular
✍12🔥10🤔6❤4⚡4💯3