dcgm-exporter - эспортер prometheus метрик для NVIDIA GPU DCGM

https://github.com/NVIDIA/dcgm-exporter

Grafana дашбоард: https://grafana.com/grafana/dashboards/12239

опубликовано в @gitgate

#moni #nvidia #dcgm #exporter #prometheus

nvidia-fan-control - утилита Linux для мониторинга температуры графического процессора и динамического управления скоростью вращения вентиляторов графического процессора NVIDIA с использованием NVML.

Требования:

- графические процессоры NVIDIA с поддержкой NVML
- драйверы NVIDIA 520 или выше

https://github.com/ZanMax/nvidia-fan-control

опубликовано в @gitgate

#nvidia #cli #utils #moni

GPU-hot - панель мониторинга SSH не требуется.

Возможности:
- показатели в реальном времени (менее секунды)
- автоматическое определение наличия нескольких графических процессоров
- мониторинг процессов (PID-регуляторы, использование памяти)
- исторические графики (использование, температура, мощность, время)
- системные показатели (процессор, оперативная память)
- масштабирование от 1 до 100+ графических процессоров

Метрики:
- использование
- температура
- память
- потребляемая мощность
- скорость вращения вентилятора
- тактовые частоты
- информация о PCIe, P-State
- состояние ограничения нагрузки
- сессии кодировщика/декодера.

https://github.com/psalias2006/gpu-hot

Опубликовано в @gitgate

#mini #nvidia #webui

nbd-vram - используйте видеопамять вашей видеокарты NVIDIA в качестве пространства подкачки в Linux.

Проект создан для ноутбуков с гибридной графикой, с припаянной памятью и без возможности апгрейда. Дисплей работает от встроенного графического процессора AMD/ATI. Видеокарта NVIDIA большую часть времени простаивает, её видеопамять полностью не используется. Это позволяет использовать видеопамять в качестве высокоприоритетного файла подкачки.

Порядок переполнения: сначала заполняется ОЗУ, затем видеопамять поглощает излишки (PCIe), затем zram сжимает оставшуюся память (CPU), затем SSD только если все остальное исчерпано.

https://github.com/c0deJedi/nbd-vram

Опубликоввано в @gitgate

#swap #gpu #laptop #linux #memory #nbd #nvidia #vram

vLLM - простой, быстрый и недорогой сервис LLM для всех.

vLLM обеспечивает бесперебойную поддержку более 200 архитектур моделей на платформе HuggingFace, включая:
- LLM-ы, работающие только с декодером (например, Llama, Qwen, Gemma)
- Mixture-of-Expert LLMs (например, Mixtral, DeepSeek-V3, Qwen-MoE, GPT-OSS).
- гибридные модели (например, Mamba, Qwen3.5)
- мультимодальные модели (например, LLaVA, Qwen-VL, Pixtral)
- модели встраивания и поиска (например, E5-Mistral, GTE, ColBERT)
- reward модели и модели классификации (например, Qwen-Math)

Возможности:
- бесшовная интеграция с популярными моделями Hugging Face.
- высокопроизводительное обслуживание с использованием различных алгоритмов декодирования, включая параллельную выборку, поиск по лучу и другие.
- параллельная обработка тензоров, конвейеров, данных, экспертов и контекста для распределенного вывода
- потоковые выходы
- генерация структурированных выходных данных с использованием xgrammar или guidance
- парсеры вызова инструментов и логических рассуждений
- сервер API, совместимый с OpenAI, а также поддержка Anthropic Messages API и gRPC.
- эффективная поддержка нескольких LoRA для плотных и MoE-слоев.
- поддержка графических процессоров NVIDIA, AMD и процессоров x86/ARM/PowerPC. Кроме того, поддерживаются различные аппаратные плагины, такие как Google TPU, Intel Gaudi, IBM Spyre, Huawei Ascend, Rebellions NPU, Apple Silicon, MetaX GPU и другие.

https://github.com/vllm-project/vllm

Опубликоввано в @gitgate

#ai #llm #api #openai #grpc #nvidia #amd #cpu