OpenRouter Bot - позволяет за несколько минут запустить своего Telegram бота для общения с бесплатными и платными моделями ИИ через OpenRouter, или локальными LLM, например, через LM Studio.

Этот репозиторий является форком проекта openrouter-gpt-telegram-bot, который реализует форматирование Markdown в ответах бота и оптимизирует процесс запуска в контейнере.

https://github.com/Lifailon/openrouter-bot

Автор проекта наш соотечественник Alex Kup - @Lifailon Не забудьте поддержать, поставив звезду в репку !

опубликовано в @gitgate

#tg #telegram #bot #ai #llm

Nano-vLLM - облегченная реализация vLLM, созданная с нуля.

Возможности:
- быстрый офлайн-вывод - скорость вывода сравнима с vLLM
- читабельная кодовая база - чистая реализация примерно в 1200 строках кода Python
- набор для оптимизации - кэширование префиксов, тензорный параллелизм, компиляция Torch, график CUDA и т. д.

https://github.com/GeeeekExplorer/nano-vllm

Опубликовано в @gitgate

#llm #ai

llmfit - сотни моделей и поставщиков AI. Одна команда, чтобы узнать, что работает на вашем оборудовании.

Инструмент для терминала, который оптимизирует размеры моделей LLM в соответствии с оперативной памятью, процессором и видеокартой вашей системы. Он определяет ваше оборудование, оценивает каждую модель по таким параметрам, как качество, скорость, соответствие и контекст, и сообщает, какие из них действительно будут хорошо работать на вашей машине.

Поставляется с интерактивным графическим интерфейсом пользователя (по умолчанию) и классическим режимом командной строки. Поддерживает многопроцессорные конфигурации, архитектуры MoE, динамический выбор квантизации, оценку скорости и локальные поставщики среды выполнения (Ollama, llama.cpp, MLX).

https://github.com/AlexsJones/llmfit

Опубликовано в @gitgate

#ai #tui #llm

Claude Usage Bar - приложение для панели меню, отображающее использование вами сервиса Claude в режиме реального времени.

Возможности:
- специально разработано для отслеживания использования Claude Pro и Max.
- отображает текущий процент использования сессии в строке меню.
- отображает еженедельные лимиты использования (для всех моделей и только для Sonnet).
- отображает дополнительные расходы и остаток на балансе.
- цветовая кодировка значков: зеленый (< 80%), оранжевый (80-95%), красный (> 95%).
- встроенные уведомления при достижении пороговых значений использования 80% и 95%.
- автоматическое обновление каждые 5 минут (с возможностью ручного обновления)
- дополнительная опция автоматического запуска при входе в систему.

https://github.com/mnapoli/claude-usage-bar

Опубликовано в @gitgate

#ai #gui #llm

llm-checker

- интеллектуальный селектор моделей Ollama

Интерфейс командной строки на основе искусственного интеллекта, который анализирует ваше оборудование и рекомендует оптимальные модели LLM.
Детерминированная оценка на основе более чем 200 динамических моделей (более 35 тщательно отобранных резервных вариантов) с калибровкой памяти на аппаратном уровне.

Выбор подходящей модели LLM для вашего оборудования - сложная задача. Учитывая тысячи вариантов моделей, уровней квантования и конфигураций оборудования, для поиска оптимальной модели необходимо понимать пропускную способность памяти, ограничения видеопамяти и характеристики производительности.

LLM Checker решает эту проблему. Он анализирует вашу систему, оценивает каждую совместимую модель по четырем параметрам (качество, скорость, соответствие, контекст) и за считанные секунды предоставляет практические рекомендации.

https://github.com/Pavelevich/llm-checker

Опубликовано в @gitgate

#llm #ai #tools #cli

Octo - небольшой, полезный помощник по программированию, похожий на головоногих моллюсков, который работает с любым API LLM, совместимым с OpenAI или Anthropic, и позволяет переключаться между моделями по своему желанию во время разговора, если конкретная модель зависает. Octo может дополнительно использовать (и мы рекомендуем использовать) модели машинного обучения, которые мы специально обучили и открыли для автоматической обработки ошибок вызова инструмента и редактирования кода от основных моделей программирования, с которыми вы работаете: модели автоисправления работают с любым LLM для программирования. Octo отлично работает с Kimi K2.5, MiniMax M2.5, GPT-5.3 и Claude 4.6 (хотя подойдет практически любая агентная модель программирования). Octo хочет помочь вам, потому что Octo - ваш друг.

Octo не использует телеметрию. Использование Octo с поставщиком LLM, ориентированным на конфиденциальность означает, что ваш код остается вашим. Но вы также можете использовать его с любым API-провайдером, совместимым с OpenAI, с Anthropic или с локальными LLM, которые вы запускаете на своем компьютере.

https://github.com/synthetic-lab/octofriend

Опубликовано в @gitgate

#ai #llm #openai #gpt #claude

RustRAG - система знаний для LLM, которую можно быстро развернуть через Docker и использовать как основу для внутренних чат-ботов, техподдержки, персональных ассистентов и других сценариев, где требуется собственный контур хранения и выдачи знаний.

Проект позволяет загружать файлы, документы, изображения и ссылки, извлекать из них текст и структуру, строить эмбеддинги, векторный индекс и граф связей, а затем использовать эту базу знаний через UI или подключать к любым ИИ-агентам через MCP.

Возможности:

- загрузка документов, веб-страниц и изображений в общую базу знаний;
- поддержка форматов txt, md, csv, json, yaml, xml, html, pdf, docx, pptx, а также изображений png, jpg, jpeg, gif, webp, svg, tiff, heic и других текстовых форматов;
- извлечение текста, построение векторов и графа сущностей/отношений;
- встроенный ассистент в UI для проверки ответов по выбранной библиотеке;
- подключение агентных клиентов через MCP;
- выбор разных моделей для различных этапов обработки;
- учет расходов на уровне документа, сайта и библиотеки;
- гибкая настройка прав: только чтение, доступ к отдельным библиотекам или запись для самообновления базы ИИ агентом;
- готовая инфраструктура с UI, API и служебными компонентами в одном развёртывании.

В планах:

- редактирование графа напрямую из UI;
- поддержка аудио и видео с преобразованием в базу знаний и векторное представление;
- SaaS-режим: систему можно будет либо развернуть у себя, либо использовать как внешний сервис.

Подход проекта - предоставить не отдельные компоненты для ручной сборки очередного RAG-стека, а целостную систему, которую можно быстро запустить и использовать в прикладных задачах.

https://github.com/mlimarenko/RustRAG

Поделился автор: Mikhail - @leader_lm

Опубликовано в @gitgate

#rust #rag #llm #mcp #docker #ai #chatbot #knowledgebase

LLM Wiki - персональная база знаний, которая формируется сама собой.
LLM читает ваши документы, создает структурированную вики-систему и поддерживает ее в актуальном состоянии.

Возможности:
- двухэтапная цепочка обработки информации: LLM сначала анализирует данные, а затем генерирует вики-страницы с отслеживанием источника и инкрементальным кэшированием.
- граф знаний 4-Signal: модель релевантности с прямыми связями, пересечением источников, моделью Адамика-Адара и сходством типов.
- Louvain Community Detection: автоматическое обнаружение кластеров знаний с оценкой сплоченности.
- Graph Insights: неожиданные связи и пробелы в знаниях с помощью глубокого исследования в один клик.
- векторный семантический поиск: опциональный поиск на основе встраивания данных через LanceDB, поддерживает любые конечные точки, совместимые с OpenAI.
- постоянная очередь загрузки: последовательная обработка с восстановлением после сбоя, отменой, повторной попыткой и визуализацией хода выполнения.
- импорт папок: рекурсивный импорт папок с сохранением структуры каталогов и контекста папок в качестве подсказки для классификации LLM.
- глубокие исследования: поисковые запросы по темам, оптимизированные для LLM, многопоточный веб-поиск, автоматическая загрузка результатов в вики.
- асинхронная система проверки: LLM помечает элементы для оценки человеком, предопределенных действий и предварительно сгенерированных поисковых запросов.
- Chrome Web Clipper: захват веб-страниц одним щелчком мыши с автоматической загрузкой в ​​базу знаний.

https://github.com/nashsu/llm_wiki

Опубликовано в @gitgate

#ai #llm #wiki