OpenRouter Bot - позволяет за несколько минут запустить своего Telegram бота для общения с бесплатными и платными моделями ИИ через OpenRouter, или локальными LLM, например, через LM Studio.

Этот репозиторий является форком проекта openrouter-gpt-telegram-bot, который реализует форматирование Markdown в ответах бота и оптимизирует процесс запуска в контейнере.

https://github.com/Lifailon/openrouter-bot

Автор проекта наш соотечественник Alex Kup - @Lifailon Не забудьте поддержать, поставив звезду в репку !

опубликовано в @gitgate

#tg #telegram #bot #ai #llm

Nano-vLLM - облегченная реализация vLLM, созданная с нуля.

Возможности:
- быстрый офлайн-вывод - скорость вывода сравнима с vLLM
- читабельная кодовая база - чистая реализация примерно в 1200 строках кода Python
- набор для оптимизации - кэширование префиксов, тензорный параллелизм, компиляция Torch, график CUDA и т. д.

Опубликовано в @gitgate

#llm #ai