在您的应用中本地部署LLM/VLM/TTS模型的跨平台框架。
支持Flutter、React-Native和Kotlin多平台。
支持您在Huggingface上找到的任何GGUF模型;Qwen、Gemma、Llama、DeepSeek等。
运行LLM、VLM、嵌入模型、TTS模型等。
支持从FP32到低至2位量化模型,提高效率并减少设备负担。
支持Jinja2的聊天模板和令牌流。
https://github.com/cactus-compute/cactus
支持Flutter、React-Native和Kotlin多平台。
支持您在Huggingface上找到的任何GGUF模型;Qwen、Gemma、Llama、DeepSeek等。
运行LLM、VLM、嵌入模型、TTS模型等。
支持从FP32到低至2位量化模型,提高效率并减少设备负担。
支持Jinja2的聊天模板和令牌流。
https://github.com/cactus-compute/cactus
GitHub
GitHub - cactus-compute/cactus: Cross-platform framework for deploying LLM/VLM/TTS models locally on smartphones.
Cross-platform framework for deploying LLM/VLM/TTS models locally on smartphones. - cactus-compute/cactus
😁3