English
Agent 基础设施

shimmy

Michael-A-Kuykendall/shimmy

纯 Rust 编写的本地 GGUF 推理服务器,兼容 OpenAI API,可加载模型并在本机 GPU 上提供聊天与文本补全服务。

标签