English
Agent 基础设施

inferssd

wici-ai/inferssd

基于 llama.cpp 的本地大模型推理引擎,从 SSD 流式加载 MoE 专家,让超出内存或显存的大模型也能运行。

标签