English
Agent 基础设施

bigmoeonedge

helldez/bigmoeonedge

基于 llama.cpp 的本地 MoE 推理引擎,按需从闪存流式读取专家权重,让超出显存的大模型在手机、笔记本和服务器上运行。

标签