English
Agent 基础设施

mesh-llm

mesh-llm/mesh-llm

把多台机器的 GPU 与内存聚合成统一 OpenAI 兼容 API 的分布式 LLM 推理服务,支持模型分片与私有或公网 mesh。

标签