English
Agent 基础设施

exllamav3

turboderp-org/exllamav3

面向消费级 GPU 的本地 LLM 量化与推理库,支持 EXL3 量化、张量并行、CPU offload 与 OpenAI 兼容服务。