English
库 / 框架

llm-compressor

vllm-project/llm-compressor

面向 vLLM 部署的 LLM 量化压缩库,提供 GPTQ、AWQ、SmoothQuant 等算法,将模型压成 FP8/INT4 等格式。

标签