WhimRead 需要 JavaScript 才能使用站内搜索。
Whim
Read
随手一翻
发现
全部工具
推荐
惊喜
关于
搜索
English
库 / 框架
llm-compressor
vllm-project/llm-compressor
面
向
vLLM 部署
的
LLM
量化
压
缩库,
提供
GPTQ、
AWQ、
SmoothQuant
等
算法,
将
模型
压成 FP8/INT4
等
格式。
去 GitHub 看仓库
复制链接
标签
compression
quantization
同类项目
aimet
2.7k
Qualcomm
的
AI 模型
效率
工
具包,
对
PyTorch/ONNX 模型
做训练
后量化、
量化
感知
训练
与
剪枝
压缩,
便于
端侧
部署。
PaddleSlim
1.6k
PaddlePaddle
的
深度
学习
模型
压缩库,
提供量化、
剪枝、
知识
蒸馏
与
神经
网络
结构
搜索,
帮助
开发者
压缩并
加速
模型
部署。
nncf
1.2k
面
向
OpenVINO
推理
的
神经
网络
压缩框架,
为
PyTorch、
ONNX
等
模型
提供
训练
后量化、
量化
感知
训练
与
剪枝
等
算法。
faster-whisper
26.7k
基于
CTranslate2
的
Whisper语
音
转写
推理
库,
更
快
更
省
内存,
支持量化
与
词级
时间
戳。
turbovec
17.5k
基于
TurboQuant
的
进程
内
向量
索
引库,
Rust
实现
附Python
绑定,
低
内存
高召回。
lz4
12.8k
极快
的
无损压
缩算法
实现,
提供
C
库
与
命令
行
工具,
解压
速度
可
达
数
GB/s,
广泛
用于
开发
项目
的
数据
压缩。
3978
compression,quantization
面向 vLLM 部署的 LLM 量化压缩库,提供 GPTQ、AWQ、SmoothQuant 等算法,将模型压成 FP8/INT4 等格式。
←
上一个
tox
下一个
→
RAGatouille