WhimRead 需要 JavaScript 才能使用站内搜索。
Whim
Read
随手一翻
发现
全部工具
推荐
惊喜
关于
搜索
English
Agent 基础设施
LMCache
LMCache/LMCache
面
向
大模型
推理
的
KV
缓存
管理层,
实现
跨
引擎持久化
复用
与
可
观测,
显著降低
首字
延迟
提升
吞吐。
去 GitHub 看仓库
复制链接
标签
amd
cuda
inference
kv-cache
llm
pytorch
rocm
vllm
同类项目
sglang
38.9k
面
向
大模型
与
多
模态
模型
的
高性
能
推理
服务
框架,
优化
智
能
体
负载、
大规模
serving
与
强化
学习 rollout。
nano-vllm
16.4k
从
零实现
的
轻量
vLLM
推理
引擎,
代码
精简
可读,
推理
速度
可
比肩
原版vLLM。
inference
9.7k
统
一
的
大模型
推理
服务库,
一
条
命令部署
开源
模型,
兼容OpenAI
接口
并
支持
分
布式
运行。
beellama.cpp
1.2k
llama.cpp
的
性能
优化
分支,
加入
KVarN KV cache
量化、
精度
尾段
与
低比
特缓存,
提升
本
地
GGUF
推理
速度
与
上
下文。
TensorRT-LLM
15.1k
英伟
达
开源
的
大模型
推理
优化
库,
提供
高效
内核
与
运行
时,
支撑
高性
能
部署。
vllm-omni
7.8k
面
向
全
模态
模型
的
推理
与
服务
框架,
支持
文本、
图像、
音频、
视频
与
动作生成
及
OpenAI
兼容 API。
12375
amd,cuda,inference
面向大模型推理的KV缓存管理层,实现跨引擎持久化复用与可观测,显著降低首字延迟提升吞吐。
←
上一个
jedis
下一个
→
camofox-browser