WhimRead 需要 JavaScript 才能使用站内搜索。
Whim
Read
随手一翻
发现
全部工具
推荐
惊喜
关于
搜索
English
Agent 基础设施
beellama.cpp
anbeeld/beellama.cpp
llama.cpp
的
性能
优化
分支,
加入
KVarN KV cache
量化、
精度
尾段
与
低比
特缓存,
提升
本
地
GGUF
推理
速度
与
上
下文。
去 GitHub 看仓库
复制链接
标签
ggml
kv-cache
llama-cpp
llm-inference
quantization
inference
llm
llm-serving
同类项目
LMCache
12.4k
面
向
大模型
推理
的
KV
缓存
管理层,
实现
跨
引擎持久化
复用
与
可
观测,
显著降低
首字
延迟
提升
吞吐。
qwen38-27b-rtx3090
2.8k
让
Qwen
大模型
在
单张
消费
级
显卡上
高速
推理
的
vLLM
补丁
与量化
部
署
方案。
bigmoeonedge
861
基于
llama.cpp
的
本地
MoE
推理
引擎,
按需
从
闪存流式
读取
专家
权重,
让
超出
显存
的
大模型
在
手机、
笔记本
和
服务器
上
运行。
llm-action
25.3k
大模型
工程化
实战
知识库,
系统
整理
训练、
微调、
推理
优化
与
应用
落地
的
教程
与
代码。
sglang
38.9k
面
向
大模型
与
多
模态
模型
的
高性
能
推理
服务
框架,
优化
智
能
体
负载、
大规模
serving
与
强化
学习 rollout。
nano-vllm
16.4k
从
零实现
的
轻量
vLLM
推理
引擎,
代码
精简
可读,
推理
速度
可
比肩
原版vLLM。
1195
ggml,kv-cache,llama-cpp
llama.cpp 的性能优化分支,加入 KVarN KV cache 量化、精度尾段与低比特缓存,提升本地 GGUF 推理速度与上下文。
←
上一个
printpdf
下一个
→
dsh-windows-mcp