WhimRead 需要 JavaScript 才能使用站内搜索。
Whim
Read
随手一翻
发现
全部工具
推荐
惊喜
关于
搜索
English
Agent 基础设施
tensorsharp
zhongkaifu/tensorsharp
面
向
GGUF
模型
的
.
NET
本
地
推理
引擎,
提供
CLI、
网页
聊天
与
Ollama/OpenAI
兼容 API,
支持
多
种
GPU
后端。
去 GitHub 看仓库
复制链接
标签
gemma
inference
inference-engine
llm
qwen
transformers
gemma4
gguf
同类项目
bigmoeonedge
861
基于
llama.cpp
的
本地
MoE
推理
引擎,
按需
从
闪存流式
读取
专家
权重,
让
超出
显存
的
大模型
在
手机、
笔记本
和
服务器
上
运行。
koboldcpp
12.3k
单文件
免
安装
的
本地
大
模型
一体
应用,
内置
聊
天角色
扮演
与
多
模态生成界面。
sglang
38.9k
面
向
大模型
与
多
模态
模型
的
高性
能
推理
服务
框架,
优化
智
能
体
负载、
大规模
serving
与
强化
学习 rollout。
freetoken
17.3k
面
向
个
人
硬件
的
边缘
MoE
推理
引擎,
可
在
消费
级
GPU
上
运行
超大
开源
模型,
并
提供
桌面
应用、
CLI
与
OpenAI/Anthropic
兼容 API。
nano-vllm
16.4k
从
零实现
的
轻量
vLLM
推理
引擎,
代码
精简
可读,
推理
速度
可
比肩
原版vLLM。
LMCache
12.4k
面
向
大模型
推理
的
KV
缓存
管理层,
实现
跨
引擎持久化
复用
与
可
观测,
显著降低
首字
延迟
提升
吞吐。
679
gemma,inference,inference-engine
面向 GGUF 模型的 .NET 本地推理引擎,提供 CLI、网页聊天与 Ollama/OpenAI 兼容 API,支持多种 GPU 后端。
←
上一个
banger-editor
下一个
→
envharness