WhimRead 需要 JavaScript 才能使用站内搜索。
Whim
Read
随手一翻
发现
全部工具
推荐
惊喜
关于
搜索
English
Agent 基础设施
project-maya
mw00/project-maya
Project Maya
是
本
地
大模型
推理
引擎,
可
在
自有
GPU
上
运行
GLM、
DeepSeek、
MiniMax
并
提供
兼容 API
与
面板。
去 GitHub 看仓库
复制链接
标签
cuda
glm
glm-5
llm
llm-inference
local-llm
mixture-of-experts
moe
同类项目
sglang
38.9k
面
向
大模型
与
多
模态
模型
的
高性
能
推理
服务
框架,
优化
智
能
体
负载、
大规模
serving
与
强化
学习 rollout。
inferssd
1.2k
基于
llama.cpp
的
本地
大模型
推理
引擎,
从 SSD
流式
加载
MoE
专家,
让
超出
内存
或
显存
的
大模型
也
能
运行。
freetoken
17.3k
面
向
个
人
硬件
的
边缘
MoE
推理
引擎,
可
在
消费
级
GPU
上
运行
超大
开源
模型,
并
提供
桌面
应用、
CLI
与
OpenAI/Anthropic
兼容 API。
TensorRT-LLM
15.1k
英伟
达
开源
的
大模型
推理
优化
库,
提供
高效
内核
与
运行
时,
支撑
高性
能
部署。
LMCache
12.4k
面
向
大模型
推理
的
KV
缓存
管理层,
实现
跨
引擎持久化
复用
与
可
观测,
显著降低
首字
延迟
提升
吞吐。
lmdeploy
8.1k
面
向
LLM
的
压缩部署
推理
工具包,
提供
高吞吐
推理
引擎、
量化
与
多机
服务
能力,
支持众
多
开源
模型。
2993
cuda,glm,glm-5
Project Maya 是本地大模型推理引擎,可在自有 GPU 上运行 GLM、DeepSeek、MiniMax 并提供兼容 API 与面板。
←
上一个
typeshare
下一个
→
ReadAny