WhimRead 需要 JavaScript 才能使用站内搜索。
Whim
Read
随手一翻
发现
全部工具
推荐
惊喜
关于
搜索
English
Agent 基础设施
krasis
brontoguana/krasis
一
个
可
在
消费
级
NVIDIA GPU
上
运行
超大
MoE
模型
的
本地
LLM
推理
运行
时,
兼容
OpenAI API。
去 GitHub 看仓库
复制链接
标签
cpu-inference
gguf-model-support
gpu-inference
hybrid-inference
inference-engine
inference-optimization
large-language-models
llm-inference
同类项目
llm-inference-engineering
515
系统
讲
解LLM
推理
工程
的
博客
教程系列,
覆盖
注意力
优化、
引擎
原理
与
硬件
基础。
kimi-k3-in-c
12.1k
用
纯C
实现
的
超大
MoE模型
CPU
推理
引擎,
无
依赖
流式
加载权重,
在
单机
低
内存下生成
文本
mlx-dspark
742
苹果
芯片
上
原生
的
推测
解码
加速
推理
引擎,
兼容
多
模型
并
提供
本
地
API
服务。
litgpt
13.8k
提供
20
多
种
大模型
实现
与
预训练、
微调、
量化、
部署
全
流程
配方
的
高性
能
LLM
开发
框架。
lmdeploy
8.1k
面
向
LLM
的
压缩部署
推理
工具包,
提供
高吞吐
推理
引擎、
量化
与
多机
服务
能力,
支持众
多
开源
模型。
plano
7.1k
面
向
智
能
体
应用
的
代理
数
据面,
集中
处理
模型
路由、
智
能
体
编排、
护
栏
过滤
与
全链
路
可
观测
追踪
能力。
530
cpu-inference,gguf-model-support,gpu-inference
一个可在消费级 NVIDIA GPU 上运行超大 MoE 模型的本地 LLM 推理运行时,兼容 OpenAI API。
←
上一个
panel
下一个
→
hiqlite