WhimRead 需要 JavaScript 才能使用站内搜索。
Whim
Read
随手一翻
发现
全部工具
推荐
惊喜
关于
搜索
English
Agent 基础设施
shimmy
Michael-A-Kuykendall/shimmy
纯 Rust
编写
的
本地
GGUF
推理
服务器,
兼容
OpenAI API,
可
加载模型
并
在
本机
GPU
上
提供
聊天
与
文本
补
全
服务。
去 GitHub 看仓库
复制链接
标签
llama
llamacpp
llm-inference
ollama-api
command-line-tool
gguf
inference-server
local-ai
同类项目
koboldcpp
12.3k
单文件
免
安装
的
本地
大
模型
一体
应用,
内置
聊
天角色
扮演
与
多
模态生成界面。
llamafile
26.6k
将
大模型
打包
为
单文件
可
执行
程序,
无
需
安装即
可
在
多
系统本
地
运行
LLM
与
语音识别。
lmdeploy
8.1k
面
向
LLM
的
压缩部署
推理
工具包,
提供
高吞吐
推理
引擎、
量化
与
多机
服务
能力,
支持众
多
开源
模型。
lemonade
6.3k
在
自有
电脑
上
运行
与
服务
优化
大
模型
的
本地
AI
服务器,
支持
聊天、
代码、
语音
与
图像
模型,
对
外
提供
标准
推理
接口。
OGAM
3.4k
手机
和
Mac
上
的
离线
AI
套件,
集成
本
地
大
模型、
图像
生成、
视觉、
语音
转写、
工具
调用
和
知识库。
off-grid-mobile-ai
3.4k
可
在
iOS/Android/macOS 离线
运行
的
本地
AI
套件,
支持
文本
与
图像
生成、
视觉、
语音
转写、
工具
调用、
项目
知识库
和
多
模型
管理。
6023
llama,llamacpp,llm-inference
纯 Rust 编写的本地 GGUF 推理服务器,兼容 OpenAI API,可加载模型并在本机 GPU 上提供聊天与文本补全服务。
←
上一个
MangoDisk
下一个
→
agentteams