WhimRead 需要 JavaScript 才能使用站内搜索。
Whim
Read
随手一翻
发现
全部工具
推荐
惊喜
关于
搜索
English
Agent 基础设施
bigmoeonedge
helldez/bigmoeonedge
基于
llama.cpp
的
本地
MoE
推理
引擎,
按需
从
闪存流式
读取
专家
权重,
让
超出
显存
的
大模型
在
手机、
笔记本
和
服务器
上
运行。
去 GitHub 看仓库
复制链接
标签
android
cpp
edge-ai
gguf
inference
llama-cpp
llm
mixture-of-experts
同类项目
inferssd
1.2k
基于
llama.cpp
的
本地
大模型
推理
引擎,
从 SSD
流式
加载
MoE
专家,
让
超出
内存
或
显存
的
大模型
也
能
运行。
beellama.cpp
1.2k
llama.cpp
的
性能
优化
分支,
加入
KVarN KV cache
量化、
精度
尾段
与
低比
特缓存,
提升
本
地
GGUF
推理
速度
与
上
下文。
tensorsharp
679
面
向
GGUF
模型
的
.
NET
本
地
推理
引擎,
提供
CLI、
网页
聊天
与
Ollama/OpenAI
兼容 API,
支持
多
种
GPU
后端。
atomic-agent
3.7k
本
地
优先
的
通用
智
能
体,
可
浏览
网页、
读写
文件、
执行
命令
并
跨会
话
记忆,
通过
终端
直接
使用。
OGAM
3.4k
手机
和
Mac
上
的
离线
AI
套件,
集成
本
地
大
模型、
图像
生成、
视觉、
语音
转写、
工具
调用
和
知识库。
off-grid-mobile-ai
3.4k
可
在
iOS/Android/macOS 离线
运行
的
本地
AI
套件,
支持
文本
与
图像
生成、
视觉、
语音
转写、
工具
调用、
项目
知识库
和
多
模型
管理。
861
android,cpp,edge-ai
基于 llama.cpp 的本地 MoE 推理引擎,按需从闪存流式读取专家权重,让超出显存的大模型在手机、笔记本和服务器上运行。
←
上一个
DirectXMesh
下一个
→
wanix