JustVugg/colibri
A hierarchical inference engine for frontier MoE models: hot experts on the GPU (CUDA, Vulkan), warm ones in RAM, cold ones streamed from NVMe. Written in C, runs on the hardware you already own.
C · ★ 47,519 · Fork 5,487 · 在 GitHub 查看
在手机上浏览源码、订阅每日 AI 趋势日报与项目架构深度解读:获取 CopoHub 客户端(iOS & HarmonyOS)→
GitHub Trending 上榜记录
JustVugg/colibri 已在 GitHub Trending 每日榜单上榜 11 天,最高排名第 1,首次上榜 2026-09-10,最近一次上榜 2026-11-04。
| 日期 | 排名 | Star | 当日增长 |
|---|---|---|---|
| 2026-11-04 | #4 | 47,519 | +802 |
| 2026-11-03 | #4 | 47,215 | +803 |
| 2026-11-02 | #10 | 46,502 | +655 |
| 2026-09-18 | #15 | 35,948 | +873 |
| 2026-09-17 | #3 | 35,707 | +1,546 |
| 2026-09-16 | #2 | 34,957 | +2,026 |
| 2026-09-15 | #1 | 33,698 | +2,173 |
| 2026-09-14 | #1 | 31,920 | +2,233 |
| 2026-09-13 | #1 | 29,659 | +960 |
| 2026-09-11 | #12 | 27,598 | +98 |
| 2026-09-10 | #12 | 27,422 | +157 |
同期上榜的项目
- NVIDIA/auto-ontology – Auto Ontology is a Python framework for building semantic, graph-based reasoning layers over data. It enables deterministic query generation, better context retrieval, and more explainable AI for LLM and agent workflows.
- max-sixty/worktrunk – Worktrunk is a CLI for Git worktree management, designed for parallel AI agent workflows
- mattpocock/skills – Skills for Real Engineers. Straight from my .agents directory.
- floci-io/floci – Light, fluffy, and always free - The AWS Local Emulator alternative
- thedotmack/claude-mem – Persistent Context Across Sessions for Every Agent – Captures everything your agent does during sessions, compresses it with AI, and injects relevant context back into future sessions. Works with Claude Code, OpenClaw, Codex, Gemini, Hermes, Copilot, OpenCode + More
- vercel-labs/agent-desktop – Computer use CLI for AI agents
colibri 项目深度剖析与商业评估报告
colibri 项目深度剖析与商业评估报告
1. 核心定位与商业落地价值
colibri 直击大模型推理领域最尖锐的成本矛盾:前沿 MoE 模型的参数规模已远超单机内存容量,而稀疏激活特性使得绝大多数参数在单 token 推理中并不需要驻留。项目以 744B 的 GLM-5.2 为参考实现,证明仅需 9.9 GB 常驻内存(dense 部分 int4)+ 370 GB 磁盘(19,456 个路由专家流式加载),即可在 25 GB 消费级笔记本上完成推理。
其商业价值的核心不在"跑得动",而在于将推理的资本开支从 GPU 显存密度转移到存储带宽。企业级落地场景明确:
数据主权敏感行业(法律、医疗、金融):无需 API 租用即可持有 744B 级模型权重,规避数据出境与供应商锁定; 成本敏感的长尾推理:以 NVMe 吞吐替代 H100 集群,单 token 边际成本可测算且可控; 异构存量硬件复用:Vulkan 后端支持 ROCm 已弃养的 RX 580,CUDA 后端可降至 Pascal/Turing(CUDAARCH=portable-pre-ampere NOTC=1),显著延长企业 IT 资产周期。
竞品差异化护城河:相较于 llama.cpp(偏重 dense 量化)、vLLM(依赖高显存 GPU 集群)、kTransformers(Python 运行时依赖),colibri 的护城河是"纯 C 零依赖 + 存储层级统一调度 + 路由感知的权重 JIT"三位一体。Apache 2.0 许可 + 单 C 文件架构使其具备极强的可审计性与嵌入式部署潜力,这是 Python 生态栈难以复制的。
2. 核心架构设计与技术深度
项目采用"一模型一引擎,共享头文件"的横向切分架构,这是本仓库最具工程智慧的设计决策:
在 README 中展示上榜徽章
[](https://github.fq6825.top/repo/JustVugg/colibri)