CopoHub Trending

JustVugg/colibri

A hierarchical inference engine for frontier MoE models: hot experts on the GPU (CUDA, Vulkan), warm ones in RAM, cold ones streamed from NVMe. Written in C, runs on the hardware you already own.

C · ★ 47,519 · Fork 5,487 · 在 GitHub 查看

在手机上浏览源码、订阅每日 AI 趋势日报与项目架构深度解读:获取 CopoHub 客户端(iOS & HarmonyOS)→

GitHub Trending 上榜记录

JustVugg/colibri 已在 GitHub Trending 每日榜单上榜 11 天,最高排名第 1,首次上榜 2026-09-10,最近一次上榜 2026-11-04。

日期排名Star当日增长
2026-11-04#447,519+802
2026-11-03#447,215+803
2026-11-02#1046,502+655
2026-09-18#1535,948+873
2026-09-17#335,707+1,546
2026-09-16#234,957+2,026
2026-09-15#133,698+2,173
2026-09-14#131,920+2,233
2026-09-13#129,659+960
2026-09-11#1227,598+98
2026-09-10#1227,422+157

同期上榜的项目

colibri 项目深度剖析与商业评估报告

colibri 项目深度剖析与商业评估报告

1. 核心定位与商业落地价值

colibri 直击大模型推理领域最尖锐的成本矛盾:前沿 MoE 模型的参数规模已远超单机内存容量,而稀疏激活特性使得绝大多数参数在单 token 推理中并不需要驻留。项目以 744B 的 GLM-5.2 为参考实现,证明仅需 9.9 GB 常驻内存(dense 部分 int4)+ 370 GB 磁盘(19,456 个路由专家流式加载),即可在 25 GB 消费级笔记本上完成推理。

其商业价值的核心不在"跑得动",而在于将推理的资本开支从 GPU 显存密度转移到存储带宽。企业级落地场景明确:

数据主权敏感行业(法律、医疗、金融):无需 API 租用即可持有 744B 级模型权重,规避数据出境与供应商锁定; 成本敏感的长尾推理:以 NVMe 吞吐替代 H100 集群,单 token 边际成本可测算且可控; 异构存量硬件复用:Vulkan 后端支持 ROCm 已弃养的 RX 580,CUDA 后端可降至 Pascal/Turing(CUDAARCH=portable-pre-ampere NOTC=1),显著延长企业 IT 资产周期。

竞品差异化护城河:相较于 llama.cpp(偏重 dense 量化)、vLLM(依赖高显存 GPU 集群)、kTransformers(Python 运行时依赖),colibri 的护城河是"纯 C 零依赖 + 存储层级统一调度 + 路由感知的权重 JIT"三位一体。Apache 2.0 许可 + 单 C 文件架构使其具备极强的可审计性与嵌入式部署潜力,这是 Python 生态栈难以复制的。

2. 核心架构设计与技术深度

项目采用"一模型一引擎,共享头文件"的横向切分架构,这是本仓库最具工程智慧的设计决策:

查看完整 AI 分析 →

在 README 中展示上榜徽章

GitHub Trending

[![GitHub Trending](https://github.fq6825.top/badge/JustVugg/colibri.svg)](https://github.fq6825.top/repo/JustVugg/colibri)