CopoHub Trending

Helldez/BigMoeOnEdge

Run MoE models bigger than your RAM. Frontier-size MoE on a phone, laptop, edge. Lossless, on stock llama.cpp. An adaptive streaming optimizer. Any hardware, any OS, any model, any quantization, behind a local OpenAI-compatible server.

C++ · ★ 1,020 · Fork 104 · 在 GitHub 查看

在手机上浏览源码、订阅每日 AI 趋势日报与项目架构深度解读:获取 CopoHub 客户端(iOS & HarmonyOS)→

GitHub Trending 上榜记录

Helldez/BigMoeOnEdge 已在 GitHub Trending 每日榜单上榜 5 天,最高排名第 21,首次上榜 2026-11-14,最近一次上榜 2026-11-18。

日期排名Star当日增长
2026-11-18#211,020+45
2026-11-17#211,010+98
2026-11-16#25970+83
2026-11-15#51859+15
2026-11-14#51852+17

同期上榜的项目

BigMoeOnEdge 项目深度剖析与商业评估报告

BigMoeOnEdge 项目深度剖析与商业评估报告

1. 核心定位与商业落地价值

1.1 核心痛点与定位 大语言模型正全面转向混合专家架构(Mixture of Experts, MoE),如 DeepSeek、Qwen-MoE 等架构,其参数总量动辄达到数十吉字节(GB)至数百吉字节,但单 Token 推理时的激活参数量(Active Parameters)通常仅为总量的 5%~10%。边缘端设备(智能手机、轻薄笔记本、嵌入式边缘节点)受限于物理内存容量(RAM)与显存(VRAM),过去无法运行前沿规模的 MoE 模型。

BigMoeOnEdge(简称 BMoE)的定位是面向边缘异构硬件的、零模型精损的 MoE 自适应流式推理加速引擎与服务框架。其核心逻辑建立在内存分层换入(Memory Tiering)与专家按需加载(On-Demand Expert Streaming)之上:将注意力层(Attention)及高频核心权重常驻于内存/显存,将稀疏激活的 FFN 专家层作为按需调度的流式块,利用现代高速闪存(UFS 4.0 / PCIe 4.0/5.0 NVMe SSD)吞吐弥补物理内存缺口。

┌──────────────────────────────────────────────┐ │ Token Input / Prompt │ └──────────────────────┬───────────────────────┘ ▼ ┌──────────────────────────────┐ │ Attention / Shared Layer │ (Resident in VRAM/RAM) └──────────────┬───────────────┘ ▼ ┌──────────────────────────────┐ │ Router / Gate │ └──────────────┬───────────────┘ │ Activates Top-K Experts ▼ [ Cache Lookup: VRAM -> RAM -> Flash ] ┌──────────────────────────────────────────────┐ │ Tier 1: VRAM Cache (Hot Experts) │ ── Hit ──► Fast Compute ├──────────────────────────────────────────────┤ │ Tier 2: RAM Cache (Warm Experts) │ ── Hit ──► Host-to-Device Copy ├──────────────────────────────────────────────┤ │ Tier 3: Flash / SSD (Cold Experts Storage) │ ── Miss ─► Async Direct I/O └──────────────────────────────────────────────┘

1.2 企业级商业落地场景 1. 端侧隐私敏感型 Agent 终端:在无网络外发条件(金融、国防、医疗审计)的 16GB 内存设备上,原生部署参数规模达到 35B~125B 级别的高逻辑推理能力 MoE,支撑本地代码审查、敏感文档抽取与本地自动化操作。 2. 企业级边缘网关与低成本私有化一体机:替代高成本的 H100/A100 集群,在消费级单卡(RTX 4090 24GB)或嵌入式板卡上,通过外挂高速 NVMe 阵列,提供可接受吞吐(15~70 tok/s)的并发低成本私有推理节点。 3. 高阶移动智能终端的系统级集成:在 12GB 旗舰手机上离线运行数十亿激活参数量、前沿智力水准的多模态 MoE,赋能端侧操作系统级助理。

1.3 竞品差异化与工程护城河 相较于同类方案(KTransformers、Colibri、AirLLM、FlexGen),BMoE 建立了显著的工程差异化优势: 无私有算子与格式绑定:不引入专有的量化模型格式或重写 Transformer 结构,基于标准 llama.cpp 公共 API 与原生 GGUF 格式。这意味着所有上游生态(Prompt 模板、各级 K-quants 量化、MMProj 视觉投影)天然对齐。 极度广泛的跨平台异构计算支持:不仅支持标准 CUDA/ROCm,更原生贯穿移动端和轻量架构(Android/Hexagon NPU、iOS/macOS Metal、Vulkan、OpenCL),覆盖手机端至数据中心级 GPU。 全自动硬件感知规划器(Hardware Planner):摒弃静态参数配置,通过在冷启动期对 Flash I/O 吞吐、总线带宽及各级计算单元算力的快速基准测量(Probing),自动推导最优的内存划分与流水线策略。

---

查看完整 AI 分析 →

在 README 中展示上榜徽章

GitHub Trending

[![GitHub Trending](https://github.fq6825.top/badge/Helldez/BigMoeOnEdge.svg)](https://github.fq6825.top/repo/Helldez/BigMoeOnEdge)