Helldez/BigMoeOnEdge
Run MoE models bigger than your RAM. Frontier-size MoE on a phone, laptop, edge. Lossless, on stock llama.cpp. An adaptive streaming optimizer. Any hardware, any OS, any model, any quantization, behind a local OpenAI-compatible server.
C++ · ★ 1,020 · Fork 104 · 在 GitHub 查看
在手机上浏览源码、订阅每日 AI 趋势日报与项目架构深度解读:获取 CopoHub 客户端(iOS & HarmonyOS)→
GitHub Trending 上榜记录
Helldez/BigMoeOnEdge 已在 GitHub Trending 每日榜单上榜 5 天,最高排名第 21,首次上榜 2026-11-14,最近一次上榜 2026-11-18。
| 日期 | 排名 | Star | 当日增长 |
|---|---|---|---|
| 2026-11-18 | #21 | 1,020 | +45 |
| 2026-11-17 | #21 | 1,010 | +98 |
| 2026-11-16 | #25 | 970 | +83 |
| 2026-11-15 | #51 | 859 | +15 |
| 2026-11-14 | #51 | 852 | +17 |
同期上榜的项目
- elementalsouls/Claude-BugHunter – A Claude Code skill bundle for bug hunting and external red-team work - 82 skills, 15 slash commands, 681 disclosed-report patterns curated across 24 core vulnerability classes, plus enterprise identity + infrastructure attack matrices.
- mvanhorn/last30days-skill – AI agent skill that researches any topic across Reddit, X, YouTube, HN, Polymarket, and the web - then synthesizes a grounded summary
- alibaba/open-code-review – Secure, fast, efficient, battle-tested at Alibaba's scale. Hybrid architecture code review tool: deterministic pipelines + LLM Agent, precise line-level comments, built-in multi-language ruleset (NPE, thread-safety, XSS, SQL injection), OpenAI & Anthropic compatible.
- Tencent/LoopForge – Self-hosted workflows for coding-agent delivery. Orchestrate CodeBuddy, Codex and Claude Code with scripts and human approval gates. Includes Local workflows for coding assistants.
- dream-num/univer – Build your own AI office with Univer Office SDK. Bring editing, calculation, collaboration, and file processing into your product for people and AI agents. Built on an extensible open-source core.
- getarcaneapp/arcane – Modern Docker Management, Designed for Everyone
BigMoeOnEdge 项目深度剖析与商业评估报告
BigMoeOnEdge 项目深度剖析与商业评估报告
1. 核心定位与商业落地价值
1.1 核心痛点与定位 大语言模型正全面转向混合专家架构(Mixture of Experts, MoE),如 DeepSeek、Qwen-MoE 等架构,其参数总量动辄达到数十吉字节(GB)至数百吉字节,但单 Token 推理时的激活参数量(Active Parameters)通常仅为总量的 5%~10%。边缘端设备(智能手机、轻薄笔记本、嵌入式边缘节点)受限于物理内存容量(RAM)与显存(VRAM),过去无法运行前沿规模的 MoE 模型。
BigMoeOnEdge(简称 BMoE)的定位是面向边缘异构硬件的、零模型精损的 MoE 自适应流式推理加速引擎与服务框架。其核心逻辑建立在内存分层换入(Memory Tiering)与专家按需加载(On-Demand Expert Streaming)之上:将注意力层(Attention)及高频核心权重常驻于内存/显存,将稀疏激活的 FFN 专家层作为按需调度的流式块,利用现代高速闪存(UFS 4.0 / PCIe 4.0/5.0 NVMe SSD)吞吐弥补物理内存缺口。
┌──────────────────────────────────────────────┐ │ Token Input / Prompt │ └──────────────────────┬───────────────────────┘ ▼ ┌──────────────────────────────┐ │ Attention / Shared Layer │ (Resident in VRAM/RAM) └──────────────┬───────────────┘ ▼ ┌──────────────────────────────┐ │ Router / Gate │ └──────────────┬───────────────┘ │ Activates Top-K Experts ▼ [ Cache Lookup: VRAM -> RAM -> Flash ] ┌──────────────────────────────────────────────┐ │ Tier 1: VRAM Cache (Hot Experts) │ ── Hit ──► Fast Compute ├──────────────────────────────────────────────┤ │ Tier 2: RAM Cache (Warm Experts) │ ── Hit ──► Host-to-Device Copy ├──────────────────────────────────────────────┤ │ Tier 3: Flash / SSD (Cold Experts Storage) │ ── Miss ─► Async Direct I/O └──────────────────────────────────────────────┘
1.2 企业级商业落地场景 1. 端侧隐私敏感型 Agent 终端:在无网络外发条件(金融、国防、医疗审计)的 16GB 内存设备上,原生部署参数规模达到 35B~125B 级别的高逻辑推理能力 MoE,支撑本地代码审查、敏感文档抽取与本地自动化操作。 2. 企业级边缘网关与低成本私有化一体机:替代高成本的 H100/A100 集群,在消费级单卡(RTX 4090 24GB)或嵌入式板卡上,通过外挂高速 NVMe 阵列,提供可接受吞吐(15~70 tok/s)的并发低成本私有推理节点。 3. 高阶移动智能终端的系统级集成:在 12GB 旗舰手机上离线运行数十亿激活参数量、前沿智力水准的多模态 MoE,赋能端侧操作系统级助理。
1.3 竞品差异化与工程护城河 相较于同类方案(KTransformers、Colibri、AirLLM、FlexGen),BMoE 建立了显著的工程差异化优势: 无私有算子与格式绑定:不引入专有的量化模型格式或重写 Transformer 结构,基于标准 llama.cpp 公共 API 与原生 GGUF 格式。这意味着所有上游生态(Prompt 模板、各级 K-quants 量化、MMProj 视觉投影)天然对齐。 极度广泛的跨平台异构计算支持:不仅支持标准 CUDA/ROCm,更原生贯穿移动端和轻量架构(Android/Hexagon NPU、iOS/macOS Metal、Vulkan、OpenCL),覆盖手机端至数据中心级 GPU。 全自动硬件感知规划器(Hardware Planner):摒弃静态参数配置,通过在冷启动期对 Flash I/O 吞吐、总线带宽及各级计算单元算力的快速基准测量(Probing),自动推导最优的内存划分与流水线策略。
---
在 README 中展示上榜徽章
[](https://github.fq6825.top/repo/Helldez/BigMoeOnEdge)