CopoHub Trending

JakeATX/llamAmpere

llama.cpp fork for significantly improved performance on Ampere generation Nvidia cards (especially RTX 3090 / 3090 Ti): example: 110+ tok/s over a 100K-token generation at temperature 1 for qwen3.8, supporting full 262K ctx. Supports low memory (12gb) configs for 200k+ ctx. 120+ TPS, 3300+ prefill for QFN 3.8.

C++ · ★ 378 · Fork 44 · 在 GitHub 查看

在手机上浏览源码、订阅每日 AI 趋势日报与项目架构深度解读:获取 CopoHub 客户端(iOS & HarmonyOS)→

GitHub Trending 上榜记录

JakeATX/llamAmpere 已在 GitHub Trending 每日榜单上榜 4 天,最高排名第 41,首次上榜 2026-11-09,最近一次上榜 2026-11-13。

日期排名Star当日增长
2026-11-13#60378+29
2026-11-12#60376+38
2026-11-10#41307+6
2026-11-09#41303+6

同期上榜的项目

llamAmpere 项目深度剖析与商业评估报告

llamAmpere 项目深度剖析与商业评估报告

1. 核心定位与商业落地价值

1.1 痛点剖析与定位 在企业大语言模型落地进程中,推理显存墙(Memory Wall)与算力成本是横亘在落地阶段的核心障碍。尽管数据中心级 GPU(如 A100/H100)具备强大的并发吞吐能力,但采购与云租赁成本高昂。与此同时,市场上存量巨大、极具性价比的消费级显卡(如拥有 24GB 显存的 NVIDIA RTX 3090/3090 Ti,Ampere 架构架构代号 sm86)在运行超长上下文(200K+ tokens)或大型混合专家模型(MoE,如 Qwen3.8 系列)时,常受限于显存带宽、PCIe 传输瓶颈以及通用推理引擎(如 upstream llama.cpp)缺乏架构级极致压榨的问题。

llamAmpere 是专门针对 NVIDIA Ampere 架构(尤其是 RTX 3090/3090 Ti)深度定制的 llama.cpp 衍生分支。该项目通过显卡微架构专用算子优化、非对称 MoE 异构卸载、专用量化格式(AI+ 系列)与创新的 KV Cache 压缩算法(SJ-KVaRN),旨在将消费级单卡/双卡工作站的推理吞吐量和上下文承载能力推至极限(例如在 24GB 显存下实现 200K+ 上下文,并跑出 110~125 tok/s 的极高推理速度)。

+---------------------------------------------------------------------------------+ | llamAmpere 核心矩阵 | +---------------------------------------------------------------------------------+ | 目标硬件:RTX 30-series (Ampere sm86) | 核心模型:Qwen3.8 27B Dense & Flash-Next MoE | +---------------------------------------------------------------------------------+ | [计算层] | | - Ampere Tensor Core 极致微调度 - 针对 sm86 的内联汇编/内存重排 | | - MTP (Multi-Token Prediction) - DFlash2 投机解码与 mb-MTP 动态采样 | +---------------------------------------------------------------------------------+ | [显存/存储层] | | - SJ-KVaRN 自适应 KV Cache 压缩 - AI+ 自研超低比特量化 (AI2 / AI3 / AI4)| | - 非对称 MoE 动静分离分层卸载 - 显存约束的自适应分块 Prefill (Microbatch) | +---------------------------------------------------------------------------------+

1.2 商业落地场景 1. 企业私有化超长文档检索与分析(200K+ RAG):金融研报审计、超长合同审查、全代码库语义分析。利用 RTX 3090 替代昂贵的企业级云端 API,在保障数据隐私闭环的前提下,实现极低单次查询成本。 2. 轻量级高并发智能体(Agentic Workflows)与代码生成工作站:利用 Qwen3.8-27B 结合 MTP 投机解码,在单卡下实现 120+ TPS 的流式输出速度,抹平本地模型与商业模型(如 Claude 3.5 Sonnet)在人机交互延迟上的体验鸿沟。 3. 边缘算力与低成本开发服务器:中小型 ISV 可用二手或闲置 Ampere 硬件搭建企业内部统一的大模型 API 网关(OpenAI 协议兼容),单机硬件成本控制在万元人民币以内,极大降低原型验证和私有化交付门槛。

1.3 竞品差异化与技术护城河 | 维度 | 上游 llama.cpp | vLLM / SGLang | llamAmpere | | :--- | :--- | :--- | :--- | | 硬件定位 | 通用跨平台(CPU/Apple/各类 GPU) | 数据中心 GPU 集群(A100/H100/L40S) | 深度锁定 NVIDIA Ampere(RTX 3090/Ti) | | 超长上下文支持 | 标准 GGUF 量化,显存消耗大 | PagedAttention,长文本需多卡张量并行 | SJ-KVaRN 高阶压缩 + 显存动态分级卸载 | | MoE 混合卸载 | 简单的全层/按层 CPU 卸载 | 依赖高速 NVLink,不支持 Host RAM 灵活混布 | Card-side 专家路由表 + 非对称 Stream 流水线 | | 投机解码 | 基础 Draft-Model / 简单 MTP | 依赖额外的小模型或标准 Medusa 架构 | 深度集成内置 MTP Head + mb-MTP 容错采样 |

---

查看完整 AI 分析 →

在 README 中展示上榜徽章

GitHub Trending

[![GitHub Trending](https://github.fq6825.top/badge/JakeATX/llamAmpere.svg)](https://github.fq6825.top/repo/JakeATX/llamAmpere)