JakeATX/llamAmpere
llama.cpp fork for significantly improved performance on Ampere generation Nvidia cards (especially RTX 3090 / 3090 Ti): example: 110+ tok/s over a 100K-token generation at temperature 1 for qwen3.8, supporting full 262K ctx. Supports low memory (12gb) configs for 200k+ ctx. 120+ TPS, 3300+ prefill for QFN 3.8.
C++ · ★ 378 · Fork 44 · 在 GitHub 查看
在手机上浏览源码、订阅每日 AI 趋势日报与项目架构深度解读:获取 CopoHub 客户端(iOS & HarmonyOS)→
GitHub Trending 上榜记录
JakeATX/llamAmpere 已在 GitHub Trending 每日榜单上榜 4 天,最高排名第 41,首次上榜 2026-11-09,最近一次上榜 2026-11-13。
| 日期 | 排名 | Star | 当日增长 |
|---|---|---|---|
| 2026-11-13 | #60 | 378 | +29 |
| 2026-11-12 | #60 | 376 | +38 |
| 2026-11-10 | #41 | 307 | +6 |
| 2026-11-09 | #41 | 303 | +6 |
同期上榜的项目
- alibaba/open-code-review – Secure, fast, efficient, battle-tested at Alibaba's scale. Hybrid architecture code review tool: deterministic pipelines + LLM Agent, precise line-level comments, built-in multi-language ruleset (NPE, thread-safety, XSS, SQL injection), OpenAI & Anthropic compatible.
- GoogleChrome/modern-web-guidance-src – Keep your coding agent up to date with the latest web best practices
- openai/codex-security – OpenAI's Codex Security CLI and TypeScript SDK for finding, validating, and fixing security vulnerabilities. npm: https://www.npmjs.com/package/@openai/codex-security
- ZhuLinsen/daily_stock_analysis – LLM 驱动的多市场股票智能分析系统:多源行情、实时新闻、决策看板与自动推送,支持零成本定时运行。 LLM-powered multi-market stock analysis system with multi-source market data, real-time news, decision dashboard, automated notifications, and cost-free scheduled runs.
- we-promise/sure – The personal finance app for everyone (by everyone)
- backnotprop/plannotator – The workspace to stay in the loop and on top of agents - shape, decide, plan, annotate, review code, share with team, and send all feedback to agents with one click.
llamAmpere 项目深度剖析与商业评估报告
llamAmpere 项目深度剖析与商业评估报告
1. 核心定位与商业落地价值
1.1 痛点剖析与定位 在企业大语言模型落地进程中,推理显存墙(Memory Wall)与算力成本是横亘在落地阶段的核心障碍。尽管数据中心级 GPU(如 A100/H100)具备强大的并发吞吐能力,但采购与云租赁成本高昂。与此同时,市场上存量巨大、极具性价比的消费级显卡(如拥有 24GB 显存的 NVIDIA RTX 3090/3090 Ti,Ampere 架构架构代号 sm86)在运行超长上下文(200K+ tokens)或大型混合专家模型(MoE,如 Qwen3.8 系列)时,常受限于显存带宽、PCIe 传输瓶颈以及通用推理引擎(如 upstream llama.cpp)缺乏架构级极致压榨的问题。
llamAmpere 是专门针对 NVIDIA Ampere 架构(尤其是 RTX 3090/3090 Ti)深度定制的 llama.cpp 衍生分支。该项目通过显卡微架构专用算子优化、非对称 MoE 异构卸载、专用量化格式(AI+ 系列)与创新的 KV Cache 压缩算法(SJ-KVaRN),旨在将消费级单卡/双卡工作站的推理吞吐量和上下文承载能力推至极限(例如在 24GB 显存下实现 200K+ 上下文,并跑出 110~125 tok/s 的极高推理速度)。
+---------------------------------------------------------------------------------+ | llamAmpere 核心矩阵 | +---------------------------------------------------------------------------------+ | 目标硬件:RTX 30-series (Ampere sm86) | 核心模型:Qwen3.8 27B Dense & Flash-Next MoE | +---------------------------------------------------------------------------------+ | [计算层] | | - Ampere Tensor Core 极致微调度 - 针对 sm86 的内联汇编/内存重排 | | - MTP (Multi-Token Prediction) - DFlash2 投机解码与 mb-MTP 动态采样 | +---------------------------------------------------------------------------------+ | [显存/存储层] | | - SJ-KVaRN 自适应 KV Cache 压缩 - AI+ 自研超低比特量化 (AI2 / AI3 / AI4)| | - 非对称 MoE 动静分离分层卸载 - 显存约束的自适应分块 Prefill (Microbatch) | +---------------------------------------------------------------------------------+
1.2 商业落地场景 1. 企业私有化超长文档检索与分析(200K+ RAG):金融研报审计、超长合同审查、全代码库语义分析。利用 RTX 3090 替代昂贵的企业级云端 API,在保障数据隐私闭环的前提下,实现极低单次查询成本。 2. 轻量级高并发智能体(Agentic Workflows)与代码生成工作站:利用 Qwen3.8-27B 结合 MTP 投机解码,在单卡下实现 120+ TPS 的流式输出速度,抹平本地模型与商业模型(如 Claude 3.5 Sonnet)在人机交互延迟上的体验鸿沟。 3. 边缘算力与低成本开发服务器:中小型 ISV 可用二手或闲置 Ampere 硬件搭建企业内部统一的大模型 API 网关(OpenAI 协议兼容),单机硬件成本控制在万元人民币以内,极大降低原型验证和私有化交付门槛。
1.3 竞品差异化与技术护城河 | 维度 | 上游 llama.cpp | vLLM / SGLang | llamAmpere | | :--- | :--- | :--- | :--- | | 硬件定位 | 通用跨平台(CPU/Apple/各类 GPU) | 数据中心 GPU 集群(A100/H100/L40S) | 深度锁定 NVIDIA Ampere(RTX 3090/Ti) | | 超长上下文支持 | 标准 GGUF 量化,显存消耗大 | PagedAttention,长文本需多卡张量并行 | SJ-KVaRN 高阶压缩 + 显存动态分级卸载 | | MoE 混合卸载 | 简单的全层/按层 CPU 卸载 | 依赖高速 NVLink,不支持 Host RAM 灵活混布 | Card-side 专家路由表 + 非对称 Stream 流水线 | | 投机解码 | 基础 Draft-Model / 简单 MTP | 依赖额外的小模型或标准 Medusa 架构 | 深度集成内置 MTP Head + mb-MTP 容错采样 |
---
在 README 中展示上榜徽章
[](https://github.fq6825.top/repo/JakeATX/llamAmpere)