ashhart/TensorFold
LLM Inference Engine for Metal, CUDA and Vulkan.
Zig · ★ 2,236 · Fork 521 · 在 GitHub 查看
在手机上浏览源码、订阅每日 AI 趋势日报与项目架构深度解读:获取 CopoHub 客户端(iOS & HarmonyOS)→
GitHub Trending 上榜记录
ashhart/TensorFold 已在 GitHub Trending 每日榜单上榜 4 天,最高排名第 7,首次上榜 2026-11-12,最近一次上榜 2026-11-15。
| 日期 | 排名 | Star | 当日增长 |
|---|---|---|---|
| 2026-11-15 | #9 | 2,236 | +37 |
| 2026-11-14 | #9 | 2,149 | +188 |
| 2026-11-13 | #7 | 2,044 | +54 |
| 2026-11-12 | #7 | 1,920 | +94 |
同期上榜的项目
- dream-num/univer – Build your own AI office with Univer Office SDK. Bring editing, calculation, collaboration, and file processing into your product for people and AI agents. Built on an extensible open-source core.
- ag-ui-protocol/ag-ui – AG-UI: the Agent-User Interaction Protocol. Bring Agents into Frontend Applications.
- google-labs-code/stitch-skills – A library of Agent Skills designed to work with the Stitch MCP server. Each skill follows the Agent Skills open standard, for compatibility with coding agents such as Antigravity, Gemini CLI, Claude Code, Cursor.
- backnotprop/plannotator – The workspace to stay in the loop and on top of agents - shape, decide, plan, annotate, review code, share with team, and send all feedback to agents with one click.
- ChromeDevTools/chrome-devtools-mcp – Chrome DevTools for coding agents
- alibaba/open-code-review – Secure, fast, efficient, battle-tested at Alibaba's scale. Hybrid architecture code review tool: deterministic pipelines + LLM Agent, precise line-level comments, built-in multi-language ruleset (NPE, thread-safety, XSS, SQL injection), OpenAI & Anthropic compatible.
TensorFold 项目深度剖析与商业评估报告
TensorFold 项目深度剖析与商业评估报告
---
1. 核心定位与商业落地价值
1.1 核心定位与解决痛点 TensorFold 是一款采用 Zig 语言原生编写的高性能跨平台 LLM 推理引擎,专注于在 Apple Silicon(Metal)、NVIDIA GPU(CUDA 13+)以及 AMD(HIP)等异构硬件上提供零依赖、免 Python/MLX 运行时的原生模型服务。
在当前大模型基础设施中,主要存在两大核心痛点: 1. 基础设施厚重与运行时依赖地狱:传统的 vLLM、TGI、MLX 等推理框架高度依赖 Python 解释器、PyTorch/C++ 复杂动态链接库或专用框架抽象,在边缘节点、工作站和微型推理集群中引入了巨大的内存开销、较慢的冷启动速度以及复杂的容器化环境维护成本。 2. 异构计算孤岛与多卡互联割裂:以往开发者通常在 Mac 端依赖 MLX,在 NVIDIA 服务器端依赖 TensorRT-LLM/vLLM,在多节点通信上依赖复杂的 NCCL/MPI 配置。TensorFold 打破了这一边界,实现了单一 Zig 原生二进制统一调度 Apple Silicon 统一内存(支持 Thunderbolt 5 / MCDMA 双机互联)与 NVIDIA GPU(TP=2/3 Ring 拓扑),同时直连驱动级 API。
1.2 企业级商业落地场景 高端边缘工作站与本地研发网络:利用 M3/M4/M5 系列 Apple Silicon 的大统一内存(如 256GB M5 Ultra 双机集群),直接部署 GLM-5.3、Qwen3.8-27B/Flash、Nemotron 3.5-30B 等超大模型,无需采购昂贵的数据中心 GPU。 高安全性/离线内网推演基础设施:配合企业级套件 TensorFold Starlight,支持通过 OIDC/SAML 与 SCIM 统一接入企业身份源,在单机或私有集群内提供符合 OpenAI/Anthropic 标准接口的私有推理专网,实现毫秒级代币审计与模型隔离。 下一代自主代理(Agentic AI)常驻引擎:内置的 Cortheon 模式(服务端原生执行复杂推理流程与网络数据检索)与 Living Weights(在线动态注入事实),为本地助理、代码生成代理提供无需重训的低延迟实时记忆更新。
1.3 竞品差异化与技术护城河 | 维度 | TensorFold | llama.cpp | vLLM / TensorRT-LLM | MLX | | :--- | :--- | :--- | :--- | :--- | | 主开发语言 | Zig | C / C++ | Python / C++ / CUDA | Python / C++ | | 运行时依赖 | 零依赖(静态/自包含二进制,直连 libcuda.so.1 或 Metal) | 极低(需 C++ 运行库) | 重度(Python、PyTorch、CUDA Toolkit) | 中度(依赖 macOS Python 环境) | | 模型量化格式覆盖 | 前沿多样性(NVFP4、XSFP4、Jammed XSFP4、MLX 4/6/8-bit、EXL3) | GGUF 生态主流格式 | AWQ、GPTQ、FP8、NVFP4 | 仅限 MLX 格式 | | 分布式/多机拓扑 | 原生双 Mac (TB5/MCDMA) + CUDA TP 环形直连 | 依赖 RPC,延迟较高 | 依赖成熟 NCCL,仅限机房网络 | 仅限单机统一内存 | | 独有能力 | Living Weights (动态权重修改)、ATC 协作协议 | 无 | 无 | 无 |
---
在 README 中展示上榜徽章
[](https://github.fq6825.top/repo/ashhart/TensorFold)