vllm-project/semantic-router
An open, programmable decision layer for models and compute.
Go · ★ 6,478 · Fork 1,121 · 在 GitHub 查看
在手机上浏览源码、订阅每日 AI 趋势日报与项目架构深度解读:获取 CopoHub 客户端(iOS & HarmonyOS)→
GitHub Trending 上榜记录
vllm-project/semantic-router 已在 GitHub Trending 每日榜单上榜 2 天,最高排名第 59,首次上榜 2026-11-14,最近一次上榜 2026-11-15。
| 日期 | 排名 | Star | 当日增长 |
|---|---|---|---|
| 2026-11-15 | #59 | 6,478 | +6 |
| 2026-11-14 | #59 | 6,475 | +7 |
同期上榜的项目
- dream-num/univer – Build your own AI office with Univer Office SDK. Bring editing, calculation, collaboration, and file processing into your product for people and AI agents. Built on an extensible open-source core.
- ag-ui-protocol/ag-ui – AG-UI: the Agent-User Interaction Protocol. Bring Agents into Frontend Applications.
- google-labs-code/stitch-skills – A library of Agent Skills designed to work with the Stitch MCP server. Each skill follows the Agent Skills open standard, for compatibility with coding agents such as Antigravity, Gemini CLI, Claude Code, Cursor.
- backnotprop/plannotator – The workspace to stay in the loop and on top of agents - shape, decide, plan, annotate, review code, share with team, and send all feedback to agents with one click.
- ChromeDevTools/chrome-devtools-mcp – Chrome DevTools for coding agents
- alibaba/open-code-review – Secure, fast, efficient, battle-tested at Alibaba's scale. Hybrid architecture code review tool: deterministic pipelines + LLM Agent, precise line-level comments, built-in multi-language ruleset (NPE, thread-safety, XSS, SQL injection), OpenAI & Anthropic compatible.
vllm-project/semantic-router 项目深度剖析与商业评估报告
vllm-project/semantic-router 项目深度剖析与商业评估报告
1. 核心定位与商业落地价值
1.1 核心痛点与行业背景 在当前企业级大模型(LLM)落地实践中,单一大模型已无法同时满足业务对延迟、吞吐、成本、精度与数据合规的综合诉求。推理基建面临多维碎裂化挑战: 模型分化:通用前沿模型(Frontier LLMs)、轻量端侧小模型(SLMs)、专用推理模型(Reasoning Models)在不同 Prompt 特征下表现异构。 算力异构:本地私有算力(如 AMD ROCm / NVIDIA 集群)与公有云 API 之间缺乏统一的弹性算力调度面。 决策开销过高:传统基于规则(Rule-based)或单纯向量相似度的网关难以应对长上下文、意图漂移及高维度的 SLA 约束。
vllm-project/semantic-router 的核心定位是 模型与算力基础设施的可编程智能决策层(Decision Layer)。它定义了现代推理架构中的 Workload-Router-Pool(工作负载-路由器-资源池) 范式,接管 Agent 运行底座(Agent Harness)与底层异构推理算力之间的动态调度。
+-------------------------------------------------------------+ | Client / Agent Harness | +-------------------------------------------------------------+ | OpenAI-Compatible API v +-------------------------------------------------------------+ | vLLM Semantic Router (Go Gateway) | | +---------------------+ +-------------------------------+ | | | Signal Layer | | Decision Engine | | | | (Embedding / Rules) |->| (Decision 3.0 / Vela Models) | | | +---------------------+ +-------------------------------+ | +-------------------------------------------------------------+ | | | v v v +---------------+ +---------------+ +-----------------------+ | Local vLLM | | Private Cloud | | Public Cloud APIs | | (NVIDIA/AMD) | | (Self-Host) | | (OpenAI/Anthropic...) | +---------------+ +---------------+ +-----------------------+
1.2 企业级商业落地场景 1. 多模型级联与混合编排(Mixture-of-Models, MoM):将简单分类、摘要等低熵请求路由至自研的小参数量模型(如 7B/14B),而将复杂代码生成与多步推理请求路由至超大模型或推理模型,在保障综合产出质量的同时,实现企业推理账单 40%~70% 的降本。 2. 混合云与数据合规治理:通过内联信号分析器识别 PII(敏感个人信息)及数据出境风险,动态约束请求留在合规区域私有算力中,非敏感请求则弹性借道公有云。 3. 高可用容灾与自愈网关:基于后端推理节点的并发水位、TTFT(首字延迟)、P99 响应时间实现自适应软负载均衡与自动降级。
1.3 竞品差异化与生态护城河 | 维度 | 传统 API 网关 (如 Envoy / Kong) | 传统语义路由 (如 Aurelio semantic-router) | vLLM Semantic Router | | :--- | :--- | :--- | :--- | | 决策依据 | L4/L7 静态规则、路径、Header | 纯 Embedding 向量余弦相似度匹配 | 多模态信号 + 专用决策模型 (Vela/Decision 3.0) | | 底层协同 | 协议级透明代理 | 客户端 Python 库,吞吐较低 | 深度绑定 vLLM Production Stack,支持 Token 级控制 | | 护栏机制 | 需挂载外部安全中间件 | 依赖前置分类器 | 内联幻觉检测 (LettuceDetect)、类别感知缓存 | | 并发吞吐 | 极高(C++/Go),但无语义理解 | 较低(受限于 Python GIL 与嵌入延迟) | Go 核心网关 + 异步/边车决策模型,平衡高吞吐与语义决策 |
项目的核心壁垒在于其依托 vLLM 开源生态,构建了“决策基座模型 + 系统级路由代理”的垂直闭环,逐步将决策逻辑从启发式硬编码推向由轻量级 Foundation Routing Models 驱动的时代。
在 README 中展示上榜徽章
[](https://github.fq6825.top/repo/vllm-project/semantic-router)