CopoHub Trending

Andyyyy64/whichllm

Find the local LLM that actually runs and performs best on your hardware. Ranked by real, recency-aware benchmarks, not parameter count. One command, run it instantly.

Python · ★ 4,311 · Fork 237 · 在 GitHub 查看

在手机上浏览源码、订阅每日 AI 趋势日报与项目架构深度解读:获取 CopoHub 客户端(iOS & HarmonyOS)→

GitHub Trending 上榜记录

Andyyyy64/whichllm 已在 GitHub Trending 每日榜单上榜 3 天,最高排名第 7,首次上榜 2026-06-08,最近一次上榜 2026-06-10。

日期排名Star当日增长
2026-06-10#74,311+633
2026-06-09#74,033+631
2026-06-08#103,402+103

同期上榜的项目

Andyyyy64/whichllm 项目深度剖析与商业评估报告

Andyyyy64/whichllm 项目深度剖析与商业评估报告

1. 核心定位与商业落地价值

根本痛点:本地LLM部署面临的核心矛盾不是“模型能不能跑”,而是“在能跑的模型里哪个最好”。传统方案依赖参数数量或VRAM容量做决策,但模型质量、推理速度、量化精度、硬件兼容性之间存在多维非线性权衡,普通用户和团队缺乏系统化的决策工具。

商业落地场景: 企业硬件采购决策:IT部门在采购GPU前,可模拟不同显卡(RTX 4090 vs 5090 vs H100)对目标模型的实际推理表现,避免数百万的硬件浪费。 AI基础设施运维:多GPU集群中,为不同任务自动分配最适合的模型-量化-硬件组合,提升资源利用率30-50%。 边缘设备部署:在8GB VRAM的工业PC或Apple Silicon笔记本上,自动筛选出精度-延迟最优的模型变体。 SaaS化服务:可作为“模型推荐引擎”嵌入到LLM平台(如Ollama、LM Studio)的模型市场模块,提升用户留存。

竞品差异化与护城河: vs. Ollama ollama list:Ollama仅展示已安装模型,无决策推荐能力。whichllm提供前瞻性决策(模拟未拥有硬件)。 vs. HuggingFace transformers 生态:HuggingFace缺乏统一的硬件感知层,用户需手动计算VRAM。whichllm实现了自动化硬件建模。 vs. 手动benchmark:whichllm的评分置信度机制(direct/variant/base/interpolated/self-reported五级证据链)是独创性护城河,交叉家族继承和上传者自报分数的拒绝策略解决了数据污染问题。 实时性:直接拉取HuggingFace API而非静态榜单,使推荐结果随模型发布动态更新,避免了传统基准测试的时效性滞后。

2. 核心架构设计与技术深度

模块拆解思想:采用管道-过滤器架构,数据流清晰分离为四个独立阶段,每个阶段可独立替换或扩展:

HuggingFace API → Model Fetcher → Benchmark Merger → Hardware Detector → VRAM Estimator → Performance Simulator → Ranker → Output Formatter

查看完整 AI 分析 →

在 README 中展示上榜徽章

GitHub Trending

[![GitHub Trending](https://github.fq6825.top/badge/Andyyyy64/whichllm.svg)](https://github.fq6825.top/repo/Andyyyy64/whichllm)