lance-format/lance
Open Lakehouse Format for Multimodal AI. Convert from Parquet in 2 lines of code for 100x faster random access, vector index, and data versioning. Compatible with Pandas, DuckDB, Polars, Pyarrow, and PyTorch with more integrations coming..
Rust · ★ 7,348 · Fork 948 · 在 GitHub 查看
在手机上浏览源码、订阅每日 AI 趋势日报与项目架构深度解读:获取 CopoHub 客户端(iOS & HarmonyOS)→
GitHub Trending 上榜记录
lance-format/lance 已在 GitHub Trending 每日榜单上榜 4 天,最高排名第 18,首次上榜 2026-11-14,最近一次上榜 2026-11-17。
| 日期 | 排名 | Star | 当日增长 |
|---|---|---|---|
| 2026-11-17 | #18 | 7,348 | +16 |
| 2026-11-16 | #18 | 7,339 | +18 |
| 2026-11-15 | #56 | 7,316 | +19 |
| 2026-11-14 | #56 | 7,303 | +12 |
同期上榜的项目
- elementalsouls/Claude-BugHunter – A Claude Code skill bundle for bug hunting and external red-team work - 82 skills, 15 slash commands, 681 disclosed-report patterns curated across 24 core vulnerability classes, plus enterprise identity + infrastructure attack matrices.
- mvanhorn/last30days-skill – AI agent skill that researches any topic across Reddit, X, YouTube, HN, Polymarket, and the web - then synthesizes a grounded summary
- alibaba/open-code-review – Secure, fast, efficient, battle-tested at Alibaba's scale. Hybrid architecture code review tool: deterministic pipelines + LLM Agent, precise line-level comments, built-in multi-language ruleset (NPE, thread-safety, XSS, SQL injection), OpenAI & Anthropic compatible.
- Tencent/LoopForge – Self-hosted workflows for coding-agent delivery. Orchestrate CodeBuddy, Codex and Claude Code with scripts and human approval gates. Includes Local workflows for coding assistants.
- dream-num/univer – Build your own AI office with Univer Office SDK. Bring editing, calculation, collaboration, and file processing into your product for people and AI agents. Built on an extensible open-source core.
- getarcaneapp/arcane – Modern Docker Management, Designed for Everyone
lance 项目深度剖析与商业评估报告
lance 项目深度剖析与商业评估报告
1. 核心定位与商业落地价值
1.1 解决的根本痛点 在传统现代数据栈(Modern Data Stack)中,以 Apache Parquet、Apache Iceberg、Delta Lake 为代表的列式存储与湖仓格式主导了大规模 OLAP 分析。然而,随着大模型与多模态 AI 时代的全面到来,这些基础设施暴露出结构性缺陷: 随机访问(Random Access)惩罚极高:Parquet 面向列式批量顺序扫描设计,通常以 Row Group(典型 128MB+)和 Page(典型 1MB)为单位进行紧凑压缩。读取特定某几行或进行多模态样本点查时,必须解压整页乃至整个 Row Group,导致严重的 I/O 放大(放大倍数可达数十至数百倍)。 多模态与张量数据水土不服:图像、音频、视频等非结构化二进制数据(Blob)和高维向量 Embedding,若以内联方式存入传统列存,会导致元数据膨胀与扫描性能断崖式下跌;若以外链(URL)存储,则面临“数据与元信息割裂”、“分布式读取 I/O 瓶颈”及“缺乏事务保障”的问题。 特征工程与列演进(Schema Evolution)代价高昂:AI 特征工程需要频繁增加 Embedding 列或模型打分。在 Parquet/Iceberg 体系下,向已有数十亿行的表中“水平追加列”通常需要全表重写(Full Rewrite),导致极高的时间与云存储成本。 存储栈割裂与冗余运维:企业通常需要维护“对象存储(Parquet 数据湖) + 向量数据库(Milvus/Pinecone) + 倒排检索引擎(Elasticsearch) + 特征缓存(Redis)”四套系统,带来高昂的同步延迟(ETL)、数据一致性风险和基础设施开销。
lance 的核心定位是面向多模态 AI 与湖仓一体(AI Lakehouse)的原生开源存储格式。它基于 Apache Arrow 内存格式构建,从底层重构了文件存储布局,实现了“批量扫描性能媲美 Parquet,随机点查性能提升 100 倍,且原生内嵌向量索引与多模态 Blob 抽象”。
1.2 企业级商业落地场景 1. 多模态与大模型混合检索(Hybrid Search & Multimodal RAG): 企业知识库或内容检索平台需要在单次查询中混合执行“标量过滤(SQL where) + 密集向量相似度检索(Dense Vector) + 稀疏关键词检索(BM25 Full-Text)”。Lance 在文件格式层原生统合这三类索引,消除了跨引擎 Join 的开销。 2. 大规模分布式模型训练的数据加载(ML DataLoader): 在 Vision-Language、自动驾驶、大语言模型后训练(Post-training / RLHF)等场景中,训练集群通常需要从云端对象存储(如 AWS S3)以高并发、乱序(Shuffle)方式采样样本。Lance 结合 iouring 与精细化块寻址,使得 PyTorch 可以直接从对象存储高效流式拉取 Batch,跳过昂贵的本地 NVMe 盘缓存预热或 TFRecord/WebDataset 转换。 3. 低成本动态特征仓库(AI Feature Store): 算法团队可以对 TB/PB 级基表执行“零重写列追加”(Zero-copy Column Addition),并利用内置的行版本管理(Time Travel)和分支(Branching)机制,保障特征实验可复现性与生产无缝切换。
1.3 竞品差异化与商业护城河 | 维度 | Lance | Apache Parquet / Iceberg | 独立向量数据库 (Milvus / Pinecone) | | :--- | :--- | :--- | :--- | | 底层核心范式 | 列存 + 细粒度寻址 + 嵌入式索引 | 批处理列存,依赖统计信息 Skip | 专用行存/近线内存索引,主键映射 | | 随机行访问延迟 | 毫秒级(直接定位偏移量解压微块) | 极差(整页/整块解压,I/O 严重放大) | 极高(但成本高,数据容量受限) | | 向量/倒排索引支持 | 原生内置(IVF-PQ、HNSW、BM25) | 无(依赖外围执行引擎二次处理) | 核心功能 | | 多模态 Blob 延迟加载 | 原生 Lazy Loading,按需取字节范围 | 弱(全列拉取或外链间接访问) | 弱(通常仅存元数据和向量) | | 列追加写入成本 | $O(1)$ 元数据追加,免全表重构 | $O(N)$ 重写数据文件或依赖复杂的 Delete Files | 不适用(宽表特征分析能力受限) | | 部署形态 | Serverless/嵌入式/可读写共享格式 | 开放表格式(支持无状态查询) | 独立分布式集群(常驻服务、高计算成本) |
护城河:Lance 的根本护城河在于其建立在 Arrow 生态标准之上(零拷贝互操作性)并深入到了文件格式标准层。它不只是一个“向量库”,而是一个向下兼容分析型数据湖能力、向上原生态拥抱 AI 的“新一代基石存储格式”。
---
在 README 中展示上榜徽章
[](https://github.fq6825.top/repo/lance-format/lance)