CopoHub Trending

lance-format/lance

Open Lakehouse Format for Multimodal AI. Convert from Parquet in 2 lines of code for 100x faster random access, vector index, and data versioning. Compatible with Pandas, DuckDB, Polars, Pyarrow, and PyTorch with more integrations coming..

Rust · ★ 7,348 · Fork 948 · 在 GitHub 查看

在手机上浏览源码、订阅每日 AI 趋势日报与项目架构深度解读:获取 CopoHub 客户端(iOS & HarmonyOS)→

GitHub Trending 上榜记录

lance-format/lance 已在 GitHub Trending 每日榜单上榜 4 天,最高排名第 18,首次上榜 2026-11-14,最近一次上榜 2026-11-17。

日期排名Star当日增长
2026-11-17#187,348+16
2026-11-16#187,339+18
2026-11-15#567,316+19
2026-11-14#567,303+12

同期上榜的项目

lance 项目深度剖析与商业评估报告

lance 项目深度剖析与商业评估报告

1. 核心定位与商业落地价值

1.1 解决的根本痛点 在传统现代数据栈(Modern Data Stack)中,以 Apache Parquet、Apache Iceberg、Delta Lake 为代表的列式存储与湖仓格式主导了大规模 OLAP 分析。然而,随着大模型与多模态 AI 时代的全面到来,这些基础设施暴露出结构性缺陷: 随机访问(Random Access)惩罚极高:Parquet 面向列式批量顺序扫描设计,通常以 Row Group(典型 128MB+)和 Page(典型 1MB)为单位进行紧凑压缩。读取特定某几行或进行多模态样本点查时,必须解压整页乃至整个 Row Group,导致严重的 I/O 放大(放大倍数可达数十至数百倍)。 多模态与张量数据水土不服:图像、音频、视频等非结构化二进制数据(Blob)和高维向量 Embedding,若以内联方式存入传统列存,会导致元数据膨胀与扫描性能断崖式下跌;若以外链(URL)存储,则面临“数据与元信息割裂”、“分布式读取 I/O 瓶颈”及“缺乏事务保障”的问题。 特征工程与列演进(Schema Evolution)代价高昂:AI 特征工程需要频繁增加 Embedding 列或模型打分。在 Parquet/Iceberg 体系下,向已有数十亿行的表中“水平追加列”通常需要全表重写(Full Rewrite),导致极高的时间与云存储成本。 存储栈割裂与冗余运维:企业通常需要维护“对象存储(Parquet 数据湖) + 向量数据库(Milvus/Pinecone) + 倒排检索引擎(Elasticsearch) + 特征缓存(Redis)”四套系统,带来高昂的同步延迟(ETL)、数据一致性风险和基础设施开销。

lance 的核心定位是面向多模态 AI 与湖仓一体(AI Lakehouse)的原生开源存储格式。它基于 Apache Arrow 内存格式构建,从底层重构了文件存储布局,实现了“批量扫描性能媲美 Parquet,随机点查性能提升 100 倍,且原生内嵌向量索引与多模态 Blob 抽象”。

1.2 企业级商业落地场景 1. 多模态与大模型混合检索(Hybrid Search & Multimodal RAG): 企业知识库或内容检索平台需要在单次查询中混合执行“标量过滤(SQL where) + 密集向量相似度检索(Dense Vector) + 稀疏关键词检索(BM25 Full-Text)”。Lance 在文件格式层原生统合这三类索引,消除了跨引擎 Join 的开销。 2. 大规模分布式模型训练的数据加载(ML DataLoader): 在 Vision-Language、自动驾驶、大语言模型后训练(Post-training / RLHF)等场景中,训练集群通常需要从云端对象存储(如 AWS S3)以高并发、乱序(Shuffle)方式采样样本。Lance 结合 iouring 与精细化块寻址,使得 PyTorch 可以直接从对象存储高效流式拉取 Batch,跳过昂贵的本地 NVMe 盘缓存预热或 TFRecord/WebDataset 转换。 3. 低成本动态特征仓库(AI Feature Store): 算法团队可以对 TB/PB 级基表执行“零重写列追加”(Zero-copy Column Addition),并利用内置的行版本管理(Time Travel)和分支(Branching)机制,保障特征实验可复现性与生产无缝切换。

1.3 竞品差异化与商业护城河 | 维度 | Lance | Apache Parquet / Iceberg | 独立向量数据库 (Milvus / Pinecone) | | :--- | :--- | :--- | :--- | | 底层核心范式 | 列存 + 细粒度寻址 + 嵌入式索引 | 批处理列存,依赖统计信息 Skip | 专用行存/近线内存索引,主键映射 | | 随机行访问延迟 | 毫秒级(直接定位偏移量解压微块) | 极差(整页/整块解压,I/O 严重放大) | 极高(但成本高,数据容量受限) | | 向量/倒排索引支持 | 原生内置(IVF-PQ、HNSW、BM25) | 无(依赖外围执行引擎二次处理) | 核心功能 | | 多模态 Blob 延迟加载 | 原生 Lazy Loading,按需取字节范围 | 弱(全列拉取或外链间接访问) | 弱(通常仅存元数据和向量) | | 列追加写入成本 | $O(1)$ 元数据追加,免全表重构 | $O(N)$ 重写数据文件或依赖复杂的 Delete Files | 不适用(宽表特征分析能力受限) | | 部署形态 | Serverless/嵌入式/可读写共享格式 | 开放表格式(支持无状态查询) | 独立分布式集群(常驻服务、高计算成本) |

护城河:Lance 的根本护城河在于其建立在 Arrow 生态标准之上(零拷贝互操作性)并深入到了文件格式标准层。它不只是一个“向量库”,而是一个向下兼容分析型数据湖能力、向上原生态拥抱 AI 的“新一代基石存储格式”。

---

查看完整 AI 分析 →

在 README 中展示上榜徽章

GitHub Trending

[![GitHub Trending](https://github.fq6825.top/badge/lance-format/lance.svg)](https://github.fq6825.top/repo/lance-format/lance)