allenai/olmocr
Toolkit for linearizing PDFs for LLM datasets/training
Python · ★ 18,979 · Fork 1,560 · 在 GitHub 查看
在手机上浏览源码、订阅每日 AI 趋势日报与项目架构深度解读:获取 CopoHub 客户端(iOS & HarmonyOS)→
GitHub Trending 上榜记录
allenai/olmocr 已在 GitHub Trending 每日榜单上榜 2 天,最高排名第 7,首次上榜 2026-07-01,最近一次上榜 2026-07-02。
| 日期 | 排名 | Star | 当日增长 |
|---|---|---|---|
| 2026-07-02 | #7 | 18,468 | +334 |
| 2026-07-01 | #7 | 18,231 | +295 |
同期上榜的项目
- usestrix/strix – Open-source AI penetration testing tool to find and fix your app’s vulnerabilities.
- JuliusBrussee/caveman – why use many token when few token do trick. Skill + local proxy for coding agents: shorter answers, smaller tool output, every original recoverable.
- msitarzewski/agency-agents – A complete AI agency at your fingertips - From frontend wizards to Reddit community ninjas, from whimsy injectors to reality checkers. Each agent is a specialized expert with personality, processes, and proven deliverables.
- hasaneyldrm/exercises-dataset – 1,324-exercise fitness dataset — animation GIFs, 180×180 thumbnails, muscle-group & equipment data, and step-by-step instructions in 6 languages. The exercise data layer behind the LogPress app.
- santifer/career-ops – Open-source AI job search: scan job portals, evaluate listings into a structured A-H report with a global 1-5 score, tailor your CV, track applications — runs locally in your AI coding CLI (Claude Code, Codex, OpenCode, Antigravity…)
- obra/superpowers – An agentic skills framework & software development methodology that works.
olmocr 项目深度剖析与商业评估报告
olmocr 项目深度剖析与商业评估报告
1. 核心定位与商业落地价值
核心痛点解决: olmocr 解决的是大规模文档数字化过程中,从 PDF/扫描件到高质量、结构化文本的“最后一公里”问题。传统 OCR 工具(如 Tesseract)在复杂排版、多栏布局、数学公式、表格、手写体等场景下表现不佳,且输出格式混乱,无法直接用于 LLM 训练。而商业 API(如 Mistral OCR)虽然质量高,但成本高昂(按 token 计费),且存在数据隐私风险。
商业落地场景: LLM 训练数据管线: 最核心场景。AI2 自身使用 olmocr 处理海量学术论文、书籍、技术文档,为 OLMo 系列模型提供训练语料。企业可将内部知识库(如产品手册、合同、研究报告)转化为高质量训练数据。 企业知识库构建: 将历史纸质文档、扫描件、PDF 格式的合同/报表数字化为可检索、可分析的 Markdown 文本,支持后续的 RAG 或语义搜索。 法律/金融文档处理: 需要高精度保留表格、数字、复杂格式的文档(如财务报表、法律判决书),olmocr 的表格处理能力(84.9 分)优于多数竞品。 学术/出版领域: 对数学公式、多栏布局、旧扫描件的处理能力(82.3 分)使其成为学术论文数字化、古籍电子化的理想工具。
竞品差异化与护城河: 成本优势: 宣称“每百万页低于 200 美元”,远低于商业 API(如 Mistral OCR 按 token 计费,百万页可能高达数千美元)。这是其最大的商业壁垒。 模型自主可控: 基于 Qwen2.5-VL 7B 模型进行 SFT 和 GRPO RL 训练,完全开源(Apache 2.0),企业可私有化部署,数据不出域。 端到端管线: 不仅提供模型推理,还提供 PDF 渲染、过滤、Dolma 格式输出、集群调度等完整工具链,降低了集成复杂度。 持续迭代: 从 v0.1.58 到 v0.4.0,4 个月内 8 次版本更新,benchmark 从 77.4 提升至 82.4,迭代速度惊人,社区活跃度高。
2. 核心架构设计与技术深度
模块拆解思想: 项目采用分层解耦的微内核架构,核心逻辑集中在 olmocr/ 目录下,分为六大模块:
olmocr/ ├── bench/ # 基准测试套件 ├── data/ # 数据构建(buildsilver.py) ├── filter/ # 过滤逻辑(语言检测、SEO 垃圾过滤) ├── synth/ # 合成数据生成 ├── train/ # 模型训练(SFT + GRPO) ├── pipeline.py # 核心推理管线 ├── viewer/ # Dolma 文档查看器
在 README 中展示上榜徽章
[](https://github.fq6825.top/repo/allenai/olmocr)