inclusionAI/AReaL
Lightning-Fast RL for LLM Reasoning and Agents. Made Simple & Flexible.
Python · ★ 4,771 · Fork 404 · 在 GitHub 查看
在手机上浏览源码、订阅每日 AI 趋势日报与项目架构深度解读:获取 CopoHub 客户端(iOS & HarmonyOS)→
GitHub Trending 上榜记录
inclusionAI/AReaL 已在 GitHub Trending 每日榜单上榜 3 天,最高排名第 5,首次上榜 2026-03-05,最近一次上榜 2026-03-07。
| 日期 | 排名 | Star | 当日增长 |
|---|---|---|---|
| 2026-03-07 | #5 | 4,479 | +347 |
| 2026-03-06 | #5 | 4,378 | +348 |
| 2026-03-05 | #6 | 4,052 | +161 |
同期上榜的项目
- 666ghj/MiroFish – A Simple and Universal Swarm Intelligence Engine, Predicting Anything. 简洁通用的群体智能引擎,预测万物
- moeru-ai/airi – 💖🧸 Self hosted, you-owned Grok Companion, a container of souls of waifu, cyber livings to bring them into our worlds, wishing to achieve Neuro-sama's altitude. Capable of realtime voice chat, Minecraft, Factorio playing. Web / macOS / Windows supported.
- openai/skills – Skills Catalog for Codex
- msitarzewski/agency-agents – A complete AI agency at your fingertips - From frontend wizards to Reddit community ninjas, from whimsy injectors to reality checkers. Each agent is a specialized expert with personality, processes, and proven deliverables.
- Ed1s0nZ/CyberStrikeAI – CyberStrikeAI is an AI-native security testing platform built in Go. It integrates 100+ security tools, an intelligent orchestration engine, role-based testing with predefined security roles, a skills system with specialized testing skills, and comprehensive lifecycle management capabilities.
- GoogleCloudPlatform/generative-ai – Sample code and notebooks for Generative AI on Google Cloud, with Gemini on Vertex AI
AReaL 项目深度剖析与商业评估报告
AReaL 项目深度剖析与商业评估报告
1. 核心定位与商业落地价值
AReaL(Asynchronous Reinforcement Learning)由清华大学交叉信息研究院(IIIS)与蚂蚁集团联合研发,定位为大规模异步强化学习基础设施,其核心价值主张是弥合基础模型训练与现代 Agent 应用之间的工程鸿沟。
根本痛点剖析:当前 LLM 后训练阶段面临一个结构性矛盾——同步 RL 范式(如典型 PPO/GRPO 实现)中,Rollout、Reward 计算、Policy 更新三者强耦合,导致 GPU 利用率低下(通常在 30%-50% 区间),且多轮 Agent 交互场景下训练吞吐急剧恶化。AReaL 通过全异步训练范式(maxheadoffpolicyness 参数可调)解耦了这三条链路,使各环节独立伸缩,实现了 2.77× 的端到端加速,且训练质量不降甚至更优。
商业落地场景:
Agentic RL 训练平台:AReaL 支持通过替换 baseurl 即可对黑盒 Agent 应用(如 OpenClaw、CAMEL-AI 框架)进行在线 RL 训练,这一能力直接降低了企业自建 Agent 推理优化闭环的工程门槛。 垂直领域推理模型定制:已落地案例涵盖数学推理(GSM8K SOTA)、代码生成(SWE-Bench 端到端 RL)、客服系统(Tau2-Bench,235B MoE 模型超越 GPT-5)等高价值场景,具备行业复制潜力。 多模态 RL 扩展:支持 Qwen2.5/3-VL 等 VLM 的 RL 训练,为具身智能、视觉 Agent 提供基础设施。
竞品差异化与护城河:
| 维度 | AReaL | OpenRLHF | VeRL | |------|-------|----------|------| | 异步范式 | 原生全异步,支持 off-policyness 控制 | 以同步为主 | 混合,但 Agent 场景支持较弱 | | Agent 生态 | 原生支持任意 Agentic Runtime(黑盒/白盒) | 需深度改造 | 有限支持 | | 多后端 | Megatron + FSDP + Archon 三训练后端 | Megatron/FSDP | Megatron/FSDP | | 硬件兼容 | 支持华为 Ascend NPU(独立分支) | 无 | 无 |
在 README 中展示上榜徽章
[](https://github.fq6825.top/repo/inclusionAI/AReaL)