Meta 推出 LlamaRL 强化学习框架，采用全异步分布式架构，大幅提升大模型训练效率。在 4050 亿参数模型上，强化学习步骤耗时从 635.8 秒降至 59.5 秒，性能提升超 10 倍。该框架通过模块化设计和高效数据传输技术，解决内存占用高和 GPU 利用率低等问题，为更大规模模型训练提供扩展性方案。