2023 年 6 月 27 日
ZeRO++ 建立在 ZeRO 传输技术基础上,提供增强的通信策略,可提高训练效率,同时减少训练时间和成本 … ZeRO++ 可对权重进行量化,其利用基于块的量化方法来保持训练精度,这种优化的量化过程相对原始 Zero 传输技术更快更准确 … 微软研究人员表示,与 ZeRO 相比,ZeRO++ 减少了高达 4 倍的通信量,提高了训练吞吐量和效率。
![展开](/_next/image?url=%2Ficons%2Ficon-arrow-down.png&w=32&q=75)
2024-05-07
微软将推出全新自研 AI 模型2024-02-27
微软延后经典版 Teams 切换新版时间至 2024 年 7 月 1 日2023-09-15
微软招聘首席应用科学家:为 Edge 浏览器开发 SOTA 人工智能技术2023-06-27
微软推出 ZeRO++ 技术,可显著减少 AI 大模型训练时间和成本2023-04-13
微软开源 Deep Speed Chat:可将训练速度提升 15 倍以上2021-10-12
微软和 NVIDIA 共同推出迄今为止训练的最大的语言模型2019-06-20
微软为 PowerPoint 新增 AI 教练,训练用户演讲能力2018-08-28
微软暂停 Xbox VR 头盔开发:等待相关技术成熟2018-02-04
微软:Windows 10 多个版本将额外提供 6 个月技术支持查看更多