字节豆包大模型团队提出稀疏模型架构,推理成本最高可降低 83%2 月 12 日

字节跳动豆包大模型 Foundation 团队提出 UltraMem,一种稀疏模型架构,有效解决 MoE 推理时的访存问题,推理速度提升 2-6 倍,成本最高降低 83%。

企业微信二维码