摩尔线程开源 vLLM-MUSA,通过 MUSA 软件栈对 CUDA 接口兼容2024 年 11 月 5 日

摩尔线程官方发布消息称,已上线大语言模型高速推理框架 vLLM 的 MUSA 移植版本,并提供基于摩尔线程全功能 GPU 的开源项目 MUSA 移植范例。vLLM 是一个广泛应用于各种大语言模型的高效易用推理和服务框架,现通过 MUSA 软件栈对 CUDA 软件栈接口兼容,提升应用移植效率,缩短开发周期。开发者可基于摩尔线程 GPU 和 vLLM-MUSA 进行二次开发和升级。

企业微信二维码