功能支持#
vLLM Ascend 的特性支持原则是:与 vLLM 保持一致。我们也在积极与社区合作,加快支持进度。
你可以查看 [vLLM V1 引擎的支持状态][v1_user_guide]。下面是 vLLM Ascend 的功能支持情况:
特性 |
vLLM V0 引擎 |
vLLM V1 引擎 |
下一步 |
|---|---|---|---|
分块预填充 |
🟢 功能性 |
🟢 功能性 |
功能性,详见说明:[分块预填充][cp] |
自动前缀缓存 |
🟢 功能性 |
🟢 功能性 |
可用,请参见详细说明:[vllm-ascend#732][apc] |
LoRA |
🟢 功能性 |
🟢 功能性 |
[vllm-ascend#396][multilora],[vllm-ascend#893][v1 multilora] |
提示适配器 |
🔴 无计划 |
🔴 无计划 |
此功能已被 vllm 弃用。 |
猜测式解码 |
🟢 功能性 |
🟢 功能性 |
基础支持 |
池化 |
🟢 功能性 |
🟡 计划中 |
需要持续集成(CI)并适配更多模型;V1 的支持依赖于 vLLM 的支持。 |
Enc-dec(编码-解码) |
🔴 没有计划 |
🟡 计划中 |
2025.06.30 的计划 |
多模态 |
🟢 功能性 |
🟢 功能性 |
[教程][multimodal],优化和适配更多模型 |
LogProbs |
🟢 功能性 |
🟢 功能性 |
需要持续集成(CI) |
提示 logProbs |
🟢 功能性 |
🟢 功能性 |
需要持续集成(CI) |
异步输出 |
🟢 功能性 |
🟢 功能性 |
需要持续集成(CI) |
多步调度器 |
🟢 功能性 |
🔴 已弃用 |
[vllm#8779][v1_rfc],已被 [vLLM V1 调度器][v1_scheduler] 替代 |
精选 |
🟢 功能性 |
🔴 已弃用 |
[vllm#13361][best_of],需要持续集成(CI) |
束搜索 |
🟢 功能性 |
🟢 功能性 |
需要持续集成(CI) |
引导解码 |
🟢 功能性 |
🟢 功能性 |
|
张量并行 |
🟢 功能性 |
🟢 功能性 |
需要持续集成(CI) |
流水线并行 |
🟢 功能性 |
🟢 功能性 |
需要持续集成(CI) |
专家并行 |
🔴 没有计划 |
🟢 功能性 |
需要持续集成;没有支持V0的计划 |
数据并行 |
🔴 没有计划 |
🟢 功能性 |
需要 CI;暂无 V0 支持计划 |
预填充 解码 拆分 |
🟢 功能性 |
🟢 功能性 |
1P1D 已可用,正在开发 xPyD 和 V1 支持。 |
量化 |
🟢 功能性 |
🟢 功能性 |
W8A8 已可用,需要持续集成(CI);正在开发对更多量化方法的支持。 |
图模式 |
🔴 没有计划 |
🔵 实验性 |
实验性功能,详见说明:[vllm-ascend#767][graph_mode] |
睡眠模式 |
🟢 功能性 |
🟢 功能性 |
level=1 可用,需要CI,正在开发 V1 支持 |
🟢 功能性:完全可用,正在持续优化中。
🔵 实验性:实验性支持,接口和功能可能会发生变化。
🚧 WIP:正在积极开发中,很快将会支持。
🟡 计划中:已安排将来实现(其中一些可能已有开放的PR/RFC)。
🔴 没有计划 / 已弃用:V0 没有计划或已被 vLLM v1 弃用。