功能支持

功能支持#

vLLM Ascend 的特性支持原则是:与 vLLM 保持一致。我们也在积极与社区合作,加快支持进度。

你可以查看 [vLLM V1 引擎的支持状态][v1_user_guide]。下面是 vLLM Ascend 的功能支持情况:

特性

vLLM V0 引擎

vLLM V1 引擎

下一步

分块预填充

🟢 功能性

🟢 功能性

功能性,详见说明:[分块预填充][cp]

自动前缀缓存

🟢 功能性

🟢 功能性

可用,请参见详细说明:[vllm-ascend#732][apc]

LoRA

🟢 功能性

🟢 功能性

[vllm-ascend#396][multilora],[vllm-ascend#893][v1 multilora]

提示适配器

🔴 无计划

🔴 无计划

此功能已被 vllm 弃用。

猜测式解码

🟢 功能性

🟢 功能性

基础支持

池化

🟢 功能性

🟡 计划中

需要持续集成(CI)并适配更多模型;V1 的支持依赖于 vLLM 的支持。

Enc-dec(编码-解码)

🔴 没有计划

🟡 计划中

2025.06.30 的计划

多模态

🟢 功能性

🟢 功能性

[教程][multimodal],优化和适配更多模型

LogProbs

🟢 功能性

🟢 功能性

需要持续集成(CI)

提示 logProbs

🟢 功能性

🟢 功能性

需要持续集成(CI)

异步输出

🟢 功能性

🟢 功能性

需要持续集成(CI)

多步调度器

🟢 功能性

🔴 已弃用

[vllm#8779][v1_rfc],已被 [vLLM V1 调度器][v1_scheduler] 替代

精选

🟢 功能性

🔴 已弃用

[vllm#13361][best_of],需要持续集成(CI)

束搜索

🟢 功能性

🟢 功能性

需要持续集成(CI)

引导解码

🟢 功能性

🟢 功能性

vllm-ascend#177

张量并行

🟢 功能性

🟢 功能性

需要持续集成(CI)

流水线并行

🟢 功能性

🟢 功能性

需要持续集成(CI)

专家并行

🔴 没有计划

🟢 功能性

需要持续集成;没有支持V0的计划

数据并行

🔴 没有计划

🟢 功能性

需要 CI;暂无 V0 支持计划

预填充 解码 拆分

🟢 功能性

🟢 功能性

1P1D 已可用,正在开发 xPyD 和 V1 支持。

量化

🟢 功能性

🟢 功能性

W8A8 已可用,需要持续集成(CI);正在开发对更多量化方法的支持。

图模式

🔴 没有计划

🔵 实验性

实验性功能,详见说明:[vllm-ascend#767][graph_mode]

睡眠模式

🟢 功能性

🟢 功能性

level=1 可用,需要CI,正在开发 V1 支持

  • 🟢 功能性:完全可用,正在持续优化中。

  • 🔵 实验性:实验性支持,接口和功能可能会发生变化。

  • 🚧 WIP:正在积极开发中,很快将会支持。

  • 🟡 计划中:已安排将来实现(其中一些可能已有开放的PR/RFC)。

  • 🔴 没有计划 / 已弃用:V0 没有计划或已被 vLLM v1 弃用。