LoRA 适配器指南

与 vLLM 类似，vllm-ascend 也支持 LoRA。用法及更多详情可参见 vLLM 官方文档。

你也可以参考这个链接来查找哪些模型在 vLLM 中支持 LoRA。

提示

如果你在使用 LoRA 运行 vllm-ascend 时失败，可以按照此说明禁用图模式后再重试。