vLLM指定多个GPU运行

2025年11月25日 - 文章浏览阅读1.4k次,点赞8次,收藏19次。随着大语言模型规模的不断增长,单个GPU已经难以满足大型模型的部署需求。vLLM提供了强大的分布式推理支持,包括...

2025年12月19日 - 参数类别 推荐值 调优建议 tensor_parallel_size GPU数量/2 避免过度拆分 max_model_len 根据显存动态调整 预留20%安全边际 gpu_memory_utilization 0...

2025年6月20日 - # 使用命令行参数指定GPU数量 vllm-serve --model my_model_path --gpus 4.例如,在多卡环境下,用户可能希望仅使用部分GPU来运行特定模型实例,避免资源...