标签: vllm
所有带有 "vllm" 标签的文章。
- llm / vllm
RTX 4060 8GB 部署 Qwen3-0.6B-FP8：vLLM 启动与显存调优
面向 RTX 4060 8GB 的 Qwen3-0.6B-FP8 本地部署指南，使用 vLLM 完成环境准备、模型下载和 API 验证，并梳理上下文长度、并发、CUDA Graphs 与显存不足的排查方法。
所有带有 "vllm" 标签的文章。
面向 RTX 4060 8GB 的 Qwen3-0.6B-FP8 本地部署指南，使用 vLLM 完成环境准备、模型下载和 API 验证，并梳理上下文长度、并发、CUDA Graphs 与显存不足的排查方法。