推理引擎与版本
CSGHub 平台内置推理引擎的可用小版本、容器镜像与驱动要求汇总如下，供新建框架和部署时对照填写。
内置推理引擎与版本
NVIDIA GPU
按集群驱动支持的 CUDA 版本选择对应条目。
| 引擎名称 | 框架版本 | 框架镜像 | CUDA 版本 | 模型格式 | 用途 |
|---|---|---|---|---|---|
| vllm | v0.28.0 | opencsghq/vllm:v0.28.0 | 13.0 | safetensors | 文生文 / 嵌入 / 重排 / 语音合成 |
| vllm | v0.9.2 | opencsghq/vllm:v0.9.2-cu118 | 11.8 | safetensors | 文生文 |
| nvidia-vllm | 25.11-py3 | opencsghq/nvidia-vllm:25.11-py3 | 13.0 | safetensors | 文生文 / 嵌入 / 重排 |
| sglang | v0.5.14 | opencsghq/sglang:v0.5.14-cu130 | 13.0 | safetensors | 文生文 |
| nvidia-sglang | 25.12-py3 | opencsghq/nvidia-sglang:25.12-py3 | 13.0 | safetensors | 文生文 |
| sglang-qwen3-guard-stream | v0.5.3rc0 | opencsghq/sglang:0.5.3rc0-qwen3-guard-stream | 12.8.1 | safetensors | 内容安全审查（Qwen3-Guard 流式） |
| tgi | 3.2.1 | opencsghq/tgi:3.2.1 | 12.4 | safetensors | 文生文 |
| tei | 1.7 | opencsghq/tei:1.7 | 12.2 | safetensors | 嵌入 / 重排 |
| llama.cpp | b9787 | opencsghq/llama.cpp:b9787 | 12.4 | gguf | 文生文 |
| ktransformers | 0.2.1.post1 | opencsghq/ktransformers:0.2.1.post1 | 12.4 | gguf | 文生文 |
| hf-inference-toolkit | 0.5.5 | opencsghq/hf-inference-toolkit:0.5.5 | 12.8 | safetensors | 文生图 |
| diffusers | 0.39.0 | opencsghq/diffusers:0.39.0 | 12.8 | safetensors | 文生图 / 图像编辑 |
| diffusers | 0.38.0 | opencsghq/diffusers:0.38.0 | 12.8 | safetensors | 文生图 / 图像编辑（旧版兼容） |
| funasr | 1.3.9 | opencsghq/funasr:1.3.9 | 12.8 | pytorch | 语音识别 |
| paddleocr | 3.7.0 | opencsghq/paddleocr:3.7.0 | 12.8 | paddle_static | OCR |
| paddleocr-vl | 3.7.0 | opencsghq/paddleocr-vl:3.7.0 | 12.8 | safetensors | OCR（视觉语言模型） |
| audiofly | 1.0 | opencsghq/audiofly:1.0 | 12.1 | pytorch | 文本转音频 |
| audio-fish | 1.5.1 | opencsghq/fish-speech:server-cuda | 12.6 | pytorch | 语音合成（fish-speech） |
| lightx2v | 0.0.1 | opencsghq/lightx2v:26011201-cu128 | 12.8 | safetensors | 视频生成 |
| longcat-video | 1.5 | opencsghq/longcat-video:1.5-cu124 | 12.4 | safetensors | 音频驱动数字人视频 |
CPU
无驱动版本要求。
| 引擎名称 | 框架版本 | 框架镜像 | 模型格式 | 用途 |
|---|---|---|---|---|
| vllm | v0.24.0 | opencsghq/vllm-cpu:v0.24.0 | safetensors | 文生文 |
| tei | 1.7 | opencsghq/tei:cpu-1.7 | safetensors | 嵌入 / 重排 |
| llama.cpp | b9787 | opencsghq/llama.cpp:b9787-cpu | gguf | 文生文 |
| funasr | 1.3.9 | opencsghq/funasr-cpu:1.3.9 | pytorch | 语音识别 |
| paddleocr | 3.7.0 | opencsghq/paddleocr-cpu:3.7.0 | paddle_static | OCR |
| audio-fish | 1.5.1 | opencsghq/fish-speech:server-cpu | pytorch | 语音合成（fish-speech） |
AMD ROCm GPU
驱动版本为镜像对应的 ROCm 版本。
| 引擎名称 | 框架版本 | 框架镜像 | ROCm 版本 | 模型格式 | 用途 |
|---|---|---|---|---|---|
| amd-vllm | 0.28.0 | opencsghq/amd-vllm:rocm7.2.1_vllm_0.28.0 | 7.2.1 | safetensors | 文生文 / 嵌入 / 重排 |
| amd-tgi | 3.3.6 | opencsghq/tgi-rocm:rocm6.3.1_tgi_3.3.6 | 6.3.1 | safetensors | 文生文 |
| amd-llama.cpp | b9787 | opencsghq/llama.cpp-rocm:rocm7.2.2-b9787 | 7.2.2 | gguf | 文生文 |
| amd-funasr | 1.3.9 | opencsghq/funasr-rocm:1.3.9 | 7.2.2 | pytorch | 语音识别 |
| amd-diffusers | 0.39.0 | opencsghq/diffusers-rocm:0.39.0 | 7.2.2 | safetensors | 文生图 / 图像编辑 |
| amd-diffusers | 0.38.0 | opencsghq/diffusers-rocm:0.38.0 | 7.2.2 | safetensors | 文生图 / 图像编辑（旧版兼容） |
| amd-hf-inference-toolkit | 0.5.5 | opencsghq/hf-inference-toolkit-rocm:0.5.5 | 7.2.2 | safetensors | 文生图 |
| amd-audiofly | 1.0 | opencsghq/audiofly-rocm:1.0 | 7.2.2 | pytorch | 文本转音频 |
| amd-longcat-video | 1.5 | opencsghq/longcat-video-rocm:1.5-rocm7.2.2 | 7.2.2 | safetensors | 音频驱动数字人视频 |
华为昇腾 NPU
驱动版本随镜像内置。
| 引擎名称 | 框架版本 | 框架镜像 | 模型格式 | 用途 |
|---|---|---|---|---|
| ascend-vllm | v0.25.1rc | opencsghq/ascend-vllm:v0.25.1rc | safetensors | 文生文 |
| mindie | 1.0.RC2 | opencsghq/mindie:2.0-csg-1.0.RC2 | safetensors | 文生文 |
摩尔线程 GPGPU
驱动版本随镜像内置。
| 引擎名称 | 框架版本 | 框架镜像 | 模型格式 | 用途 |
|---|---|---|---|---|
| vllm | v0.25.0 | opencsghq/metax-vllm:0.25.0 | safetensors | 文生文 |
| sglang | v0.5.12 | opencsghq/metax-sglang:0.5.12 | safetensors | 文生文 |
海光 DCU
驱动版本为镜像对应的 DTK 版本。
| 引擎名称 | 框架版本 | 框架镜像 | DTK 版本 | 模型格式 | 用途 |
|---|---|---|---|---|---|
| vllm | v0.8.5 | opencsghq/vllm:v0.8.5-dtk25.04 | 25.04 | safetensors | 文生文 |
昆仑芯 GCU
驱动版本见下表。
| 引擎名称 | 框架版本 | 框架镜像 | 驱动版本 | 模型格式 | 用途 |
|---|---|---|---|---|---|
| tgi-gcu | 3.2.1 | opencsghq/tgi-gcu:tgi_25.02.22.1 | 25.02 | safetensors | 文生文 |