部署模型推理服务并验证 API

在平台上快速拉起开源大模型在线推理服务，并通过标准 OpenAI 兼容接口发送调用。

30–40 分钟中级API 与 SDK

完成标志

一个具备健康检查、支持并发流式输出并能通过 cURL / Python SDK 调用的模型推理接口。

开始之前

确认计算节点具备运行目标模型所需显存（如 7B 模型需至少 16GB 显存或国产 NPU）
已在用户设置中生成并复制个人 API Token

选择开源模型并配置推理实例

在模型库中选定目标模型（如 Qwen2.5-7B-Instruct），点击“部署在线推理”，选择适配的算力规格。

启动服务并等待就绪状态

等待容器拉取镜像与加载模型权重，在控制台监控实例日志直至健康检查返回 Ready。

发送最小 cURL 测试请求

使用 OpenAI 兼容的标准 /v1/chat/completions 路由发送带鉴权头的 POST 请求，验证流式输出。

curl -X POST https://api.opencsg.com/v1/chat/completions \
  -H "Authorization: Bearer YOUR_API_TOKEN" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "Qwen/Qwen2.5-7B-Instruct",
    "messages": [{"role": "user", "content": "你好，请用一句话介绍 OpenCSG"}],
    "stream": false
  }'

查看调用日志与 Token 吞吐指标

在推理实例监控面板查看首字延迟（TTFT）、Token/s 吞吐速率与 GPU 显存占用情况。

完成本步骤后，即可继续下一步。

继续学习与深入

将本次实战成果连接到完整的平台文档，理解更多架构边界与生产实践。

查看 REST API 与 SDK 完整接口参考