跳到主要内容

传神社区版本更新说明 v2026.07

1 Prefill-Decode (PD) 分离架构 (EE)​

推理引擎正式引入 Prefill-Decode (PD) 分离部署与资源调度分配架构，优化计算资源利用率，大幅提升大语言模型在高并发场景下的推理吞吐量与首 Token 响应速度。

  • Prefill-Decode (PD) 部署与调度：支持将 Prefill（首 Token 生成）与 Decode（后续 Token 解码）解耦部署在不同的硬件节点上，针对不同阶段的计算负载实施精准调优与资源保障。

2 推理引擎升级与异构算力适配​

全面更新主流开源推理引擎服务，并进一步扩充对国产/异构算力的硬件适配能力。

  • 主流推理引擎升级：全面升级 vLLM 和 SGLang 至最新稳定版本，并完成 GLM-5.1 推理服务适配，保障最新开源大模型的高效部署与流畅体验。
  • 异构算力与芯片适配 (EE)：扩展平台对异构算力的硬件支持，新增基于 AMD (ROCm) 算力架构的 llama.cpp 模型部署支持。

3 AI Gateway 多模态推理能力增强 (EE)​

针对 AI Gateway 进行多模态任务与 API 链路的全面升级，丰富应用在线体验。

  • 图生图（Image-to-Image）推理组件：新增 Image-to-Image 模型推理组件及在线交互体验，支持丰富的图像到图像多模态生成与处理任务。
  • 语音流式（Audio Stream）推理服务：Audio 语音 API 接口全面升级支持 Stream 流式传输；对接自部署 ASR 模型增加了上游时长校验机制，优化语音交互延时与准确率。
  • 特征提取与 API 体验优化：Feature Extraction（特征提取）推理组件适配 AI Gateway 并提供 API 调用示例；缩短了 Serverless 与推理模型的 API ID 路径，提升调用体验。

4 ClawEval 评测框架集成​

强化平台模型评估能力，为开发者与企业提供开箱即用的自动化模型测评。

  • ClawEval 评测框架：正式整合开源 ClawEval 评估框架，提供标准化、多维度的大模型能力评测与结果分析能力，帮助用户全面评估模型综合性能。

5 经营统计与 Superset BI 看板集成 (EE)​

为平台管理者提供可视化、多维度的算力与业务数据分析能力。

  • Superset BI 系统集成：成功集成开源 Superset BI 引擎，支持对平台经营统计、用户活跃及算力使用情况进行深入数据挖掘。
  • 经营统计看板：推出经营统计看板，全面呈现算力使用趋势、资源消耗及消费明细，辅助平台管理者进行精准运营决策。

6 Agent 底座与沙盒加固 (EE)​

提升 Agent 基础设施的安全隔离与稳定运行能力。

  • Agent 沙盒稳定性提升：针对 Agent 运行沙盒环境进行深度隔离与稳定性调优，提升长时间运行及复杂任务下的环境安全性与可靠性。

7 LLM Log 数据流闭环与镜像同步重构​

打通大模型日志数据治理闭环，并对底层的仓库与镜像同步机制进行了重构与加固。

  • LLM Log 数据集工作流：支持将在线 LLM Log 自动同步至 Dataset，并有机衔接数据处理与数据标注步骤；配置 JetStream 动态保留策略，优化日志存储增长。
  • 仓库镜像同步重构：重构仓库与镜像同步逻辑，支持鉴权（用户名+Token）、可重试/不可重试机制以及前端进度实时感知，解决大文件与 Skill 仓库同步超时的稳定性痛点。

历史版本​

点击 版本列表 查看所有历史版本。