跳到主要内容

内容安全与数据处理

AI Gateway 可以对模型输入与输出执行内容检测。企业版可通过敏感词检测链、可选的 LLM 内容安全守卫,以及插件接入的安全扫描服务,配置适合业务场景的审核方式。

内容检测方式​

方式作用
流式检测在流式输出过程中执行检测
非流式检测检查完整请求或响应
可信请求例外部署支持时,对明确配置的可信请求跳过检测

插件扩展与第三方安全扫描​

AI Gateway 支持以插件(Plugin)的方式接入安全扫描服务。企业可根据业务需求选择安全扫描服务,并通过插件与网关集成。

对于其他第三方安全扫描服务,支持通过定制化插件完成对接,复用企业已有的安全扫描能力。具体接入方式和配置参数请参阅所使用插件的说明。

配置内容检测​

在 Kubernetes Helm 部署中,网关级内容检测通过部署配置中的 aigateway.moderation 配置。需要使用 LLM 内容安全守卫时,还需配置 aigateway.moderation.llm,连接相应的审核模型服务。

配置项作用
aigateway.moderation.enabled启用或关闭网关级内容检测
aigateway.moderation.checkChain配置检测链
aigateway.moderation.streamCheckMode配置流式检测模式
aigateway.moderation.llm.enabled启用或关闭可选的 LLM 内容安全守卫
aigateway.moderation.llm.endpoint / apiKey配置审核模型服务的地址与访问凭据
aigateway.moderation.llm.guard.model / guardStream.model配置普通与流式审核模型

完整配置、默认值及部署方式见 Kubernetes 配置指南中的 Moderation 说明。使用平台敏感词库时,先在资产管理中维护规则,再配置网关的检测开关与检测链。

配置完成后,分别检查正常输入、命中规则的输入以及流式和非流式响应。使用流式检测时,应用需处理检测失败或流中断事件,并妥善展示此前已接收的内容。

检测例外与模型权限​

检测例外用于指定跳过内容检测的请求来源和适用范围。配置后,检查例外范围内外的请求是否按预期执行检测;模型调用权限仍按服务的访问规则校验。

身份与访问权限说明谁能调用服务;本页说明调用内容如何处理。两者是不同的控制环节。

请求正文与日志​

网关的请求记录可包含 Prompt、工具调用及流式输出,用于排障、审计或后续分析。使用日志时需要明确部署中的收集范围、存储位置、访问权限与保留规则;这些规则由实际配置和企业数据要求共同决定。

将调用记录用于微调或再训练前,按企业的数据管理流程完成授权确认,并选择符合使用范围的数据。

自建与外部模型的数据去向​

请求内容会发送到路由选中的上游模型服务。需要将数据保留在企业内部时,请同时检查主用和备用上游,选择符合企业数据要求的服务。

网络与部署方式参见网络要求和部署架构。

相关文档​

监控、日志与排障 · 路由与调用稳定性