本文列举您在使用大模型应用防火墙过程中可能会遇到的问题及对应的解决方案。
如果您的大模型服务没有使用火山引擎服务器资源,可以通过 CNAME 方式或 SDK 方式接入大模型应用防火墙服务。接入详情可参见通过 CNAME 接入和通过 SDK 接入。
当一个域名接入大模型应用防火墙,且存在多个源站 IP 时,大模型应用防火墙默认采用加权轮询(WRR)的方式实现请求流量的负载均衡,还可以选择加权最小连接数(WLC)和源地址哈希(SH)方式进行负载均衡。
接入域名时,大模型应用防火墙会在配置参数提交完成后显示对应的回源 IP 地址,您也可以在资产管理页面单击对应域名,查看回源 IP 地址段,详情请参见放行回源 IP 地址。
ping <复制的 CNAME 值>
。大模型应用防火墙对正常业务请求不会触发拦截动作,如果担心开启防护会影响正常业务,可以选择先开启“观察”模式,该模式下会记录所有命中检测规则的攻击日志,并上报到日志管理页面。可以对上报的“观察”类型日志进行观察,持续一段时间内都没有出现误报,则可以将“观察”模式,改为“拦截”模式。
支持,用户只需根据提示将网站的 SSL 证书及私钥上传到火山引擎,大模型应用防火墙就能对 HTTPS 业务流量进行检测防护。
可以,通过 CNAME 接入大模型应用防火墙进行防护时,每个域名最多支持填写 20 个源站地址。
如果所有防护功能都没有开启,则仅进行流量转发,不会拦截或者记录上报攻击行为,因此不会有日志生成。
通过 SDK 方式接入的域名,目前仅支持大模型防护策略,其他防护策略不生效,因此您在配置访问管控策略时,无法选择对应域名。对于通过 SDK 方式接入的域名,大模型防护策略的生效范围如下:
您可以在大模型应用防火墙控制台配置算力消耗防护和提示词防护策略,然后在服务器上通过 SDK 调用方式获取算力消耗的检测结果和优化后的问答。