对话速度优化、线上部署建议
414字约1分钟
2024-11-07
对话速度优化
当你发现回答响应变慢的时候,请认真排查下面每项:
LLM
、IAT
、TTS
这三个服务的响应速度,根据控制台输出信息的时间即可计算出来。- 设置的
auth
配置函数是否使用await
来等待授权查询,非常不建议在auth
中等待查询结果,在auth
应该使用缓存信息,而不应该向接口发出请求。更不应该每次去查询mysql
。 指令配置
是否太多- 指令中发出的异步请求响应时间太长。(也就是指令配置项
key
中发出了请求,且请求服务响应时间较长) - 你得物理服务器带宽是否太小(<6mb 时24k 很慢)
- 语音识别静默时间设置是否太长,推荐 1.5s 。
总结:
响应时间等于: IAT 响应时间 + 语音识别静默时间 + LLM 响应时间 + TTS 响应时间 + 指令解析时间 + 服务器延迟
线上部署建议
建议将 ESP-AI 独立部署为一个服务,并且使用 PM2
等工具来运行项目,以实现多线程服务。
并且建议使用 Nginx
服务来实现负载均衡。
但是需要注意,这样会将各个设备分散到不同的服务中,在服务端进行设备控制时,比如向设备发送重启命令时,需要给每一个 ESP-AI 服务节点都发送一个信息,除非在设备接入服务时,你做了记录。