智能语音问答系统

简介

基于 llm 的智能语音问答系统，asr和tts使用科大讯飞的api接口，llm目前使用的minmax的api接口。在程序启动后你可以与它通过对话交互（目前仅支持中文普通话），它在接收到语音输入后会通过asr api调用将语音转化为文字，然后把文字内容发送给llm处理，接着程序会根据llm返回结果把待播放语音发送给tts api，稍后输出语音回答，与此同时执行函数调用。

创新点

• 相比于传统的语音助手，我们引入了 llm 环节，并且语音识别和语音合成也都使用的是基于大模型的api接口，整个系统更加智能化。
• 可扩展性更强，该语音助手支持用户根据具体使用场景进行微调，系统可以调用的函数也由用户指定。

待改进点

• llm 调用在改用 minimax 提供的快速响应接口后在面对复杂场景时的反应速度仍然可能会较慢。
• 函数调用的安全性有待验证，虽然有prompt限制系统只能调用functions目录下的函数，但是还是要避免注入攻击为代表的攻击手段，因为如果攻击者设法做到调用不在functions目录下的函数，就相当于拿到了任意代码执行的权限。