内置的官方/讯飞/火山/阿里等服务配置
913字约3分钟
2024-11-09
内置接入的服务只需要直接配置即可,不需要引入插件,使用方便。
接入不同的 LLM/TTS/IAT 服务都是在服务端进行,所以只要改服务端代码即可。 内置服务没有你想要的平台时,你可以查看插件市场 或者自行编写插件插件开发。
内置的服务
平台 | TTS | LLM | IAT/ASR | 插件名称 |
---|---|---|---|---|
自定义服务 | ✔️ | ✔️ | ✔️ | 自己写插件 |
官方服务 | ✔️ | ✔️ | ✔️ | esp-ai-asr/tts/llm |
讯飞 | ✔️ | ✔️ | ✔️ | xun_fei |
火山引擎 | ✔️ | ✔️ | volcengine | |
阿里积灵 | ✔️ | dashscope | ||
Chat GPT | chat |
推荐使用的配置
- IAT:官方ASR服务
- LLM:官方LLM服务
- TTS:官方TTS服务
官方服务每天都有 200 次免费额度,个人完全够用了。并且支持克隆自定义音色,这些都是完全免费的。 目前响应速度会比第三方平台慢一些,但我们一直在不断优化,跟着官方走无疑是最理智的。
推荐使用的第三方配置
- IAT:讯飞 IAT
- LLM:火山引擎 4k,型号 character-240728
- TTS:火山引擎
上述配置在测试中表现良好
Nodejs 代码
在目录中建立 index.js
文件
const espAi = require("esp-ai");
const config = {
gen_client_config: ()=>({
// 官方 ASR 服务配置
iat_server: "esp-ai-asr",
iat_config: {
// 开放平台秘钥
api_key: "xxx",
// 等待用户首次说话时间(被唤醒后,多少时间检测不到说话就自动退下,单位 ms, 默认: 5000)
// vad_first: 5000,
// 对话过程中等待用户说话时间(对话过程中,多少时间检测不到说话就自动退下,单位 ms, 默认: 2000)
// vad_course: 2000,
},
// 官方 LLM 服务
llm_server: "esp-ai-llm",
llm_config: {
// 开放平台秘钥
api_key: "xxx",
// [可选] 使用的大模型, 默认使用 qwen2.5:32b
// model: "wizardlm2",
},
// 官方 TTS 服务
tts_server: "esp-ai-tts",
tts_config: {
// 开放平台秘钥
api_key: "xxx",
// [可选] 音色ID,默认使用小明音色,到 ESP-AI 开放平台中可以轻松克隆音色或者使用别人的音色
// reference_id: "f209d2acacfc407e95dedc91fe1b9741",
},
// 讯飞 AST 服务
// iat_server: "xun_fei",
// iat_config: {
// // 讯飞:https://console.xfyun.cn/services/iat 。打开网址后,右上角三个字段复制进来即可。
// appid: "xxx",
// apiSecret: "xxx",
// apiKey: "xxx",
// // 其他配置项...
// },
// 其他 LLM 配置
// llm_server: "volcengine",
// llm_config: {
// /******* 讯飞 *********/
// // 讯飞:https://console.xfyun.cn/services/iat 。打开网址后,右上角三个字段复制进来即可。
// // appid: "xxx",
// // apiSecret: "xxx",
// // apiKey: "xxx",
// // llm: "v4.0", // llm 版本
// // 其他配置项...
// /******* 阿里积灵 *********/
// // 阿里积灵(千问等): https://dashscope.console.aliyun.com/apiKey
// // apiKey: "sk-xxx",
// // llm: "qwen-turbo", // LLM模型
// // 其他配置项...
// /******* 火山引擎 *********/
// // 1. 注册:https://console.volcengine.com/ark
// // 1. 开通: https://console.volcengine.com/ark/region:ark+cn-beijing/openManagement?LLM=%7B%7D&tab=LLM
// // 2. 创建接入点: https://console.volcengine.com/ark/region:ark+cn-beijing/endpoint
// apiKey: "xxx",
// epId: "ep-xxx-b5xnt", // 接入点ID,推荐4k中的聊天模型,否则速度都不行
// is_clone: false, // 是否为克隆的音色
// // 其他配置项...
// },
// 第三方平台 TTS 配置
// tts_server: "xun_fei",
// tts_config: {
// // 讯飞:https://console.xfyun.cn/services/iat 。打开网址后,右上角三个字段复制进来即可。
// appid: "xx",
// apiSecret: "xxx",
// apiKey: "xxx",
// // 其他配置项...
// /******* 火山引擎 *********/
// // 1. 注册:https://console.volcengine.com/speech/app
// // 2. 音色开通: https://console.volcengine.com/speech/service/8?AppID=6359932705
// // 3. 授权: xxx
// // appid: "xxx",
// // accessToken: "xxx",
// // voice_type: "BV005_streaming", // 活泼女声
// // 其他配置项...
// },
})
};
const espAiIns = espAi(config);