1. ## 🎯 当前使用的ASR模型 ### 模型名称:SenseVoice (RKNN版本) ### 模型架构: - 编码器 : sense-voice-encoder.rknn - RKNN格式的神经网络模型 - 嵌入层 : embedding.npy - 词嵌入矩阵 - 分词器 : chn_jpn_yue_eng_ko_spectok.bpe.model - BPE分词模型 ### 模型特点: 1. 多语言支持 - 支持中文、日文、粤语、英文、韩文 2. RKNN加速 - 针对RK3588等Rockchip芯片优化 3. ITN支持 - 启用了逆文本归一化(Inverse Text Normalization),提高数字/日期识别准确性 2. ## TTS模型信息 ### 模型名称 Sherpa-ONNX VITS - 中文版本(sherpa-onnx-vits-zh-ll) ### 模型文件 位于 app/src/main/assets/tts_model/sherpa-onnx-vits-zh-ll/ 目录: - model.onnx - ONNX格式的声学模型 - tokens.txt - 音素/字符映射表 - lexicon.txt - 发音词典 - phone.fst - 音素转换规则 - date.fst - 日期归一化规则 - number.fst - 数字归一化规则 - new_heteronym.fst - 多音字处理规则 3. ## VAD模型信息 ### 模型名称 Silero VAD (Voice Activity Detection) ### 模型文件 - 文件路径: assets/vad_model/silero_vad.onnx - 格式:ONNX格式 4. 模型部署对比 模型 类型 格式 RKNN加速 推理设备 配置 ASR SenseVoice .rknn ✅ 是 NPU RKNN Runtime VAD Silero VAD .onnx ❌ 否 CPU provider="cpu" TTS Sherpa-ONNX VITS .onnx ❌ 否 CPU ONNX Runtime ┌─────────────────┐ ┌─────────────────┐ ┌─────────────────┐ │ AudioProcessor │────▶│ VadManager │────▶│ ASR Queue │ │ (录音+增益) │ │ (语音活动检测) │ │ (Channel队列) │ └─────────────────┘ └─────────────────┘ └─────────────────┘ │ ┌─────────────────────────┘ ▼ ┌─────────────────┐ │ runAsrWorker │ │ (协程工作器) │ └─────────────────┘ │ ▼ ┌─────────────────┐ │ SenseVoice │ │ (RKNN推理) │ └─────────────────┘ 5. live2d, Haru的动作 由于没有官方文档,基于Live2D模型的常见设计模式,我建议以下映射: ### 🎭 开心类情绪 - haru_g_m22 眯眼微笑 - haru_g_m21 跳动微笑 - haru_g_m18 手收背后微笑 - haru_g_m09 微微鞠躬 - haru_g_m08 深深鞠躬 ### 😢 伤心类情绪 - haru_g_m25 - 扁嘴 - haru_g_m24 - 低头斜看地板,收手到背后 - haru_g_m05 扁嘴,张开双手 - haru_g_m16 双手捧腮,思考 ### 😠 愤怒类情绪 - haru_g_m11 双手交叉,摇头,扁嘴 - haru_g_m04 双手交叉,点头 - haru_g_m03 双手交叉,点头 ### 😌 平和类情绪 - haru_g_m15 双手交叉在胸前 - haru_g_m07 举起左手 - haru_g_m06 举起右手 - haru_g_m02 双手放到背后 - haru_g_m01 点头 ### 😲 惊讶类情绪 - haru_g_m26 - 后退一步(适合:惊讶、吃惊) - haru_g_m12 摆手,摇头 ### 😕 困惑类情绪 - haru_g_m14 身体前倾,皱眉 - haru_g_m13 身体前倾,双手分开 ### 害羞 - haru_g_m19 脸红微笑 ### 担心 - haru_g_m20 手指点腮,思考,皱眉 ### ❤️ 关心类情绪 - haru_g_m17 靠近侧脸 6. 其实可以抄一下讯飞的超脑平台的功能: https://aiui-doc.xf-yun.com/project-2/doc-397/ 7. 人脸检测使用的是RKNN zoo里的 retinaface模型,转成了rknn格式,并且使用了wider_face的数据集(验证集)进行了校准,下载地址: https://www.modelscope.cn/datasets/shaoxuan/WIDER_FACE/files 8. 人脸识别模型是insightface的r18模型,转成了rknn格式,并且使用了 lfw 的数据集进行了校准,下载地址: https://tianchi.aliyun.com/dataset/93864 9.