local llm supported

2026-03-05 13:55:57 +08:00
parent 1701ecfb7f
commit bd07a7526a
43 changed files with 4258 additions and 115 deletions
--- a/app/note/design_doc
+++ b/app/note/design_doc
@@ -71,6 +71,7 @@ TTS Sherpa-ONNX VITS .onnx ❌ 否 CPU ONNX Runtime
 - haru_g_m25 - 扁嘴
 - haru_g_m24 - 低头斜看地板，收手到背后 
 - haru_g_m05 扁嘴，张开双手
+- haru_g_m16 双手捧腮，思考

 ### 😠 愤怒类情绪
 - haru_g_m11 双手交叉，摇头，扁嘴
@@ -90,8 +91,6 @@ TTS Sherpa-ONNX VITS .onnx ❌ 否 CPU ONNX Runtime
 - haru_g_m12 摆手，摇头

 ### 😕 困惑类情绪
- haru_g_m20 手指点腮，思考，皱眉
- haru_g_m16 双手捧腮，思考
 - haru_g_m14 身体前倾，皱眉
 - haru_g_m13 身体前倾，双手分开

@@ -99,6 +98,22 @@ TTS Sherpa-ONNX VITS .onnx ❌ 否 CPU ONNX Runtime
 - haru_g_m19 脸红微笑


+### 担心
+- haru_g_m20 手指点腮，思考，皱眉
+
 ### ❤️ 关心类情绪
 - haru_g_m17 靠近侧脸

+6. 其实可以抄一下讯飞的超脑平台的功能：
+https://aiui-doc.xf-yun.com/project-2/doc-397/
+
+7. 人脸检测使用的是RKNN zoo里的 retinaface模型，转成了rknn格式，并且使用了wider_face的数据集（验证集）进行了校准，下载地址：
+https://www.modelscope.cn/datasets/shaoxuan/WIDER_FACE/files
+
+8. 人脸识别模型是insightface的r18模型，转成了rknn格式，并且使用了 lfw 的数据集进行了校准，下载地址：
+https://tianchi.aliyun.com/dataset/93864
+
+9. 
+
+
+