vault backup: 2026-04-17 14:56:25

01-Diary/周小结/2023/2023.8.10 工作进度汇报.md

@@ -0,0 +1,15 @@
+# 存在问题
+1. 推流方案对延迟要求较高，如果通过AI服务器 => UE服务器 =>客户端的方式，会大大提高延迟。
+
+# 工作内容
+## AIVirtualIdol
+1. 查看UEOSC & VMC4UE实现。
+2. 学习VMC协议内容。
+3. 学习查看EasyVirtualMotionCaptureForUnity、VirtualMotionCaptureProtocol、ThreeDPoseTracker通讯部分实现。
+4. 学习Nodejs的worker_threads与osc模块使用。
+5. 实现VMC服务器部分逻辑，但传输到UE部分的逻辑有些问题，正在排查问题所在。
+6. 改造VMC4UE插件（没有全部完成）
+
+## AIMotionRender
+1. 尝试移植UE自带的WebSocketServer代码并使用，但因为会出现模块加载问题而放弃。
+2. 尝试使用Puerts的EasyEditorPlugin方案。

01-Diary/周小结/2023/2023.8.18工作进度汇报.md

@@ -0,0 +1,3 @@
+## AIMotionRender
+1. UE5动画重定向服务化实现完成，目前可以通过WebSocket控制进行重定向并且生成fbx文件。
+2. 尝试使用Pyside6库实现WebSocketServer来实现Blender动画重定向服务化，但因为Blender的动画重定向功能都由插件提供，而且效果不如UE5，所以放弃。

01-Diary/周小结/2023/2023.8.21工作进度汇报.md

@@ -0,0 +1,35 @@
+- [x] Qt6.5开发环境部署。先使用源码编译版但发现对VS的支持不好，后使用网络在线安装版解决问题。
+- [x] 在Qt项目中接入FBX SDK。查询网上所有资料，尝试结果接不如人意。之后仔细阅读FBX SDK文档后，又经过几小时的尝试后成功接入FBX SDK。原因：与openCV之类的库不同，FBX SDK需要添加额外参数才能正确接入，且存在动态库、MD静态库、MT静态库3种形式，因此花费时间较大。
+- [x] FBX SDK 代码与案例学习。
+- [x] 理解FBX SDK的动画数据读取/创建方式、Skeleton的关系、在FBX文件中的存储方式与节点形式。
+- [x] 孙同学&张峰&张渤林讨论UE 重定向服务部署
+- [x] 萱羽AI陪伴相关工作规划与安排
+- [ ] UE重定向算法搬运
+## AI陪伴
+1. 资源修正。需要一个虚幻骨骼可以跑的EOE角色资源。
+	1. 因为时间有限先使用UE5实时重定向代替，之后考虑在服务端使用**楼嘉杰**编写的重定向动态链接库进行重定向后再发送。
+	2. 修改EOE为UE5 小灰人骨骼需要绑定师大致  时间。PS. 因为田博文生病请假，下周一再问。
+2. 状态机中实现角色的各个状态切换，同时可以接受AI流数据以及服务器切换。
+	1. 使用LogicDriver对各个状态（动画蓝图除外）进行控制，通过调用函数的方式间接控制动画蓝图。2~3个预制状态，1个推流状态：
+		1. 接受推流数据状态
+		2. 播放推流数据状态
+		3. 结束状态（播放过渡动画）
+	2. ***使用动画蓝图切换动画，以及存储UAnimSequence的引用。这个问题可以转变成如何Runtime构造一个UAnimSequence。推流与FBX文件可以考虑使用Node的FBX结系库来解析（Ascii FBX），之后创建UAnimSequence并且在AnimGraph中使用SequencePlayer的绑定模式进行实时插入。***
+	3. 使用Puerts进行控制。
+3. 对接TTS，定制接口来接收音频数据。（流或者文件）
+	1. 使用Puerts实现，逻辑与上一条相似。
+4. 聊天接口。
+	1. 使用Puerts实现接受与发送，按钮绑定Puerts里创建事件就好。
+
+![](https://raw.githubusercontent.com/blueroseslol/ImageBag/e7f50af2f04aad286bd4e33b1a7782ea81fcb646/ImageBag/RuntimeModifyAnimSequence.png)
+
+萱羽
+1. ~~绘制一张状态机的图。~~
+2. 下载git fork客户端。https://git-fork.com/
+3. 学习LogicDriver。最好看一下c++的案例。
+4. 使用LogicDriver搭建Demo。
+5. ~~部署TypeScript开发环境：安装Nodejs 20.5.0、TypeScript模块、VSCode TypeScript插件。~~
+
+
+## FBX TO UAnimSequence
+UAnimSequence * UEditorEngine::ImportFbxAnimation( USkeleton* Skeleton, UObject* Outer, UFbxAnimSequenceImportData* TemplateImportData, const TCHAR* InFilename, const TCHAR* AnimName, bool bImportMorphTracks )

01-Diary/周小结/2023/2023.8.28工作进度汇报.md

@@ -0,0 +1,5 @@
+# TODO
+- [x] 确定AI组使用的UE骨骼为SKM_Manny（男性体型、有辅助Twist的骨骼）
+- [ ] 尝试使用Standlone Application来实现重定向
+- [ ] UE重定向算法搬运
+- [ ] 修改 UE重定向服务化代码，添加与后端通信逻辑，以适配 AIGC后端。

01-Diary/周小结/2023/2023.8.7 工作进度汇报.md

@@ -0,0 +1,18 @@
+# 后端
+为了后续项目的延展性以及兼顾效率的考量，使用了pinus框架（网易pomelo服务端框架的TypeScript版）进行搭建。
+
+为了快速产出可提供给AI研发组训练AI用的程序。目前先使用Nodejs-Express搭建http服务器。使用WebSocket进行通讯与控制。
+## Pinus
+1. 环境设置完成，成功启动。
+
+## Express
+1. TypeScript化改造。
+2. 尝试了WS、Express-Ws插件与中间件，测试了兼容性。Express-Ws的Router使得逻辑便于管理，但目前有bug，但不使用。
+3. 使用WS编写了基础数据通信代码。
+4. 尝试使用WebSocket-Stream 解决WebSocket 流式传输文件的方式。
+
+# UE前端
+## Puerts
+1. 项目建立以及Puerts的学习，使用Nodejs宿主环境。
+2. 使用WS编写了基础数据通信代码。目前正在编写具体的控制动画蓝图更换动画内容的逻辑。
+3. 配合条目2正在导入外部动画资源，以制作配套动画蓝图。