Init

01-Diary/周小结/.keep

@@ -0,0 +1 @@
+this file is created for keeping the folder after git.

01-Diary/周小结/2023.8.10 工作进度汇报.md

@@ -0,0 +1,15 @@
+# 存在问题
+1. 推流方案对延迟要求较高，如果通过AI服务器 => UE服务器 =>客户端的方式，会大大提高延迟。
+
+# 工作内容
+## AIVirtualIdol
+1. 查看UEOSC & VMC4UE实现。
+2. 学习VMC协议内容。
+3. 学习查看EasyVirtualMotionCaptureForUnity、VirtualMotionCaptureProtocol、ThreeDPoseTracker通讯部分实现。
+4. 学习Nodejs的worker_threads与osc模块使用。
+5. 实现VMC服务器部分逻辑，但传输到UE部分的逻辑有些问题，正在排查问题所在。
+6. 改造VMC4UE插件（没有全部完成）
+
+## AIMotionRender
+1. 尝试移植UE自带的WebSocketServer代码并使用，但因为会出现模块加载问题而放弃。
+2. 尝试使用Puerts的EasyEditorPlugin方案。

01-Diary/周小结/2023.8.18工作进度汇报.md

@@ -0,0 +1,3 @@
+## AIMotionRender
+1. UE5动画重定向服务化实现完成，目前可以通过WebSocket控制进行重定向并且生成fbx文件。
+2. 尝试使用Pyside6库实现WebSocketServer来实现Blender动画重定向服务化，但因为Blender的动画重定向功能都由插件提供，而且效果不如UE5，所以放弃。

01-Diary/周小结/2023.8.21工作进度汇报.md

@@ -0,0 +1,35 @@
+- [x] Qt6.5开发环境部署。先使用源码编译版但发现对VS的支持不好，后使用网络在线安装版解决问题。
+- [x] 在Qt项目中接入FBX SDK。查询网上所有资料，尝试结果接不如人意。之后仔细阅读FBX SDK文档后，又经过几小时的尝试后成功接入FBX SDK。原因：与openCV之类的库不同，FBX SDK需要添加额外参数才能正确接入，且存在动态库、MD静态库、MT静态库3种形式，因此花费时间较大。
+- [x] FBX SDK 代码与案例学习。
+- [x] 理解FBX SDK的动画数据读取/创建方式、Skeleton的关系、在FBX文件中的存储方式与节点形式。
+- [x] 孙同学&张峰&张渤林讨论UE 重定向服务部署
+- [x] 萱羽AI陪伴相关工作规划与安排
+- [ ] UE重定向算法搬运
+## AI陪伴
+1. 资源修正。需要一个虚幻骨骼可以跑的EOE角色资源。
+	1. 因为时间有限先使用UE5实时重定向代替，之后考虑在服务端使用**楼嘉杰**编写的重定向动态链接库进行重定向后再发送。
+	2. 修改EOE为UE5 小灰人骨骼需要绑定师大致  时间。PS. 因为田博文生病请假，下周一再问。
+2. 状态机中实现角色的各个状态切换，同时可以接受AI流数据以及服务器切换。
+	1. 使用LogicDriver对各个状态（动画蓝图除外）进行控制，通过调用函数的方式间接控制动画蓝图。2~3个预制状态，1个推流状态：
+		1. 接受推流数据状态
+		2. 播放推流数据状态
+		3. 结束状态（播放过渡动画）
+	2. ***使用动画蓝图切换动画，以及存储UAnimSequence的引用。这个问题可以转变成如何Runtime构造一个UAnimSequence。推流与FBX文件可以考虑使用Node的FBX结系库来解析（Ascii FBX），之后创建UAnimSequence并且在AnimGraph中使用SequencePlayer的绑定模式进行实时插入。***
+	3. 使用Puerts进行控制。
+3. 对接TTS，定制接口来接收音频数据。（流或者文件）
+	1. 使用Puerts实现，逻辑与上一条相似。
+4. 聊天接口。
+	1. 使用Puerts实现接受与发送，按钮绑定Puerts里创建事件就好。
+
+![](https://raw.githubusercontent.com/blueroseslol/ImageBag/e7f50af2f04aad286bd4e33b1a7782ea81fcb646/ImageBag/RuntimeModifyAnimSequence.png)
+
+萱羽
+1. ~~绘制一张状态机的图。~~
+2. 下载git fork客户端。https://git-fork.com/
+3. 学习LogicDriver。最好看一下c++的案例。
+4. 使用LogicDriver搭建Demo。
+5. ~~部署TypeScript开发环境：安装Nodejs 20.5.0、TypeScript模块、VSCode TypeScript插件。~~
+
+
+## FBX TO UAnimSequence
+UAnimSequence * UEditorEngine::ImportFbxAnimation( USkeleton* Skeleton, UObject* Outer, UFbxAnimSequenceImportData* TemplateImportData, const TCHAR* InFilename, const TCHAR* AnimName, bool bImportMorphTracks )

01-Diary/周小结/2023.8.28工作进度汇报.md

@@ -0,0 +1,5 @@
+# TODO
+- [x] 确定AI组使用的UE骨骼为SKM_Manny（男性体型、有辅助Twist的骨骼）
+- [ ] 尝试使用Standlone Application来实现重定向
+- [ ] UE重定向算法搬运
+- [ ] 修改 UE重定向服务化代码，添加与后端通信逻辑，以适配 AIGC后端。

01-Diary/周小结/2023.8.7 工作进度汇报.md

@@ -0,0 +1,18 @@
+# 后端
+为了后续项目的延展性以及兼顾效率的考量，使用了pinus框架（网易pomelo服务端框架的TypeScript版）进行搭建。
+
+为了快速产出可提供给AI研发组训练AI用的程序。目前先使用Nodejs-Express搭建http服务器。使用WebSocket进行通讯与控制。
+## Pinus
+1. 环境设置完成，成功启动。
+
+## Express
+1. TypeScript化改造。
+2. 尝试了WS、Express-Ws插件与中间件，测试了兼容性。Express-Ws的Router使得逻辑便于管理，但目前有bug，但不使用。
+3. 使用WS编写了基础数据通信代码。
+4. 尝试使用WebSocket-Stream 解决WebSocket 流式传输文件的方式。
+
+# UE前端
+## Puerts
+1. 项目建立以及Puerts的学习，使用Nodejs宿主环境。
+2. 使用WS编写了基础数据通信代码。目前正在编写具体的控制动画蓝图更换动画内容的逻辑。
+3. 配合条目2正在导入外部动画资源，以制作配套动画蓝图。

01-Diary/周小结/2024.10.md

@@ -0,0 +1,25 @@
+# 10.8~10.16
+1. 修复气球、羽毛掉落资产问题。
+2. 实现枝江路口樱花根据季节消失的功能
+
+# 10.14~10.18
+1. 枝江美术馆昼夜开关灯功能实现。
+2. 解决UE里接收的NDI 结果模糊的问题。
+
+# 10.21~10.26
+1. 给运营与导播部署共享盘。
+2. 使用闲置路由器测试为什么飞书无法进行局域网传文件的问题。
+3. 解决NaiLin高跟 <=>切换的问题。
+4. 解决SiNuo、XinYi ChaosBone 无法Igone RootMotion问题。
+5. 添加Native 控制VJ播放函数。
+6. 制作BP_JiaRan NightDress 2022 => BP_JiaRan Birthday2024重定向资产并且对动捕数据进行重定向。
+
+# 10.28~11.1
+1. 给新棚所有的电脑重装系统，安装所有驱动、更新BIOS。以及安装P4与拉取ASoul工程。
+2. 2024心仪生日会
+	1. 添加心仪呆毛以及物理效果。
+3. 解决新棚手柄输入反应慢的问题。
+4. 解决 道具新投影仪播放节目会有拖影的问题。
+5. 解决 2套嘉然衣服无法接收到动捕数据的问题。
+6. 学习ASoul工程中动捕相关逻辑。
+7. 提供3棚电脑散热方面的意见，并且整理成表发给曹老师。

01-Diary/周小结/2024.11.md

@@ -0,0 +1,22 @@
+# 11.4~11.8
+1. 给心仪的代码添加闪光效果，并且调整频率与指定音乐相同。
+2. 给NaiLin、BeiLa、JiaRan的夏日服制作IKRig以及重定向资产。
+3. 解决道具Spot会被剔除的问题。
+
+# 11.11~11.15
+1. 解决ASoul物理重置问题。
+2. 部署FaceMask到面部头盔手机上。
+3. 编写EOE动捕数据平滑节点代码
+
+# 11.18~11.22
+1. 修复2024年周年庆乃琳团服ControlRig问题。
+2. 修复JiaRan_NightDress_2022靠近会被剔除的问题。
+3. 修复贝拉：异世界服装 团服 团服_黑 生日服 动捕失效的问题。
+4. 部署三棚手持相机机器的相关环境。
+5. 3. 编写EOE动捕数据平滑节点代码，目前已经实现动捕数据接入。
+
+# 11. 25~11.29
+1. 编写ChingMu重定向版本的平滑节点。
+2. 查看Sequoia相关的Puerts/C++代码，完整跟了一遍播放Sequoia Cam轨道的逻辑，以及部分相关DirectorCamTask.ts相关代码。
+3. Fix 小樊提出的问题，在Sequoia 剪辑过的片段A中间切入其他相机片段B时，后一段片段A会重头播放的问题。
+4. 制作4周年服装的重定向资产，并且对动捕数据进行重定向。

01-Diary/周小结/2024.12.md

@@ -0,0 +1,51 @@
+# 12.2~12.6
+1. 完成EOE平滑节点代码编写。
+2. fix 设置超过3个角色动画时，会崩溃的问题。
+3. 给JiaRan2023生日服制作重定向资产。
+4. fix BeiLa毕方服装没有动捕的问题。
+- [x] 枝江铺雪数据层
+- [x] 场景功能切换天空盒
+
+# 12.9~12.13
+- [ ] 按照曹老师的想法测试动捕
+- [x] 优化天空盒效果
+	- [x] 贴图选择8，再调整色调
+- [x] 进入LiveArea之后，无法切换天空球
+- [x] 进入LiveArea之后，刷新4级。
+- [x] 恢复灯牌显影功能
+- [x] 帮助跃洋在动画蓝图中使用骨骼缩放的方式制作JiaRan、NaiLin2套衣服的长款版本；并且修改资产名称，解决相关资产的上传问题。
+- [x] 添加水晶石场景道具。
+- [x] 4周年相关工作
+	- [x] 解决王志 4周年舞台 反射球问题。
+	- [x] 帮罗导添加2个才艺的VJ，更换一个才艺中所有角色为轻量版角色。
+
+
+# 12.16~12.20
+- [x] 帮助朱雨辰解决：
+	- [x] 4周年角色不能完全变黑问题。
+	- [x] 渲片时的天空球问题切换天空盒问题。
+	- [x] 给2个Sequence添加VJ
+	- [x] 巨蛋开关切换以及显示荧光棒。
+- [x] 协助月哥找到雪交互道具的问题。
+- [x] BP07 小舞台
+	- [x] BP07 才艺数据没有物理的问题。
+- [x] 乃琳道具耳朵的描边模型的物理与耳朵模型不匹配。=> 移除描边模型
+- [x] 飞行状态下，需要给贝拉的物理设置忽略RootMotion移动。=> 在罗导的Sequence中K后处理蓝图事件，来设置Ignore Component Transform
+
+# 12.23~12.27
+- [x] 添加LiveArea Name搜索功能。
+- [x] 添加JiaRan、BeiLa、NaiLin3款国风模型的重定向资产
+- [x] BP_CatHand_R失效判定： 
+	1. 除了JiaRan团服，其他的动画蓝图的都没有配置对应的变量HideLeftHand/HideRightHand
+- [ ] 天空球高度雾参数控制功能添加。
+- [ ] 重定向资产在MRQ中没有物理问题解决。
+
+# 场景迁移需求
+给天气系统添加新的配置与渲染功能参数调整。
+- 相关渲染功能
+	1. ExponentialHeightFog
+	2. SkyLight
+	3. Multi DirectionalLights
+		1. ~~固定时间？~~ 
+
+PS. SkyLight需要避免使用Cubemap，这个参数没办法插值。

01-Diary/周小结/2024.2.19~2.23.md

@@ -0,0 +1,5 @@
+1. 系统学习Niagara的Module Script并且阅读相关引擎源码。UNiagaraDataInterface、UNiagaraDataInterfaceTexture、UNiagaraDataInterface2DArrayTexture、UNiagaraDataInterfaceVirtualTexture。
+2. 分析UE5 ThreeDGaussians插件中Niagara部分的数据读取部分的逻辑。
+3. 实现Texture2DArray版本的Module Script，以用于4D高斯的数据输入。
+4. 系统学习VirualTexture，并且粗略阅读UE5中的相关代码。
+5. 构思3D高斯的LOD方案。

01-Diary/周小结/2024.4.md

@@ -0,0 +1,15 @@
+# 2024.4.9~4.10
+1. 和ASoul的华枢进行初步对接。
+	1. 向罗导确定主要目标与近期的交接工作目标。
+	2. 向字节工作人员了解当前的对接情况。
+	3. 了解大致的ASoul直播流程，并且制作大致的直播流程图。
+	4. 与罗导以及其他同事商量可能存在的问题以及其他同事需要做的事情。
+
+# 2024.4.19
+1. 开始正式对接。
+	1. 乐华与字节正式官宣收购情况。
+	2. 确认程序（项目、引擎）、美术（项目、源文件）、IT的交接日期。以及字节安全部门的脱敏流程最晚日期。
+	3. 下周2、3可以依次进行美术、程序的具体交接。
+
+# 2024.4.23~4.30
+1. 交接工作。

01-Diary/周小结/2024.5.md

@@ -0,0 +1,15 @@
+# 5.7~5.17
+1. 项目交接
+
+# 5.20~5.24
+1. 不断查看代码了解ASoul项目架构，并做好笔记。
+2. 协助构建SVN工作流，并且使用移动硬盘快速部署大棚与同事电脑的SVN项目环境。
+
+# 5.27~5.31
+1. 实现通用镜头Sequencer控制角色动画蓝图 <=> 动画切换功能。
+2. 优化EOE场景。给其给出后续的优化方法。
+3. 给导播台添加切换RootMotion模式功能。
+4. 重新搭建p4流程，并且上传完功能与拉取测试。
+5. 完成6台手机的FaceMask部署。
+6. 帮助绑定同学使用UE5动画重定向程序实现贝拉动画=>思诺动画。
+

01-Diary/周小结/2024.6.md

@@ -0,0 +1,27 @@
+# 6.3~6.7
+1. 给所有同事的电脑部署p4v以及工作区。
+2. 设置P4各个账号的权限、规范工作区与commit Log。
+3. 完成3级导播台RootMotion、PostAnimBlueprint的启用/禁用切换功能。
+4. 添加新角色的F08相关的代码，待测试。
+
+# 6.11~6.14
+1. [x] 学习之前的角色添加录制视频，解读ASoul新角色的蓝图的创建规范。
+2. [x] 尝试创建新角色的蓝图以及文件夹结构。
+3. [x] 成功往MotionProcess中添加角色F08，代验收通过。
+4. [x] 解决杭州工区无线与有线使用打印机的问题。
+5. [x] 部署2台新配电脑，安装UE开发环境、P4并且拉取项目。
+6. [x] 部署面部程序FaceMask到新的手机以及BeiLa直播用手机。
+7. [x] 学习UE5 WorldPartition。
+
+# 6.17~6.21
+1. 给4台Iphone部署FaceMask，并且修改FaceMask为FaceMask_NSWL
+2. 解决F08角色无法连接上MotionProcess的问题。
+3. 添加DanceingPartner角色4名。
+4. 给3级添加DancingPartner隐藏/显示开关。
+5. 将新场景添加到4级的地图选择界面。
+6. 确定FaceMask调试方式，找到一种不开启3级4级 MotionProcess的调试方式。
+7. 阅读ASoul Engine的所有渲染相关的代码。
+
+# 6.24~6.28
+1. 帮罗导解决播放Sequence时因为AnimSequence叠加导致的角色动作鬼畜问题。
+2. 解决F08角色道具挂载错误的问题。

01-Diary/周小结/2024.7.md

@@ -0,0 +1,44 @@
+# 7.1~7.5
+1. 编写ASoul Outline文档。
+2. 解读Character材质系统，并且编写文档。
+3. 解决罗导的问题：角色无法变黑。并且修正了BeiLa4套衣服的RoleID设置错误问题。
+
+# 7.8~7.12
+1. 解读月哥的透明材质方案。
+2. 制作才艺用的蓝图，以此解决在Sequence中Spawn卡顿的问题。
+3. 帮罗导整理才艺所用的资产，并且交付给罗导。
+4. 协助曹老师部署P4 Proxy Server。
+5. 帮曹老师解决更换角色衣服时动画蓝图中的相关变量没有传递的问题，并且修改3级导播台的RootMotion默认值。
+6. 继续编写Character材质系统文档。
+7. 帮罗导解决VJ视频播放与视频材质问题。
+
+# 7.15~7.19
+1. 实现播放PJ视频后恢复原本模型的效果（Sequencer版本，可以任意拖动Sequence预览）。
+2. 尝试解决角色NoRootMotion相关问题。
+3. 解决因为使用WordPartition而导致Sequence 对Actor的K帧无效。
+4. 实现Sequence结束播放后，自动切换VJ Actor的原始图片。
+5. 排查才艺Sequence事件轨道K帧问题。
+6. 排查场景中的性能问题，并进行优化。
+	1. 优化场景中6个粒子资产。
+	2. 修改TSR、以及WMF设置，提高性能。
+	3. 修改平面反射相关设置。
+7. 修复反射效果问题：关闭屏幕空间反射以及对其中几个才艺的平面反射Actor进行K帧，解决反射效果问题。
+8. 提出若干渲染效果相关的建议。
+
+# 7.22~7.26
+1. 创建P4的导演分支与导演归档分支，并且编写说明文档。
+2. 归档2024贝拉生日会项目。
+3. 研究ASoul导播台的大世界方案与加载逻辑。
+4. 解决Sequence播才艺时的ScreenPlayer问题。
+5. 使用Bink扩展ScreenPlayer内的方法以及实现对应的导播台UI。
+
+# 7.29~8.2
+1. 创建QA专用分支，提高老六合并资产与同步的效率与准确性。
+2. 添加NaiLin录制用素体，以及JiaRan素体的代码。
+3. 解决PVW会崩溃的问题，保证NaiLin生日会录制正常运行。
+4. 合并Development分支内容到Director中。
+5. 解决北京同事P4操作问题。
+6. 解决了F08衣服阴影问题以及衣服没有溶解效果问题。
+7. 定位吉他IK错误的具体代码以及原因，最后交给曹老师修复。
+8. 查看ControlRig动画重定向相关逻辑，最后确定是因为F08的Hips骨骼有角度造成的问题。
+

01-Diary/周小结/2024.8.md

@@ -0,0 +1,59 @@
+# 8.5~8.9
+1. 解决PVW&PGM 焦段无法提高到130以上的问题。
+2. 乃琳生日会场景优化。
+	1. 带有多个StaticMesh的场景蓝图旋转卡顿问题。
+	2. 罗导Sequence播放卡顿。
+3. 传送道具初版完成。
+
+# 8.12~8.16
+1. 传送道具功能完成。之后等待美术效果改进意见。
+2. 传送道具背景溶解效果优化完成。
+3. Fix 乃琳2024生日会生日服无法接受动捕数据的问题。
+4. Fix 枝江街道 行人渲染错误的问题。
+5. 帮助北京同事解决P4相关问题。
+6. 给予北京同事，乃琳牛仔帽会穿模的解决方案。使用Sequence来跟换材质来隐藏多余的刘海。
+7. 帮助动画同学排查新角色播放才艺无法驱动表情的问题。
+8. 实现枝江巨蛋可以在Sequence中播放VJ来预览效果。
+
+# 8.19~8.24
+1. 实现角色多阴影/不同阴影切换效果。
+2. 北京/杭州同事解决P4相关问题。
+3. 远程解决北京同事的才艺Sequence资产引用丢失的问题，并且协助远程上传了没上传的资产。
+4. VJ方法修改:
+	1. 张大坤
+		1. [x] 06 牛仔：没有VJ播放逻辑
+		2. [x] 09 雨中：没有VJ播放逻辑
+	2. 白醋（郑赤鹏）
+		1. [x] 02
+		2. [x] 03 没有VJ播放逻辑
+		3. [x] 11
+		4. [x] 13 没有VJ播放逻辑
+		5. [x] 15
+	3. 罗导 剩余所有
+5. 问题解决
+	1. BP_16
+		1. [x] 衣服跟换
+		2. [x] ZDK动捕数据跟换
+		3. [x] 渲染
+		4. [x] 合成
+	2. [x] 部分物理模拟失效
+		1. [x] BP06 坐上摇摇马，物理掉。
+		2. [x] BP10SNAKES 
+		3. [x] BP17wonderful you（实时）最后黑乃琳物理掉了
+		4. [x] 本机确认编辑器效果正确
+		5. [x] 小棚确认编辑器效果正确
+		6. [x] 解决方案：让ZDK重做对应的错误轨道。
+	3. [x] VJ播放问题
+		1. [x] 老六电脑检查，确定是devepment分支问题。
+	4. [x] BP09 BP 10 BP 13地面材质丢了
+		1. [x] 小棚确认编辑器效果正确，但运行模式错误
+		2. [x] 解决方案：让大志重新打包对应的蓝图。
+	5. [x] BP12got it 没有VJ
+	6. [x] BP04 角色地面靠近脚的部分影子虚化了
+	7. [x] 检查合适的StreamingPool大小 并且执行r.Streaming.PoolSize 5000
+
+# 8.26~8.30  
+1. 添加EOE 4个角色。  
+2. Fix Bink视频播放没有声音的问题。  
+3. Fix 在StaticMesh上右键时，右下角会报错的问题。    
+4. 完成卡通材质文档。

01-Diary/周小结/2024.9.md

@@ -0,0 +1,35 @@
+# 9.2~9.6
+1. 测试ACL以及其他CommandLet针对项目启动的影响。
+2. 搭建大小棚用的P4 Server，并且测试。
+
+# TODO
+1. [x] 恢复P4的权限设置。
+2. [x] 北京相关人员的P4工作区更换。
+3. [x] Bink播放视频没有声音问题解决。
+4. [ ] 传动道具继续开发完善。
+5. [ ] Sequence 播放VJ逻辑解决。
+6. [ ] 曹老师切换LiveArea时RootMotion 问题。（切换前需要换回enable RootMotion，并在切换后再禁用）
+7. [x] 所有手机APP部署一次FaceMask。
+8. [x] P4触发器
+
+# 9.9~9.13
+1. 删除EOE所有角色，不包含资产。
+2. 部署大棚P4V，并且拉取工程。
+3. 研究并且部署P4触发器，以此来规避P4资产大小写的问题。
+# 9.18~9.20
+
+# 9.23~9.29
+1. 修复道具BP_Balloon_01、BP_FeathersFalling_01、BP_FeathersFalling_02问题。
+2. 实现枝江冬季显示场景铺雪与商业路口樱花消失。
+3. MultiView采集卡添加。
+
+# 问题
+1. 功能测试问题：
+	1. 因为才艺资产会影响到直播性能，所以上次贝拉生日会之后就将才艺数据删除了。一些问题需要等到生日会技术彩排时才会出现是个非常大的问题。
+	2. 考虑购买P4或者再搞几台电脑在新棚的工位上布置用于测试的环境。
+	3. 给老六设置一个测试功能清单。
+2. P4 文件夹大小写的问题。
+	1. 使用触发器+脚本检查。
+	2. 人工检查。
+3. ~~P4 Shelf协作方法测试。~~ 理论可行，但字节并没有使用这种方式。
+4. 之后大活的实现方式。新建大地图，需要的场景手动移植到新的大地图。