vault backup: 2024-11-10 21:39:13

This commit is contained in:
BlueRose 2024-11-10 21:39:13 +08:00
parent 0f6ddbb563
commit 554a85b640
2 changed files with 35 additions and 4 deletions

View File

@ -1 +1 @@
{"实现了一个在屏幕空间宽度恒定的":{"实现了一个在屏幕空间宽度恒定的":{"currentFile":{"count":1,"lastUpdated":1728700795488}}},"TsDirectorCamManagerActor":{"TsDirectorCamManagerActor":{"currentFile":{"count":1,"lastUpdated":1729139925413}}},"Bloom":{"Bloom":{"currentFile":{"count":1,"lastUpdated":1729490733473}}},"FBloomFinalizeApplyConstantsCS":{"FBloomFinalizeApplyConstantsCS":{"currentFile":{"count":1,"lastUpdated":1729584275683}}},"解决NaiLin高跟":{"解决NaiLin高跟":{"currentFile":{"count":1,"lastUpdated":1729587089926}}},"优化项目举例,参与多个项目。":{"优化项目举例,参与多个项目。":{"currentFile":{"count":1,"lastUpdated":1729696025968}}},"制作各种编辑器工具":{"制作各种编辑器工具":{"currentFile":{"count":1,"lastUpdated":1729696038138}}},"RigidBodyIndex":{"RigidBodyIndex":{"currentFile":{"count":1,"lastUpdated":1730280351906}}},"IOS&Android Engine Package":{"IOS&Android Engine Package":{"internalLink":{"count":1,"lastUpdated":1730702690372}}},"TODO清单":{"TODO清单":{"internalLink":{"count":1,"lastUpdated":1731217384635}}},"上台讲话代表决定。":{"上台讲话代表决定。":{"currentFile":{"count":1,"lastUpdated":1731222856092}}}} {"实现了一个在屏幕空间宽度恒定的":{"实现了一个在屏幕空间宽度恒定的":{"currentFile":{"count":1,"lastUpdated":1728700795488}}},"TsDirectorCamManagerActor":{"TsDirectorCamManagerActor":{"currentFile":{"count":1,"lastUpdated":1729139925413}}},"Bloom":{"Bloom":{"currentFile":{"count":1,"lastUpdated":1729490733473}}},"FBloomFinalizeApplyConstantsCS":{"FBloomFinalizeApplyConstantsCS":{"currentFile":{"count":1,"lastUpdated":1729584275683}}},"解决NaiLin高跟":{"解决NaiLin高跟":{"currentFile":{"count":1,"lastUpdated":1729587089926}}},"优化项目举例,参与多个项目。":{"优化项目举例,参与多个项目。":{"currentFile":{"count":1,"lastUpdated":1729696025968}}},"制作各种编辑器工具":{"制作各种编辑器工具":{"currentFile":{"count":1,"lastUpdated":1729696038138}}},"RigidBodyIndex":{"RigidBodyIndex":{"currentFile":{"count":1,"lastUpdated":1730280351906}}},"IOS&Android Engine Package":{"IOS&Android Engine Package":{"internalLink":{"count":1,"lastUpdated":1730702690372}}},"AI动捕优化思路":{"AI动捕优化思路":{"currentFile":{"count":1,"lastUpdated":1731243010285}}}}

View File

@ -1,10 +1,39 @@
# Client动捕虚拟偶像直播 # Client动捕虚拟偶像直播
- 高效生产/迭代资产: - 快速/高效迭代管线
- 初期迭代:
- 程序&TA提取其他游戏与软件的资产作为构建捏脸系统的资源并且构建捏脸系统到美术可使用的级别。提取资产来源各个资源风格都会不同建议分别独立使用。
- 卡通风格:
- 蓝色协议
- Honey Select2
- 3D定制女仆2
- 写实风格:
- DAZ3D
- MetaHumanCreator
- 美术美术同学使用该系统给客户定制时发现缺少某个形变方向的BS时提单。之后进行制作补充。
- AI
- 使用大致的体型简笔画图片或者照片计算出大致符合体型区间的BS组合几个风格分别计算
- 使用大致的脸部简笔画图片或者正面照片计算出大致符合的脸部BS组合。
- 中期迭代:
- 程序&TA主要完善各种捏脸细节制作物理、场景效果、构建面向用户的客户端。准备跑通整个流程。
- 实现骨骼 <=> BS互相转换工具以及混合方案。
- 将ML Cloth&Muscle
- 美术:除了制作脸部&身体,开始制作头发、衣服以及其他道具与身体细节。
- AI
- 使用大量的真人&各种卡通角色的身体截图&脸部截图来验证捏脸系统的缺少的方向给美术提供迭代方向。可以配合AI生成图片技术
- 迭代流程:
- TA制作工具
-
- AI动捕优化思路 - AI动捕优化思路
1. 模仿ChaosBone使用CUDA直接读取Bone动画数据并且传递给动画蓝图。CUDA具有访问指定显存的功以此节约io损耗假定用户使用双显卡渲染/直播推流将AI动捕的负荷移动到另一张卡上。 1. 模仿ChaosBone使用CUDA直接读取Bone动画数据并且传递给动画蓝图。CUDA具有访问指定显存的功以此节约io损耗假定用户使用双显卡渲染/直播推流将AI动捕的负荷移动到另一张卡上。
2. 使用多线程与帧采样解决数据抖动问题。同时可以略微降低ai动补的性能要求。 2. 使用多线程与帧采样解决数据抖动问题。同时可以略微降低ai动补的性能要求。
- 卡通渲染: - 卡通渲染:
1. 兼容VRM格式。VoidHUB 1. 兼容VRM格式。VoidHUB
1. 同时不断往里面添加自己规范成为VRM的超集
2. 兼容多种渲染风格Unity-Chan、VRM、罪恶装备等。并在此基础上尝试研发下一代卡通渲染风格。 2. 兼容多种渲染风格Unity-Chan、VRM、罪恶装备等。并在此基础上尝试研发下一代卡通渲染风格。
1. 需要一种能够向渲染管线传递大量参数的功能: 1. 需要一种能够向渲染管线传递大量参数的功能:
1. 增加GBuffer数量。 1. 增加GBuffer数量。
@ -16,16 +45,18 @@
5. 以4个时间段&天气环境状态制作LookDev场景并且保证时间循环下效果平滑需要调整曲线 5. 以4个时间段&天气环境状态制作LookDev场景并且保证时间循环下效果平滑需要调整曲线
6. Lumen以及MageLight ReSTIR的支持。 6. Lumen以及MageLight ReSTIR的支持。
3. AI 3. AI
1. 渲染管线里5.3已经支持神经网络NNE接口。 其中一种方法使用ONNX 1. 渲染管线里5.3已经支持神经网络NNE接口。 其中一种方法使用ONNX
4. 对c端用户来说 4. 对c端用户来说
1. 需要一个简单出效果的东西。简单调节参数。 1. 需要一个简单出效果的东西。简单调节参数。
2. 有几个风格模版。 2. 有几个风格模版。
5. 一个角色的渲染控制:基础材质(参数+贴图、ToonDataAsset。方便管理与迭代。 5. 一个角色的渲染控制资产:基础材质(参数+贴图、ToonDataAsset。方便管理与迭代。
- 面捕&VMC - 面捕&VMC
1. 抖音既然是一个全球性的平台在兼容VMC与LiveLinkFace的基础。进行扩展比如VMC中增加更多的场景控制、整活互动功能。使用ARKit开发类似FaceMask的工具让用户可做出更多的表情与表演效果。 1. 抖音既然是一个全球性的平台在兼容VMC与LiveLinkFace的基础。进行扩展比如VMC中增加更多的场景控制、整活互动功能。使用ARKit开发类似FaceMask的工具让用户可做出更多的表情与表演效果。
1. 考虑对VMC协议进行改造添加TCP、Protobuf支持。
2. 面捕矫正问题。 2. 面捕矫正问题。
- 参考[MuRo_CG](https://www.youtube.com/@muro_cg)的作品。 - 参考[MuRo_CG](https://www.youtube.com/@muro_cg)的作品。
1. 直播工具。 1. 直播工具。
2. 辅助番剧制作工具。
- 捏脸&资产上传: - 捏脸&资产上传:
1. 捏脸如果是二次元为了实现最好的效果得选择全骨骼方案。为了直播的话得选择BS&骨骼。 1. 捏脸如果是二次元为了实现最好的效果得选择全骨骼方案。为了直播的话得选择BS&骨骼。
2. 资产上传(资产库) 2. 资产上传(资产库)