vault backup: 2024-11-10 21:39:13
This commit is contained in:
parent
0f6ddbb563
commit
554a85b640
@ -1 +1 @@
|
|||||||
{"实现了一个在屏幕空间宽度恒定的":{"实现了一个在屏幕空间宽度恒定的":{"currentFile":{"count":1,"lastUpdated":1728700795488}}},"TsDirectorCamManagerActor":{"TsDirectorCamManagerActor":{"currentFile":{"count":1,"lastUpdated":1729139925413}}},"Bloom":{"Bloom":{"currentFile":{"count":1,"lastUpdated":1729490733473}}},"FBloomFinalizeApplyConstantsCS":{"FBloomFinalizeApplyConstantsCS":{"currentFile":{"count":1,"lastUpdated":1729584275683}}},"解决NaiLin高跟":{"解决NaiLin高跟":{"currentFile":{"count":1,"lastUpdated":1729587089926}}},"优化项目举例,参与多个项目。":{"优化项目举例,参与多个项目。":{"currentFile":{"count":1,"lastUpdated":1729696025968}}},"制作各种编辑器工具":{"制作各种编辑器工具":{"currentFile":{"count":1,"lastUpdated":1729696038138}}},"RigidBodyIndex":{"RigidBodyIndex":{"currentFile":{"count":1,"lastUpdated":1730280351906}}},"IOS&Android Engine Package":{"IOS&Android Engine Package":{"internalLink":{"count":1,"lastUpdated":1730702690372}}},"TODO清单":{"TODO清单":{"internalLink":{"count":1,"lastUpdated":1731217384635}}},"上台讲话代表决定。":{"上台讲话代表决定。":{"currentFile":{"count":1,"lastUpdated":1731222856092}}}}
|
{"实现了一个在屏幕空间宽度恒定的":{"实现了一个在屏幕空间宽度恒定的":{"currentFile":{"count":1,"lastUpdated":1728700795488}}},"TsDirectorCamManagerActor":{"TsDirectorCamManagerActor":{"currentFile":{"count":1,"lastUpdated":1729139925413}}},"Bloom":{"Bloom":{"currentFile":{"count":1,"lastUpdated":1729490733473}}},"FBloomFinalizeApplyConstantsCS":{"FBloomFinalizeApplyConstantsCS":{"currentFile":{"count":1,"lastUpdated":1729584275683}}},"解决NaiLin高跟":{"解决NaiLin高跟":{"currentFile":{"count":1,"lastUpdated":1729587089926}}},"优化项目举例,参与多个项目。":{"优化项目举例,参与多个项目。":{"currentFile":{"count":1,"lastUpdated":1729696025968}}},"制作各种编辑器工具":{"制作各种编辑器工具":{"currentFile":{"count":1,"lastUpdated":1729696038138}}},"RigidBodyIndex":{"RigidBodyIndex":{"currentFile":{"count":1,"lastUpdated":1730280351906}}},"IOS&Android Engine Package":{"IOS&Android Engine Package":{"internalLink":{"count":1,"lastUpdated":1730702690372}}},"AI动捕优化思路:":{"AI动捕优化思路:":{"currentFile":{"count":1,"lastUpdated":1731243010285}}}}
|
@ -1,10 +1,39 @@
|
|||||||
# Client动捕虚拟偶像直播
|
# Client动捕虚拟偶像直播
|
||||||
- 高效生产/迭代资产:
|
- 快速/高效迭代管线
|
||||||
|
- 初期迭代:
|
||||||
|
- 程序&TA:提取其他游戏与软件的资产作为构建捏脸系统的资源,并且构建捏脸系统,到美术可使用的级别。提取资产来源:各个资源风格都会不同,建议分别独立使用。
|
||||||
|
- 卡通风格:
|
||||||
|
- 蓝色协议
|
||||||
|
- Honey Select2
|
||||||
|
- 3D定制女仆2
|
||||||
|
- 写实风格:
|
||||||
|
- DAZ3D
|
||||||
|
- MetaHumanCreator?
|
||||||
|
- 美术:美术同学使用该系统给客户定制时,发现缺少某个形变方向的BS时提单。之后进行制作补充。
|
||||||
|
- AI:
|
||||||
|
- 使用大致的体型简笔画图片或者照片计算出大致符合体型区间的BS组合(几个风格分别计算)。
|
||||||
|
- 使用大致的脸部简笔画图片或者正面照片计算出大致符合的脸部BS组合。
|
||||||
|
- 中期迭代:
|
||||||
|
- 程序&TA:主要完善各种捏脸细节,制作物理、场景效果、构建面向用户的客户端。准备跑通整个流程。
|
||||||
|
- 实现骨骼 <=> BS互相转换工具以及混合方案。
|
||||||
|
- 将ML Cloth&Muscle
|
||||||
|
- 美术:除了制作脸部&身体,开始制作头发、衣服以及其他道具与身体细节。
|
||||||
|
- AI:
|
||||||
|
- 使用大量的真人&各种卡通角色的身体截图&脸部截图来验证,捏脸系统的缺少的方向,给美术提供迭代方向。(可以配合AI生成图片技术)
|
||||||
|
- 迭代流程:
|
||||||
|
- TA制作工具:
|
||||||
|
-
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
- AI动捕优化思路:
|
- AI动捕优化思路:
|
||||||
1. 模仿ChaosBone,使用CUDA直接读取Bone动画数据并且传递给动画蓝图。(CUDA具有访问指定显存的功以此节约io损耗)假定用户使用双显卡(渲染/直播推流)将AI动捕的负荷移动到另一张卡上。
|
1. 模仿ChaosBone,使用CUDA直接读取Bone动画数据并且传递给动画蓝图。(CUDA具有访问指定显存的功以此节约io损耗)假定用户使用双显卡(渲染/直播推流)将AI动捕的负荷移动到另一张卡上。
|
||||||
2. 使用多线程与帧采样解决数据抖动问题。同时可以略微降低ai动补的性能要求。
|
2. 使用多线程与帧采样解决数据抖动问题。同时可以略微降低ai动补的性能要求。
|
||||||
- 卡通渲染:
|
- 卡通渲染:
|
||||||
1. 兼容VRM格式。(VoidHUB)
|
1. 兼容VRM格式。(VoidHUB)
|
||||||
|
1. 同时不断往里面添加自己规范(成为VRM的超集)
|
||||||
2. 兼容多种渲染风格,Unity-Chan、VRM、罪恶装备等。并在此基础上尝试研发下一代卡通渲染风格。
|
2. 兼容多种渲染风格,Unity-Chan、VRM、罪恶装备等。并在此基础上尝试研发下一代卡通渲染风格。
|
||||||
1. 需要一种能够向渲染管线传递大量参数的功能:
|
1. 需要一种能够向渲染管线传递大量参数的功能:
|
||||||
1. 增加GBuffer数量。
|
1. 增加GBuffer数量。
|
||||||
@ -16,16 +45,18 @@
|
|||||||
5. 以4个时间段&天气环境状态制作LookDev场景,并且保证时间循环下效果平滑(需要调整曲线)
|
5. 以4个时间段&天气环境状态制作LookDev场景,并且保证时间循环下效果平滑(需要调整曲线)
|
||||||
6. Lumen以及MageLight ReSTIR的支持。
|
6. Lumen以及MageLight ReSTIR的支持。
|
||||||
3. AI
|
3. AI
|
||||||
1. 渲染管线里5.3已经支持神经网络(NNE)接口。 其中一种方法使用ONNX
|
1. 渲染管线里5.3已经支持神经网络(NNE)接口。 其中一种方法使用ONNX。
|
||||||
4. 对c端用户来说:
|
4. 对c端用户来说:
|
||||||
1. 需要一个简单出效果的东西。简单调节参数。
|
1. 需要一个简单出效果的东西。简单调节参数。
|
||||||
2. 有几个风格模版。
|
2. 有几个风格模版。
|
||||||
5. 一个角色的渲染控制只:基础材质(参数+贴图)、ToonDataAsset。方便管理与迭代。
|
5. 一个角色的渲染控制资产:基础材质(参数+贴图)、ToonDataAsset。方便管理与迭代。
|
||||||
- 面捕&VMC:
|
- 面捕&VMC:
|
||||||
1. 抖音既然是一个全球性的平台,在兼容VMC与LiveLinkFace的基础。进行扩展,比如VMC中增加更多的场景控制、整活互动功能。使用ARKit开发类似FaceMask的工具,让用户可做出更多的表情与表演效果。
|
1. 抖音既然是一个全球性的平台,在兼容VMC与LiveLinkFace的基础。进行扩展,比如VMC中增加更多的场景控制、整活互动功能。使用ARKit开发类似FaceMask的工具,让用户可做出更多的表情与表演效果。
|
||||||
|
1. 考虑对VMC协议进行改造,添加TCP、Protobuf支持。
|
||||||
2. 面捕矫正问题。
|
2. 面捕矫正问题。
|
||||||
- 参考[MuRo_CG](https://www.youtube.com/@muro_cg)的作品。
|
- 参考[MuRo_CG](https://www.youtube.com/@muro_cg)的作品。
|
||||||
1. 直播工具。
|
1. 直播工具。
|
||||||
|
2. 辅助番剧制作工具。
|
||||||
- 捏脸&资产上传:
|
- 捏脸&资产上传:
|
||||||
1. 捏脸:如果是二次元,为了实现最好的效果得选择全骨骼方案。为了直播的话得选择BS&骨骼。
|
1. 捏脸:如果是二次元,为了实现最好的效果得选择全骨骼方案。为了直播的话得选择BS&骨骼。
|
||||||
2. 资产上传(资产库)
|
2. 资产上传(资产库)
|
||||||
|
Loading…
x
Reference in New Issue
Block a user