From 554a85b6401b3714798a22dd300da6f5c8ac65cb Mon Sep 17 00:00:00 2001 From: BlueRose <378100977@qq.com> Date: Sun, 10 Nov 2024 21:39:13 +0800 Subject: [PATCH] vault backup: 2024-11-10 21:39:13 --- .../various-complements/histories.json | 2 +- 07-Other/简历/方向.md | 37 +++++++++++++++++-- 2 files changed, 35 insertions(+), 4 deletions(-) diff --git a/.obsidian/plugins/various-complements/histories.json b/.obsidian/plugins/various-complements/histories.json index db2bb4c..c2e7e8a 100644 --- a/.obsidian/plugins/various-complements/histories.json +++ b/.obsidian/plugins/various-complements/histories.json @@ -1 +1 @@ -{"实现了一个在屏幕空间宽度恒定的":{"实现了一个在屏幕空间宽度恒定的":{"currentFile":{"count":1,"lastUpdated":1728700795488}}},"TsDirectorCamManagerActor":{"TsDirectorCamManagerActor":{"currentFile":{"count":1,"lastUpdated":1729139925413}}},"Bloom":{"Bloom":{"currentFile":{"count":1,"lastUpdated":1729490733473}}},"FBloomFinalizeApplyConstantsCS":{"FBloomFinalizeApplyConstantsCS":{"currentFile":{"count":1,"lastUpdated":1729584275683}}},"解决NaiLin高跟":{"解决NaiLin高跟":{"currentFile":{"count":1,"lastUpdated":1729587089926}}},"优化项目举例，参与多个项目。":{"优化项目举例，参与多个项目。":{"currentFile":{"count":1,"lastUpdated":1729696025968}}},"制作各种编辑器工具":{"制作各种编辑器工具":{"currentFile":{"count":1,"lastUpdated":1729696038138}}},"RigidBodyIndex":{"RigidBodyIndex":{"currentFile":{"count":1,"lastUpdated":1730280351906}}},"IOS&Android Engine Package":{"IOS&Android Engine Package":{"internalLink":{"count":1,"lastUpdated":1730702690372}}},"TODO清单":{"TODO清单":{"internalLink":{"count":1,"lastUpdated":1731217384635}}},"上台讲话代表决定。":{"上台讲话代表决定。":{"currentFile":{"count":1,"lastUpdated":1731222856092}}}} \ No newline at end of file +{"实现了一个在屏幕空间宽度恒定的":{"实现了一个在屏幕空间宽度恒定的":{"currentFile":{"count":1,"lastUpdated":1728700795488}}},"TsDirectorCamManagerActor":{"TsDirectorCamManagerActor":{"currentFile":{"count":1,"lastUpdated":1729139925413}}},"Bloom":{"Bloom":{"currentFile":{"count":1,"lastUpdated":1729490733473}}},"FBloomFinalizeApplyConstantsCS":{"FBloomFinalizeApplyConstantsCS":{"currentFile":{"count":1,"lastUpdated":1729584275683}}},"解决NaiLin高跟":{"解决NaiLin高跟":{"currentFile":{"count":1,"lastUpdated":1729587089926}}},"优化项目举例，参与多个项目。":{"优化项目举例，参与多个项目。":{"currentFile":{"count":1,"lastUpdated":1729696025968}}},"制作各种编辑器工具":{"制作各种编辑器工具":{"currentFile":{"count":1,"lastUpdated":1729696038138}}},"RigidBodyIndex":{"RigidBodyIndex":{"currentFile":{"count":1,"lastUpdated":1730280351906}}},"IOS&Android Engine Package":{"IOS&Android Engine Package":{"internalLink":{"count":1,"lastUpdated":1730702690372}}},"AI动捕优化思路：":{"AI动捕优化思路：":{"currentFile":{"count":1,"lastUpdated":1731243010285}}}} \ No newline at end of file diff --git a/07-Other/简历/方向.md b/07-Other/简历/方向.md index f99f938..259b22e 100644 --- a/07-Other/简历/方向.md +++ b/07-Other/简历/方向.md @@ -1,10 +1,39 @@ # Client动捕虚拟偶像直播 -- 高效生产/迭代资产： +- 快速/高效迭代管线 + - 初期迭代： + - 程序&TA：提取其他游戏与软件的资产作为构建捏脸系统的资源，并且构建捏脸系统，到美术可使用的级别。提取资产来源：各个资源风格都会不同，建议分别独立使用。 + - 卡通风格： + - 蓝色协议 + - Honey Select2 + - 3D定制女仆2 + - 写实风格： + - DAZ3D + - MetaHumanCreator？ + - 美术：美术同学使用该系统给客户定制时，发现缺少某个形变方向的BS时提单。之后进行制作补充。 + - AI： + - 使用大致的体型简笔画图片或者照片计算出大致符合体型区间的BS组合（几个风格分别计算）。 + - 使用大致的脸部简笔画图片或者正面照片计算出大致符合的脸部BS组合。 + - 中期迭代： + - 程序&TA：主要完善各种捏脸细节，制作物理、场景效果、构建面向用户的客户端。准备跑通整个流程。 + - 实现骨骼 <=> BS互相转换工具以及混合方案。 + - 将ML Cloth&Muscle + - 美术：除了制作脸部&身体，开始制作头发、衣服以及其他道具与身体细节。 + - AI： + - 使用大量的真人&各种卡通角色的身体截图&脸部截图来验证，捏脸系统的缺少的方向，给美术提供迭代方向。（可以配合AI生成图片技术） + - 迭代流程： + - TA制作工具： + - + + + + + - AI动捕优化思路： 1. 模仿ChaosBone，使用CUDA直接读取Bone动画数据并且传递给动画蓝图。（CUDA具有访问指定显存的功以此节约io损耗）假定用户使用双显卡（渲染/直播推流）将AI动捕的负荷移动到另一张卡上。 2. 使用多线程与帧采样解决数据抖动问题。同时可以略微降低ai动补的性能要求。 - 卡通渲染： 1. 兼容VRM格式。（VoidHUB） + 1. 同时不断往里面添加自己规范（成为VRM的超集） 2. 兼容多种渲染风格，Unity-Chan、VRM、罪恶装备等。并在此基础上尝试研发下一代卡通渲染风格。 1. 需要一种能够向渲染管线传递大量参数的功能： 1. 增加GBuffer数量。 @@ -16,16 +45,18 @@ 5. 以4个时间段&天气环境状态制作LookDev场景，并且保证时间循环下效果平滑（需要调整曲线） 6. Lumen以及MageLight ReSTIR的支持。 3. AI - 1. 渲染管线里5.3已经支持神经网络（NNE）接口。 其中一种方法使用ONNX + 1. 渲染管线里5.3已经支持神经网络（NNE）接口。 其中一种方法使用ONNX。 4. 对c端用户来说： 1. 需要一个简单出效果的东西。简单调节参数。 2. 有几个风格模版。 - 5. 一个角色的渲染控制只：基础材质（参数+贴图）、ToonDataAsset。方便管理与迭代。 + 5. 一个角色的渲染控制资产：基础材质（参数+贴图）、ToonDataAsset。方便管理与迭代。 - 面捕&VMC： 1. 抖音既然是一个全球性的平台，在兼容VMC与LiveLinkFace的基础。进行扩展，比如VMC中增加更多的场景控制、整活互动功能。使用ARKit开发类似FaceMask的工具，让用户可做出更多的表情与表演效果。 + 1. 考虑对VMC协议进行改造，添加TCP、Protobuf支持。 2. 面捕矫正问题。 - 参考[MuRo_CG](https://www.youtube.com/@muro_cg)的作品。 1. 直播工具。 + 2. 辅助番剧制作工具。 - 捏脸&资产上传： 1. 捏脸：如果是二次元，为了实现最好的效果得选择全骨骼方案。为了直播的话得选择BS&骨骼。 2. 资产上传（资产库）