533 lines
19 KiB
Markdown
533 lines
19 KiB
Markdown
|
# TODO
|
|||
|
|
1. [x] 项目目录中的EditorTools\\Python\\MaterialSetCharacter\\SetCharacter.py 是否是不需要使用的？
|
|||
|
|
1. 以前使用的工具脚本，可以不用。
|
|||
|
|
2. [ ] 思诺生日会
|
|||
|
|
1. [ ] 道具衣服导入流程。
|
|||
|
|
2. [ ] 直播流程跑通
|
|||
|
|
4. [ ] Sequence播放逻辑跑通。
|
|||
|
|
1. [ ] 使用c++实现一个新轨道，以此来捕捉当前的对应角色Actor的引用。
|
|||
|
|
2. [ ] 在播放最后放置Cut/Take逻辑
|
|||
|
|
3. [ ] 将这个播放功能放到4级里。
|
|||
|
|
5. [ ] DCC插件
|
|||
|
|
- [ ] 角色、衣服重新绑定。以及重定向。
|
|||
|
|
- 角色裸模，骨骼权重传递给衣服。之后修改轴向脚本。
|
|||
|
|
- [ ] 动画蓝图中的ASoul自研修形插件匹配。也就是在Maya中输出一个骨骼以及BlendShape信息JSON，之后导入UE。
|
|||
|
|
6. [ ] ChaosBone
|
|||
|
|
1. 参考资产，KawaiiPhysics与ChaosBone混用：`Content\ResArt\CharacterArt\BeiLa\BeiLa_SwimSuit\Animations\ABP_SK_BeiLa_Swimsuit_PostProcess.uasset`
|
|||
|
|
7. [ ] 考虑将Sequence TakeRecord功能移植到导播台项目中（先确定可能性）
|
|||
|
|
|
|||
|
|
# Console
|
|||
|
|
1. run0：
|
|||
|
|
2. run3：运行三级导播。
|
|||
|
|
3.
|
|||
|
|
# 直播流程
|
|||
|
|
PS.
|
|||
|
|
1. 码率12000、1080p 一个画面 35Mbps上下行。外部直播需要准备主备路2条，ASoul主线路200M上下行对等。
|
|||
|
|
2.
|
|||
|
|
## 导播台Server/Client启动流程
|
|||
|
|
1. 渲染机机房
|
|||
|
|
1. Server先开，桌面找到`ue5 - 直播Server`或者`ue4`，启动bat。
|
|||
|
|
2. 其他几台渲染机再开，`ue5直播用`。StartClient_win，启动bat。
|
|||
|
|
2. 导播台Client顺序随意
|
|||
|
|
1. 桌面找到`ue5直播用`文件夹，启动bat。
|
|||
|
|
2. StartClient_MotionProcessor.bat、MotionServer.bat，右上一。
|
|||
|
|
3. StartClient_MapEnvironment开启4级导播台，右上二
|
|||
|
|
4. StartCline_win，开启3级导播台，输入命令Run3。右下二。
|
|||
|
|
3. 启动青瞳客户端。右下一。
|
|||
|
|
1. 开启动捕数据测试工具Qingtong_Record，选择一个数据进行连通性测试。确定右上有输入动捕数据输入。
|
|||
|
|
2. 关闭Qingtong_Record，启动CMTracker，桌面有快捷方式。
|
|||
|
|
3. 在MotionProcessor中确认青瞳机器的IP正确。
|
|||
|
|
4. 动捕棚设备确定。
|
|||
|
|
4. 动捕设备确认，确认是否正常输入数据到MotionProcessor。
|
|||
|
|
5. 推流机开启，打开OBS填写推流地址，ping一下内网以及网页在线测速确认网络环境正常。左上二，左下一。（左下上一二都可以）
|
|||
|
|
6. vMix开启，连接OBS。（左下上一二都可以）
|
|||
|
|
7. 使用B站、抖音直播的私密测试账号，推流私密画面确定推流以及音频输出没有问题。
|
|||
|
|
8. 确认设备
|
|||
|
|
1. 确认使用的平板、iphone等设备的摄像头是胶布贴住的。
|
|||
|
|
9. 动捕演员就位，动捕设备就位后，重新开启MotionProcessor。
|
|||
|
|
10. 检查
|
|||
|
|
1. 检查虚拟偶像模型是否贴地（贴地、浮空）
|
|||
|
|
2. 换套衣服，检查肩膀是否有问题。如果有问题使用MotionProcessor修正肩膀效果。
|
|||
|
|
3. PVW PGM 时间同步，点击StartCline_win中的时间同步按钮。
|
|||
|
|
|
|||
|
|
## 导播台使用
|
|||
|
|
1. 播放VJ视频
|
|||
|
|
1. 远程放置一个远程VJ播放用Actor。
|
|||
|
|
2. 远程连麦
|
|||
|
|
1. 手机连接。
|
|||
|
|
2. 走声卡，传递到调音台。
|
|||
|
|
|
|||
|
|
## StreamDock
|
|||
|
|
- 第一行第一个按3下切换成下一页。
|
|||
|
|
- 镜头分专用镜头（LiveArea中设定的镜头)、通用镜头（所有场景都可以使用）
|
|||
|
|
- 添加镜头的方法（也可以用于播放特效以及其他Sequence中可以制作的效果） 月哥有记录
|
|||
|
|
1. 新建一个Sequence，并且K好镜头。
|
|||
|
|
2. 创建CameraGroup DataAsset资产。
|
|||
|
|
3. 将该资产加入到场景中的LevelArea下面的XX数组就。
|
|||
|
|
4. 点击导播工具按钮。
|
|||
|
|
|
|||
|
|
## 添加道具、物品、场景、特效
|
|||
|
|
1. 添加物品道具。
|
|||
|
|
1. 目录：Content-Props-CharacterProps-Items，找到对应类型的道具，复制后修改模型资产即可。
|
|||
|
|
2. 添加道具类：TsIdelPropActor
|
|||
|
|
3. 具有描边、骨骼模型、静态模型、Niagara组件。
|
|||
|
|
4. 属性
|
|||
|
|
1. 骨骼模型Socket设置，类属性的MountPointToTransform来设置。
|
|||
|
|
2. Prop
|
|||
|
|
1. DisplayName：导播那里的显示的名称。
|
|||
|
|
2. 添加场景
|
|||
|
|
3. 添加角色
|
|||
|
|
4. 添加衣服
|
|||
|
|
|
|||
|
|
## 相关Bat作用
|
|||
|
|
1. StartListenServer：服务器。
|
|||
|
|
2. 导播台
|
|||
|
|
1. StartClient_Win：PVW（预览屏）、PGW（推流机）、Preview（小窗口）* 2
|
|||
|
|
2. StartClient_Win_VideoProcess：视频处理，将视频推到另外2个View上。
|
|||
|
|
3. StartClient_MapEnvironment：导播台，控制地图场景。（4级、1级，视图-Layout处切换）
|
|||
|
|
4. StartClient_IdolController_Master：导播台，角色控制相关。（3级）
|
|||
|
|
5. StartClient_HandHeldCam：导播台，手持相机。
|
|||
|
|
6. StartClient_MotionProcessor：导播台，动捕
|
|||
|
|
7. 线下的
|
|||
|
|
1. PGM2
|
|||
|
|
2. PGMCameraRenderer
|
|||
|
|
8. Pico
|
|||
|
|
1. StartClient_PicoClient_0
|
|||
|
|
2. StartClient_PicoClient_1
|
|||
|
|
3. StartClient_PicoClient_2
|
|||
|
|
4. StartClient_PicoClient_3
|
|||
|
|
3. 启动编辑器：项目目录中的StartEditor_Win.bat
|
|||
|
|
4. MotionServer：动捕相关。
|
|||
|
|
|
|||
|
|
## 修改配置
|
|||
|
|
1. MotionServer：通过修改源码来指定IP。
|
|||
|
|
2. 上述StartClient_MapEnvironment.Bat修改Server IP。
|
|||
|
|
3. 切身份、调试：StartClient_IdolController_Master、PVW（预览屏）、PGW（推流机）、Preview（小窗口），ChangeNetTag Operator.IdolController.Master
|
|||
|
|
|
|||
|
|
# Project
|
|||
|
|
1. Designer：StreamDock插件相关，包括SreamDock插件工程（直接连接UE打包工程读取相关配置，之后自动生成图标预设并且加载）、若干预设文件。
|
|||
|
|
2. **Engine**：编译版引擎。添加过ShaderModel、修改过Shader、添加过若干Editor代码。
|
|||
|
|
3. **LiveDirector**：导播台项目工程。
|
|||
|
|
4. StartLiveDirector：启动Bat文件。
|
|||
|
|
5. StartLiveDirectorCluster：分布式启动方案，带一个库。
|
|||
|
|
6. Tools：一些第三方库，
|
|||
|
|
1. JS加密，加密代码方便给第三方。
|
|||
|
|
2. MotionReplayer：动捕数据回放工具。
|
|||
|
|
3. **MotionServer**：动捕数据处理Server。主要用于转发青瞳的动捕数据给其他Client。 MotionServer - Server - DirectorLive Client，使用动画蓝图中的IsMotionProcess变量判断身份。
|
|||
|
|
1. 还包括自研的面部App FaceMask的数据转发。
|
|||
|
|
4. obs-studio：OBS源码，添加了若干插件，但用不了，因为技术服务属于字节。
|
|||
|
|
5. PixelStream：移植自UE官方，UE4版本有若干小改动。UE5版本不用。
|
|||
|
|
6. Protobuf：动捕数据传输，google的那个协议。
|
|||
|
|
7. VCluster：未完成，用于拉起所有机器的导播台程序。
|
|||
|
|
|
|||
|
|
## 重定向逻辑
|
|||
|
|
1. MotionProcessor关卡中每个角色的动画蓝图负责重定向。
|
|||
|
|
1. 使用一个Control Rig节点进行重定向。接收MotionScale、SpineScale、ArmScale、HipsDiff以及MocapData、ShoulderDiff、ZOffset。之后进行自定义计算。优势就是非常灵活。
|
|||
|
|
2. TsMotionRetargetComponent.ts
|
|||
|
|
3. 挂载在BP_IdolController中。
|
|||
|
|
|
|||
|
|
肩校准左边的滑块，用于调整动捕角色与游戏模型的比例。
|
|||
|
|
- 默认：默认比例是计算出来，对于角色（Motion，走路效果）最佳的比例。
|
|||
|
|
- 对齐：团舞，所有连接角色的比例统一设置成一个数值（互相匹配，针对腿）。
|
|||
|
|
- 对齐（道具模式，不建议使用，半废弃）：团舞，所有连接角色的比例统一设置成一个数值（互相匹配，针对手）。
|
|||
|
|
|
|||
|
|
## 渲染管线
|
|||
|
|
1. 添加ShaderModel。
|
|||
|
|
1. ToonLit：通过CustomDatas传入阴影给Diffuse与Specular
|
|||
|
|
2. ToonCustomBxDF：只有Diffuse 阴影过渡，Specular靠Matcap。
|
|||
|
|
2. 改了ShadingModels.ush.
|
|||
|
|
3. Encode/Decode GBuffer.
|
|||
|
|
4. UE5 Encode/Decode GBuffer.
|
|||
|
|
|
|||
|
|
# Plugins
|
|||
|
|
1. AssetProcess：自研？资源规范性检测、安全性检测。
|
|||
|
|
2. AVAudioUE4：商城，公用库，音频播放库。
|
|||
|
|
3. ChaosBone：自研，骨骼物理模拟插件。
|
|||
|
|
4. ChingReciver：青瞳的插件。
|
|||
|
|
5. DataTableEditorUntilit：数据表插件。商城。
|
|||
|
|
6. DirectAssistanter：辅助工具。
|
|||
|
|
7. DTWebBrower：移植自UE、网页浏览器内嵌。
|
|||
|
|
8. ControlRig：移植自UE。
|
|||
|
|
9. FacialExpression：自研面捕驱动插件。
|
|||
|
|
10. FFMepg：移植自FFMEPG。
|
|||
|
|
11. GFurPro：毛发插件。
|
|||
|
|
12. GloveProcess：自研，手套数据后处理插件。手套数据后处理插件。机器学习算法，姿势会进行匹配选择一个最好的姿势输出。
|
|||
|
|
13. JNAAniamtion：自研，动画编辑相关。
|
|||
|
|
14. KantanChert：商城，图表插件。
|
|||
|
|
15. KawaiiPhysics
|
|||
|
|
16. LDAssist：商城，美术编辑工具。
|
|||
|
|
17. MotionCapture：青瞳的插件。
|
|||
|
|
18. NDIO:NDIO
|
|||
|
|
19. PixelCapture：官方
|
|||
|
|
20. PixelStream：
|
|||
|
|
21. Protobuf：
|
|||
|
|
22. puerts
|
|||
|
|
23. ReactUMG
|
|||
|
|
24. RuntimeImportAudio：商城
|
|||
|
|
25. RuntimeEditor：ASoul导播台的实时编辑器模块。
|
|||
|
|
26. SerialComPLugin：串口插件。一些灯，现在不用了。
|
|||
|
|
27. SimpleTCPServer：移植官方加修改，有在用。
|
|||
|
|
28. SimpleUDP：移植官方加修改，有在用。
|
|||
|
|
29. SPCR 布料插件
|
|||
|
|
30. StreamDockLink：
|
|||
|
|
31. TextureShare：自研，Pico相关插件，现在没用。
|
|||
|
|
32. VRCapture：自研，Pico相关
|
|||
|
|
33. VRPlaybackUE：自研，Pico相关。
|
|||
|
|
34. VRTrack： 自研，VR手套相关。
|
|||
|
|
## JNAAniamtion
|
|||
|
|
字节自研的蒙皮角色蒙皮修形插件，实现了LinearPsdSlover、PsdSlover、TwistSlover、ComposeDriver、SkinWeightDriver。
|
|||
|
|
需要使用中台研发的Maya插件导出角色的基础结构JSON文件，并将后缀名改成**UJSON**后导入。
|
|||
|
|
|
|||
|
|
1. [x] JNAnimation：空。
|
|||
|
|
2. [x] JNAnimationEd：定义动画节点**AnimGraphNode_JNPoseDriver**。
|
|||
|
|
3. [x] JNCustomAssetEd：定义角色蒙皮修形资产。定义数据格式位于**UJNPoseDriverAsset**
|
|||
|
|
4. [x] JNCustomAsset：定义JSON数据载体UJNPoseDriverAsset(UBaseJsonAsset -> UObject)。
|
|||
|
|
5. [ ] [[#JNAnimationTools]]：
|
|||
|
|
1. FAnimNode_JNPoseDriver
|
|||
|
|
2. FComposeDriver
|
|||
|
|
3. FLinearSolver
|
|||
|
|
4. FPoseDriverUtils
|
|||
|
|
5. FPSDSlover
|
|||
|
|
6. FSkinWeightDriver
|
|||
|
|
7. FSolverDriver
|
|||
|
|
8. FTwistSolver
|
|||
|
|
|
|||
|
|
### JNCustomAsset
|
|||
|
|
```c++
|
|||
|
|
USTRUCT(BlueprintType)
|
|||
|
|
struct FDrivenInfos
|
|||
|
|
{
|
|||
|
|
GENERATED_BODY()
|
|||
|
|
public:
|
|||
|
|
UPROPERTY(BlueprintReadWrite, EditDefaultsOnly)
|
|||
|
|
TArray<FString> BlendShape;
|
|||
|
|
UPROPERTY(BlueprintReadWrite, EditDefaultsOnly)
|
|||
|
|
TArray<FString> Joint;
|
|||
|
|
};
|
|||
|
|
|
|||
|
|
|
|||
|
|
USTRUCT(BlueprintType)
|
|||
|
|
struct FAniCruveInfo
|
|||
|
|
{
|
|||
|
|
GENERATED_BODY()
|
|||
|
|
public:
|
|||
|
|
UPROPERTY(BlueprintReadWrite, EditDefaultsOnly)
|
|||
|
|
TArray<float> Input;
|
|||
|
|
UPROPERTY(BlueprintReadWrite, EditDefaultsOnly)
|
|||
|
|
FDrivenInfos DrivenInfos;
|
|||
|
|
UPROPERTY(BlueprintReadWrite, EditDefaultsOnly)
|
|||
|
|
TArray<float> Tangent;
|
|||
|
|
UPROPERTY(BlueprintReadWrite, EditDefaultsOnly)
|
|||
|
|
TArray<float> OutTangent;
|
|||
|
|
UPROPERTY(BlueprintReadWrite, EditDefaultsOnly)
|
|||
|
|
TArray<float> InTangent;
|
|||
|
|
UPROPERTY(BlueprintReadWrite, EditDefaultsOnly)
|
|||
|
|
TArray<float> Value;
|
|||
|
|
};
|
|||
|
|
|
|||
|
|
USTRUCT(BlueprintType)
|
|||
|
|
struct FPSDAniCurveInfo
|
|||
|
|
{
|
|||
|
|
GENERATED_BODY()
|
|||
|
|
public:
|
|||
|
|
UPROPERTY(BlueprintReadWrite, EditDefaultsOnly)
|
|||
|
|
TArray<FAniCruveInfo> B;
|
|||
|
|
UPROPERTY(BlueprintReadWrite, EditDefaultsOnly)
|
|||
|
|
TArray<FAniCruveInfo> U;
|
|||
|
|
UPROPERTY(BlueprintReadWrite, EditDefaultsOnly)
|
|||
|
|
TArray<FAniCruveInfo> D;
|
|||
|
|
UPROPERTY(BlueprintReadWrite, EditDefaultsOnly)
|
|||
|
|
TArray<FAniCruveInfo> F;
|
|||
|
|
UPROPERTY(BlueprintReadWrite, EditDefaultsOnly)
|
|||
|
|
TArray<FAniCruveInfo> DF;
|
|||
|
|
UPROPERTY(BlueprintReadWrite, EditDefaultsOnly)
|
|||
|
|
TArray<FAniCruveInfo> UF;
|
|||
|
|
UPROPERTY(BlueprintReadWrite, EditDefaultsOnly)
|
|||
|
|
TArray<FAniCruveInfo> DB;
|
|||
|
|
UPROPERTY(BlueprintReadWrite, EditDefaultsOnly)
|
|||
|
|
TArray<FAniCruveInfo> UB;
|
|||
|
|
};
|
|||
|
|
|
|||
|
|
USTRUCT(BlueprintType)
|
|||
|
|
struct FPSDSloverInfo
|
|||
|
|
{
|
|||
|
|
GENERATED_BODY()
|
|||
|
|
public:
|
|||
|
|
UPROPERTY(BlueprintReadWrite, EditDefaultsOnly)
|
|||
|
|
FPSDAniCurveInfo aniCurveInfos;
|
|||
|
|
UPROPERTY(BlueprintReadWrite, EditDefaultsOnly)
|
|||
|
|
FString driver;
|
|||
|
|
UPROPERTY(BlueprintReadWrite, EditDefaultsOnly)
|
|||
|
|
TArray<float> matrix;
|
|||
|
|
UPROPERTY(BlueprintReadWrite, EditDefaultsOnly)
|
|||
|
|
FString parent;
|
|||
|
|
UPROPERTY(BlueprintReadWrite, EditDefaultsOnly)
|
|||
|
|
TArray<float> aimAxis;
|
|||
|
|
};
|
|||
|
|
|
|||
|
|
USTRUCT(BlueprintType)
|
|||
|
|
struct FLinearSolverInfo
|
|||
|
|
{
|
|||
|
|
GENERATED_BODY()
|
|||
|
|
public:
|
|||
|
|
UPROPERTY(BlueprintReadWrite, EditDefaultsOnly)
|
|||
|
|
float coefficient;
|
|||
|
|
UPROPERTY(BlueprintReadWrite, EditDefaultsOnly)
|
|||
|
|
FString attribute;
|
|||
|
|
UPROPERTY(BlueprintReadWrite, EditDefaultsOnly)
|
|||
|
|
TArray<FAniCruveInfo> aniCurveInfos;
|
|||
|
|
UPROPERTY(BlueprintReadWrite, EditDefaultsOnly)
|
|||
|
|
FString driver;
|
|||
|
|
};
|
|||
|
|
|
|||
|
|
USTRUCT(BlueprintType)
|
|||
|
|
struct FComposeDriverInfo
|
|||
|
|
{
|
|||
|
|
GENERATED_BODY()
|
|||
|
|
public:
|
|||
|
|
UPROPERTY(BlueprintReadWrite, EditDefaultsOnly)
|
|||
|
|
TArray<FString> curveName;
|
|||
|
|
UPROPERTY(BlueprintReadWrite, EditDefaultsOnly)
|
|||
|
|
TArray<FString> blendshape;
|
|||
|
|
|
|||
|
|
};
|
|||
|
|
|
|||
|
|
USTRUCT(BlueprintType)
|
|||
|
|
struct FSkinWeightDriverInfo
|
|||
|
|
{
|
|||
|
|
GENERATED_BODY()
|
|||
|
|
public:
|
|||
|
|
UPROPERTY(BlueprintReadWrite, EditDefaultsOnly)
|
|||
|
|
int index;
|
|||
|
|
UPROPERTY(BlueprintReadWrite, EditDefaultsOnly)
|
|||
|
|
FString joint;
|
|||
|
|
UPROPERTY(BlueprintReadWrite, EditDefaultsOnly)
|
|||
|
|
TArray<FString> influenceObjects;
|
|||
|
|
UPROPERTY(BlueprintReadWrite, EditDefaultsOnly)
|
|||
|
|
TArray<float> weights;
|
|||
|
|
UPROPERTY(BlueprintReadWrite, EditDefaultsOnly)
|
|||
|
|
TArray<float> initPoint;
|
|||
|
|
|
|||
|
|
};
|
|||
|
|
|
|||
|
|
USTRUCT(BlueprintType)
|
|||
|
|
struct FTwistSloverInfo
|
|||
|
|
{
|
|||
|
|
GENERATED_BODY()
|
|||
|
|
public:
|
|||
|
|
UPROPERTY(BlueprintReadWrite, EditDefaultsOnly)
|
|||
|
|
FString inputJoint;
|
|||
|
|
UPROPERTY(BlueprintReadWrite, EditDefaultsOnly)
|
|||
|
|
int twistAxis;
|
|||
|
|
UPROPERTY(BlueprintReadWrite, EditDefaultsOnly)
|
|||
|
|
TArray<FString> twistJoints;
|
|||
|
|
UPROPERTY(BlueprintReadWrite, EditDefaultsOnly)
|
|||
|
|
bool isReverse;
|
|||
|
|
};
|
|||
|
|
|
|||
|
|
USTRUCT(BlueprintType)
|
|||
|
|
struct FPoseDriverSolversInfo
|
|||
|
|
{
|
|||
|
|
GENERATED_BODY()
|
|||
|
|
public:
|
|||
|
|
UPROPERTY(BlueprintReadWrite, EditDefaultsOnly)
|
|||
|
|
TArray<FPSDSloverInfo> psdSolvers;
|
|||
|
|
UPROPERTY(BlueprintReadWrite, EditDefaultsOnly)
|
|||
|
|
TArray<FLinearSolverInfo> linearSolvers;
|
|||
|
|
UPROPERTY(BlueprintReadWrite, EditDefaultsOnly)
|
|||
|
|
TArray<FComposeDriverInfo> composeDrivers;
|
|||
|
|
UPROPERTY(BlueprintReadWrite, EditDefaultsOnly)
|
|||
|
|
TArray<FSkinWeightDriverInfo> skinWeightDrivers;
|
|||
|
|
UPROPERTY(BlueprintReadWrite, EditDefaultsOnly)
|
|||
|
|
TArray<FTwistSloverInfo> twistSolvers;
|
|||
|
|
};
|
|||
|
|
|
|||
|
|
UCLASS(BlueprintType)
|
|||
|
|
class JNCUSTOMASSET_API UJNPoseDriverAsset : public UBaseJsonAsset
|
|||
|
|
{
|
|||
|
|
GENERATED_BODY()
|
|||
|
|
public:
|
|||
|
|
virtual bool ParseFromJsonObject(const TSharedRef<FJsonObject>& JsonObjectRef) override;
|
|||
|
|
|
|||
|
|
public:
|
|||
|
|
UPROPERTY(BlueprintReadWrite, EditDefaultsOnly)
|
|||
|
|
FPoseDriverSolversInfo SloversInfo;
|
|||
|
|
};
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
### JNAnimationTools
|
|||
|
|
|
|||
|
|
|
|||
|
|
# Script
|
|||
|
|
1. DirectorCam：与24个镜头相关。
|
|||
|
|
2. Editor：RuntimeEditor相关。
|
|||
|
|
3. LiveDirector：
|
|||
|
|
1. [ ] Character/TsIdolActor.ts：[[角色流程#TsIdolActor.ts]]
|
|||
|
|
4. Camera
|
|||
|
|
5. Characrer:
|
|||
|
|
6. Danma:弹幕相关，View以及控制。
|
|||
|
|
7. DeckLinkViewProcess：视频处理，叠加UI之类的操作。
|
|||
|
|
8. Decoration：UI UMG类定义。
|
|||
|
|
9. DeviceINputActor：Media以及串口控制器（Actor）
|
|||
|
|
10. DirectorFrameWork：GameMode、Contorl、 UIManage之类的通用框架。
|
|||
|
|
11. DirectorToolMenu：编辑器UI相关。
|
|||
|
|
12. Level：场景切换控制器。
|
|||
|
|
13. LiveArea：直播区域。
|
|||
|
|
14. MapEnvironment：Level里的效果以及相关逻辑。天气控制。
|
|||
|
|
15. Pico相关。
|
|||
|
|
16. Prop：道具相关道具。
|
|||
|
|
17. QuickControl：简单UI控制器。
|
|||
|
|
18. ScreenPlayerTextureRenderer：将视频渲染成贴图之后再场景中渲染。
|
|||
|
|
19. SeiSender：OBS Sei信息。
|
|||
|
|
20. VideoStreamTransition：转场功能，闪白、转视频啥的。
|
|||
|
|
21. Python：小工具
|
|||
|
|
22. Sequoia：运镜录制剪辑工具。自研类似Sequence的 runtime editor，控制镜头。控制灯光。
|
|||
|
|
23. SimpleLiveDirector：提供给外部供应商的简单版程序。
|
|||
|
|
|
|||
|
|
## Source
|
|||
|
|
1. AppShells：做了一半，还没用。
|
|||
|
|
2. Editor/HotKeyManager：快捷键相关，可以通过配置实现。
|
|||
|
|
3. LiveDirector
|
|||
|
|
4. LiveDirectorEditor
|
|||
|
|
5. Module:
|
|||
|
|
1. BlackMagicInput：UE官方移植，视频采集卡。
|
|||
|
|
2. BlackMagicOutput：UE官方移植，视频采集卡。
|
|||
|
|
3. DeckLinkOuput：UE官方移植，视频采集卡。
|
|||
|
|
4. GameCluster：未完成
|
|||
|
|
6. MultiViewRenderer：20个View的UI相关。
|
|||
|
|
7. UIModule：UI样式定义，功能。
|
|||
|
|
|
|||
|
|
### HotKeyManager
|
|||
|
|
实现UI控件SHotKeyEditor、SHotkeyInput。主要的功能是注册名为HotKeyManager的Tab，里面塞了前面2个UI控件。
|
|||
|
|
TODO：找到在哪使用
|
|||
|
|
|
|||
|
|
### LiveDirector
|
|||
|
|
#### AIACao（后续大概率不会再用）
|
|||
|
|
AI NLP相关，需要自己接入服务。
|
|||
|
|
|
|||
|
|
#### AIgo（一欧元滤波器）
|
|||
|
|
TODO：找到在哪使用
|
|||
|
|
|
|||
|
|
#### Animation
|
|||
|
|
- FAnimNode_FullBody：动画蓝图中**非MotionProcessor** LiveDirector Client使用该节点。
|
|||
|
|
- FSequenceMotionSource：一个单例类（没有继承），猜测与Sequoia系统记录数据有关。
|
|||
|
|
|
|||
|
|
#### Camera
|
|||
|
|
- DirectorCamera
|
|||
|
|
- CameraCopySettings
|
|||
|
|
- CamTarget
|
|||
|
|
- CamTargetManagerActor
|
|||
|
|
- DroneCamera
|
|||
|
|
|
|||
|
|
|
|||
|
|
## Material
|
|||
|
|
ResArt-CommonMaterial-Material，M_ToonHair_v01。v02为新版。
|
|||
|
|
- CommonMaterial-Functions：ShadingModel的骚操作。
|
|||
|
|
## Character
|
|||
|
|
- BP_Idlo_Base
|
|||
|
|
- 继承=>
|
|||
|
|
|
|||
|
|
## LightChannel
|
|||
|
|
1. 角色为LightChannel2。
|
|||
|
|
|
|||
|
|
## 资源
|
|||
|
|
- Characters：角色蓝图类。
|
|||
|
|
- 命名规则`BP_角色名_XXX`
|
|||
|
|
- 由技术同学进行配置，
|
|||
|
|
- 主要配置Outline材质。
|
|||
|
|
- DressName（导播软件会）
|
|||
|
|
- 动画蓝图：服装布料效果。
|
|||
|
|
- ResArt
|
|||
|
|
- CharacterArt
|
|||
|
|
- Material
|
|||
|
|
- Mesh
|
|||
|
|
- Animations
|
|||
|
|
- Dissolve：溶解材质，个数与名称需要与角色材质一一对应。
|
|||
|
|
- MakeDissolveMaterial.py生成对应的溶解材质。
|
|||
|
|
-
|
|||
|
|
|
|||
|
|
场景：
|
|||
|
|
- BP_ASoulSky：天空盒控制。
|
|||
|
|
- 场景变体：使用UE官方的SceneVariantManager。
|
|||
|
|
- LiveDirector - Editor- SceneVariant ：SceneVariantTool
|
|||
|
|
- 使用一个工具蓝图来创建场景变体以此来实现场景溶解切换效果。
|
|||
|
|
|
|||
|
|
### 添加资产流程
|
|||
|
|
#### 角色流程
|
|||
|
|
如果只是修改若干资产数值，需要点击全量生成。（或者直接去修改JSON文件IdolPropAesstConfig）
|
|||
|
|
|
|||
|
|
#### 道具流程
|
|||
|
|
Tag可以控制：
|
|||
|
|
1. 谁可以拿
|
|||
|
|
2. 拿的手势
|
|||
|
|
3. 道具类型
|
|||
|
|
4. 左右手的MountPoint数据
|
|||
|
|
|
|||
|
|
#### 场景流程
|
|||
|
|
1. 角色需要`LiveArea`Actor
|
|||
|
|
2. Sequence与Camera需要`CameraRoot`Actor（需要与LiveArea完全重叠）
|
|||
|
|
1. ~~FollowMovementComponent编写各种相机跟踪物体（IdolName、Socket、Bone）~~
|
|||
|
|
2. 摄像机挂载FollowingComponment。
|
|||
|
|
3.
|
|||
|
|
|
|||
|
|
# 实现Sequence控制角色与镜头
|
|||
|
|
1. Sequence镜头控制：屏蔽ASoul系统的镜头控制，屏蔽DirectorCam相关功能。
|
|||
|
|
1. DirectorCam C++目录着重看Subsystem以及CameraManager。
|
|||
|
|
2. 只要的耦合在Puerts脚本中 DirectorCam目录中，TsDirectorCamManagerActor、以及目录下面的StreamDock。
|
|||
|
|
3. 1个LiveArea - 1个WorkShop - 多个CameraGroup - 24个镜头
|
|||
|
|
2. 录制动画/动捕动画切换：修改动画蓝图。将录制的动画塞入。
|
|||
|
|
3. 新添加功能实现24个镜头与Sequence镜头切换，位于DirectorCam - StreamDcok。
|
|||
|
|
|
|||
|
|
# 修型
|
|||
|
|
在动画蓝图节点中，既控制BlendShape也有骨骼。
|
|||
|
|
|
|||
|
|
# StreamDock
|
|||
|
|
1. 有了相关操作后刷新StreamDcok。
|
|||
|
|
2. 配置蓝图。EUWBP_
|
|||
|
|
1. 与LiveArea有关。
|
|||
|
|
1. Dock实时读取BP_DefaultCamPlacem的目标Serup。
|
|||
|
|
2. 生成LiveArea模板需要使用工具，DirectorTool-生成LiveArea。
|
|||
|
|
|
|||
|
|
# FaceMask位置
|
|||
|
|
P4V - Trunk - tools - ARFaceCap
|
|||
|
|
|
|||
|
|
- 版本为Unity2020.1.16
|
|||
|
|
# MotionServer
|
|||
|
|
青瞳 -》 UE版MotionServer 重定向、过滤 -》.net MotionServer转发。
|
|||
|
|
|
|||
|
|
# UE5版本改动
|
|||
|
|
1. 程序方面多了大世界系统逻辑，世界分区(WorldComposition)。其他逻辑是一样的。
|
|||
|
|
2. 材质、渲染：使用一些trick技巧强行在材质中塞入一个宏强行打开CustomData来塞ShadowColor。
|
|||
|
|
|
|||
|
|
## 版本升级
|
|||
|
|
1. 程序：升级代码后，QA负责测试。
|
|||
|
|
2. TA：效果美术、QA负责观察。
|
|||
|
|
|
|||
|
|
# Content
|
|||
|
|
## Maps
|
|||
|
|
### 开发相关
|
|||
|
|
- Maps
|
|||
|
|
- Scenes
|
|||
|
|
- Map_LookDev
|
|||
|
|
- Map_Hide
|
|||
|
|
- Map_Lightt
|
|||
|
|
- Map_LookDev：角色LookDev
|
|||
|
|
- Map_LookDev_WZY
|
|||
|
|
- Map_Props：
|
|||
|
|
|
|||
|
|
### 大世界
|
|||
|
|
- Maps
|
|||
|
|
- Map_SeasideCity
|
|||
|
|
- Map_SeasideCity
|
|||
|
|
- Map_CHNature
|
|||
|
|
- Map_CHNature
|
|||
|
|
- Map_Stylized_Vilage
|
|||
|
|
- Map_Stylized_Vilage
|
|||
|
|
- Map_WorlddEnd
|
|||
|
|
- Map_WorldEnd
|
|||
|
|
|
|||
|
|
其他用了大世界技术的小型地图：
|
|||
|
|
- Maps
|
|||
|
|
- Map_GreenScreen：绿幕效果。
|
|||
|
|
- Map_Live：Live场景。
|