vault backup: 2024-11-14 12:15:34
This commit is contained in:
parent
11a3c11d0e
commit
0e5712546f
@ -1 +1 @@
|
||||
{"实现了一个在屏幕空间宽度恒定的":{"实现了一个在屏幕空间宽度恒定的":{"currentFile":{"count":1,"lastUpdated":1728700795488}}},"TsDirectorCamManagerActor":{"TsDirectorCamManagerActor":{"currentFile":{"count":1,"lastUpdated":1729139925413}}},"Bloom":{"Bloom":{"currentFile":{"count":1,"lastUpdated":1729490733473}}},"FBloomFinalizeApplyConstantsCS":{"FBloomFinalizeApplyConstantsCS":{"currentFile":{"count":1,"lastUpdated":1729584275683}}},"解决NaiLin高跟":{"解决NaiLin高跟":{"currentFile":{"count":1,"lastUpdated":1729587089926}}},"优化项目举例，参与多个项目。":{"优化项目举例，参与多个项目。":{"currentFile":{"count":1,"lastUpdated":1729696025968}}},"制作各种编辑器工具":{"制作各种编辑器工具":{"currentFile":{"count":1,"lastUpdated":1729696038138}}},"RigidBodyIndex":{"RigidBodyIndex":{"currentFile":{"count":1,"lastUpdated":1730280351906}}},"IOS&Android Engine Package":{"IOS&Android Engine Package":{"internalLink":{"count":1,"lastUpdated":1730702690372}}},"AI动捕优化思路：":{"AI动捕优化思路：":{"currentFile":{"count":1,"lastUpdated":1731243010285}}}}
|
||||
{"TsDirectorCamManagerActor":{"TsDirectorCamManagerActor":{"currentFile":{"count":1,"lastUpdated":1729139925413}}},"Bloom":{"Bloom":{"currentFile":{"count":1,"lastUpdated":1729490733473}}},"FBloomFinalizeApplyConstantsCS":{"FBloomFinalizeApplyConstantsCS":{"currentFile":{"count":1,"lastUpdated":1729584275683}}},"解决NaiLin高跟":{"解决NaiLin高跟":{"currentFile":{"count":1,"lastUpdated":1729587089926}}},"优化项目举例，参与多个项目。":{"优化项目举例，参与多个项目。":{"currentFile":{"count":1,"lastUpdated":1729696025968}}},"制作各种编辑器工具":{"制作各种编辑器工具":{"currentFile":{"count":1,"lastUpdated":1729696038138}}},"RigidBodyIndex":{"RigidBodyIndex":{"currentFile":{"count":1,"lastUpdated":1730280351906}}},"IOS&Android Engine Package":{"IOS&Android Engine Package":{"internalLink":{"count":1,"lastUpdated":1730702690372}}},"AI动捕优化思路：":{"AI动捕优化思路：":{"currentFile":{"count":1,"lastUpdated":1731243010285}}},"TODO清单":{"TODO清单":{"internalLink":{"count":1,"lastUpdated":1731553316709}}},"CustomThunk":{"CustomThunk":{"internalLink":{"count":1,"lastUpdated":1731555464503}}},"MobileTAA只做两帧混合":{"MobileTAA只做两帧混合":{"currentFile":{"count":1,"lastUpdated":1731557419798}}},"UMG组件作用笔记":{"UMG组件作用笔记":{"internalLink":{"count":1,"lastUpdated":1731557505574}}}}
|
||||
8
02-Note/演讲与教程笔记/虚幻开放日2024/其他有价值的分享.md
Normal file
8
02-Note/演讲与教程笔记/虚幻开放日2024/其他有价值的分享.md
Normal file
@ -0,0 +1,8 @@
|
||||
# 其他有价值的分享
|
||||
- 【[UFSH2024]《三角洲行动》，诠释新一代游戏开发方式 | 王理川 天美Y1工作室技术美术组负责人/专家】 https://www.bilibili.com/video/BV18F2oYAEp2/?share_source=copy_web&vd_source=fe8142e8e12816535feaeabd6f6cdc8e
|
||||
- TODO
|
||||
- [x] 【[UFSH2024]虚幻引擎4移动端渲染管线改造总结分享 | 陈勇 成都西山居 引擎组组长】 https://www.bilibili.com/video/BV18F2oYAES8/?share_source=copy_web&vd_source=fe8142e8e12816535feaeabd6f6cdc8e
|
||||
- [ ] 【[UFSH2024]关于程序化生成，我们还能做什么？ | 周杰 徐凯鸣 腾讯IEG Global】 https://www.bilibili.com/video/BV1MP2oYhE6h/?share_source=copy_web&vd_source=fe8142e8e12816535feaeabd6f6cdc8e
|
||||
- [ ] 【[UFSH2024]虚幻引擎5移动渲染管线扩展与优化 | 张锦 永航科技 引擎组负责人】 https://www.bilibili.com/video/BV1mP2oY8EBh/?share_source=copy_web&vd_source=fe8142e8e12816535feaeabd6f6cdc8e
|
||||
- [ ] 【[UFSH2024]在虚幻引擎中使用移动端光追实现大世界阴影和环境光遮蔽效果 | 姚巍 陆星宇 腾讯游戏生态发展部】 https://www.bilibili.com/video/BV1mP2oY8Erq/?share_source=copy_web&vd_source=fe8142e8e12816535feaeabd6f6cdc8e
|
||||
- [ ] 【[UFSH2024]0A团队享3A开发 ——像大厂一样玩转LookDev 和CFX | 高颖俊 铃空游戏 首席TA管线TD】 https://www.bilibili.com/video/BV1Vry5Y7EZY/?share_source=copy_web&vd_source=fe8142e8e12816535feaeabd6f6cdc8e
|
||||
212
02-Note/演讲与教程笔记/虚幻开放日2024/虚幻引擎4移动端渲染管线改造总结分享.md
Normal file
212
02-Note/演讲与教程笔记/虚幻开放日2024/虚幻引擎4移动端渲染管线改造总结分享.md
Normal file
@ -0,0 +1,212 @@
|
||||
# 移动端SSR
|
||||
## GBuffer
|
||||
- SSR计算阶段需要的WorldNormal来自GBufferA,Roughness来自GBufferB
|
||||
- SSR结果转换成间接高光需要的SpecularColor来自GBufferB和GbufferC
|
||||
```c++
|
||||
derived from BaseColor,Metalness,Specular
|
||||
GBuffer.SpecularColor = ComputeF0(GBuffer.Specular,GBuffer.BaseColor,GBuffer.Metallic);
|
||||
|
||||
```
|
||||
|
||||
MobileBasePass片段着色器额外增加一张RT--OutColorAux,rgb通道存SpecularColor,a通道存Roughness
|
||||
```c++
|
||||
PIXELSHADER_EARLYDEPTHSTENCIL
|
||||
void Main(
|
||||
FVertexFactory InterpolantsVSTOPS Interpolants
|
||||
, FMobileBasePassInterpolantsVSTOPS BasePassInterpolantts
|
||||
, in float4 SvPosition:SV_Position
|
||||
OPTIONAL_IsFrontFace
|
||||
, out half4 OutColor : SV_Target0
|
||||
, out half4 OutColorAux : SV_Target1
|
||||
#if DEFERRED_SHADING_PATH
|
||||
```
|
||||
|
||||
```c++
|
||||
OutColorAux.rgb=ShadingModelContext.Specularcolor;
|
||||
OutColorAux.a=GBuffer.Roughness;
|
||||
```
|
||||
|
||||
- 其中SpecularColor初始化值为计算得到的间接高光(延迟管线是在混合阶段计算)
|
||||
```c++
|
||||
ShadingModelContext.SpecularColor = (DielectricSpecular -)
|
||||
ShadingModelContext.SpecularColor = GetEnvBRDF(ShadingMode
|
||||
```
|
||||
|
||||
## TemporalAAHistory
|
||||
- TemporalAA多帧累积的SceneColor,用于射线RayCast交点的屏幕坐标采样获取颜色
|
||||
- 降噪作用(SSR默认Quality每个像素打一根Ray)
|
||||
- 移植DesktopTAA替换MobileTAA(详细见图像处)
|
||||
|
||||
## HZBFurthest
|
||||
- 可以理解为场景深度的Mipmap，用于RayMarching求交加速。
|
||||
- 参考UE4.27移植（不是必须）
|
||||
|
||||
## SSR计算
|
||||
- SpecularColor和Roughness从OutColorAux获取,WorldNormal通过SceneDepth重构获得
|
||||
```c++
|
||||
#if SHADING_PATH_DEFERRED
|
||||
FGBufferData GBuffer = GetGBufferDataFromSceneTextures(UV
|
||||
#else
|
||||
FGBufferData GBuffer = (FGBufferData)0;
|
||||
GBuffer.ShadingModelID
|
||||
= SHADINGMODELID_DEFAULT_LIT;
|
||||
GBuffer.WorldNormal = normalize(ReconstructNorma1FromDept
|
||||
GBuffer.SpecularColor = MobileSceneColorAux.SampleLevel(
|
||||
GBuffer.Roughness = MobileSceneColorAux.SampleLevel(Mobil
|
||||
GBuffer.Depth = CalcSceneDepthByTexture(UV);
|
||||
#endif
|
||||
```
|
||||
|
||||
- SSR结果预乘SpecularColor,这样可以与SceneColorMobile做Blend One One混合
|
||||
```c++
|
||||
#if FEATURE_LEVEL == FEATURE_LEVEL_ES3_1
|
||||
Outcolor.rgb*=GBuffer.SpecularColor;
|
||||
#endif
|
||||
```
|
||||
|
||||
## 结论
|
||||
- 不足:重建的WorldNormal是面法线,没有延迟管线GBuffer的像素级法线,某些角度反射结果会有差异
|
||||
- 早期的方案:OutColorAux的rg通道存WorldNormal,a通道存Roughness,b通道存SpecularColor的灰度值(某些光照环境下结果不准确,放弃)
|
||||
|
||||
# 实时平面反射
|
||||
平面反射与DepthPass的兼容问题修改。
|
||||
## 需求
|
||||
在包含平面反射(裁剪平面开启)的场景中,开启Full Prepass的情况下,平面反射绘制的内容出现深度遮挡错误
|
||||
|
||||
**裁剪平面**
|
||||
平面反射的裁剪平面(Global Clip Plane)用于保证绘制结果的正确--那些在反射相机的视锥体内,但在反射平面下方的物体不应该参与反射,需要被剔除掉
|
||||
|
||||
**硬件实现**
|
||||
默认实现是通过SV_ClipDistance语义在模型的光栅化阶段剔除,但不是所有的平台都支持,移动平台BasePass走的是PS的clip剔除
|
||||
|
||||
## 实现方法
|
||||
1. 自定义语义
|
||||
DepthOnlyVS设置ClipDistance值,通过自定义语义插值传递给片段着色器DepthOnlyPS。
|
||||
```c++
|
||||
struct FDepthonlyVSTOPS
|
||||
{
|
||||
#if USE_PS_CLIP_PLANE
|
||||
float OutclipDistance : OUTCLIPDIST;
|
||||
#endif
|
||||
```
|
||||
|
||||
2. PS剔除
|
||||
在DepthOnlyPS中用clip函数剔除(负值表示在裁剪平面以下,会被剔除)
|
||||
```c++
|
||||
#if USE_PS_CLIP_PLANE
|
||||
clip(Interpolants.OutClipDistance);
|
||||
#endif
|
||||
```
|
||||
|
||||
3. PS绑定条件
|
||||
在移动平台,当场景包含平面反射的情况下走DepthOnlyPS
|
||||
|
||||
## 结论
|
||||
- Depth Pass走PS会有额外开销,但仅限场景中包含平面反射的时候,其它情况下Depth Pass仍然可以不需要PS
|
||||
- 另一种修改方案:当场景中包含平面反射的时候关闭Full Prepass,在某些效果依赖Full Prepass的时候不行(详细见接下来动态阴影分享)
|
||||
|
||||
# CSM策略优化
|
||||
- 移除视锥外物体的阴影渲染
|
||||
|
||||
# ModulatedShadow渲染管线改造
|
||||
## 需求
|
||||
- 在角色展示时CSM阴影精度不够,阴影效果不稳定(ViewDependentWholeScene的阴影方式)
|
||||
- 解决方案:Modulated Shadow具有独立的阴影视锥和阴影深度图区域,在阴影精度方面更有优势(Per-Object的阴影方式)
|
||||
|
||||
## 问题1:阴影重叠
|
||||
- Modulated Shadow独立计算各个投影物体的阴影,与SceneColorMobile相乘输出,导致投影重叠区域多次与阴影颜色相乘被压黑
|
||||
- 解决方案:增加一个中间RenderTarget,做为每个Per-Object阴影视锥的输出目标,最后对RT统一阴影颜色处理后,再与SceneColorMobile相乘输出
|
||||
## 问题2:透明物体无阴影接收
|
||||
- 阴影方式处理依赖场景深度,而透明物体不写场景深度
|
||||
- 解决方案:透明物体的阴影Receive还是走CSM
|
||||
## 问题3:在MobileBasePass之后计算
|
||||
- 阴影信息需要早于MobileBassPass构造好,用于着色计算
|
||||
- 考虑过的方案:MobileBassPass用上一帧的Modulated Shadow信息,但存在阴影拖影和透明物体阴影结合的问题
|
||||
- 最终方案:参考UE4.27移植并开启Full Prepass,在MobileBassPass之前获得场景深度,构造好Modulated Shadow
|
||||
|
||||
## 结论
|
||||
项目应用两套阴影方案:角色展示场景主要用Modulated Shadow,满足高精度的阴影效果需求,战斗场景用CSM,效率优先
|
||||
|
||||
# 特效性能 Separate Translucency透明渲染管线改进
|
||||
修改方案:参考非移动端做透明渲染RenderPass与MobileBasePass分离。
|
||||
|
||||
1. SeparateTranslucencyColor
|
||||
申请低分辨率的RenderTarget用于透明绘制,然后Upsample到SceneColorMobile上
|
||||
2. SeparateTranslucencyDepth
|
||||
SceneDepth需要跟SeparateTranslucencyColor做同比例Downsample
|
||||
|
||||
注意:SceneDepth的Resolve跨RenderPass渲染目标改变,基于Memoryless的SceneDepth获取方式需要改为从Texture中获取,比如:DepthFade,LookupDeviceZ
|
||||
|
||||
3. 重设SceneTextures
|
||||
增加EMobileSceneTextureSetupMode去设置降分辨率后的SceneDepthTexture
|
||||
```c++
|
||||
(buseSeparateTranslucencyDepth && SceneContext.SeparaateTranslucencyDepth)
|
||||
SceneTextureParameters.SceneDepthTexture=GetRDG(SceneContext.Separate
|
||||
```
|
||||
|
||||
## 进一步需求
|
||||
- 角色的透明材质不想受降透明分辨率影响
|
||||
1.保证角色渲染的精度;2.透明和不透明的衔接部分因为精度不一样出现裂缝问题
|
||||
## 解决方案
|
||||
- 通过扩展材质上的SeparateTranslucency的勾选项灵活控制走Normal还是SeparateTranslucencyPass
|
||||
## 与其他透明的乱序问题
|
||||
- 通过角色透明写CustomeDepth,其他透明判断CustomDepth解决
|
||||
|
||||
## 结论
|
||||
- 通过透明渲染分辨率可根据机型、画质和场景的不同灵活控制特效的GPU开销
|
||||
- 透明渲染Pass拆分产生了更多的透明渲染乱序问题,通过设置Sort Priority,配合CustomDepth解决
|
||||
- SceneCapture下的透明渲染:还是走Normal Translucency (SceneCapture需要使用alpha通道)
|
||||
|
||||
# 图像处理 Desktop Temporal AA移动端移植
|
||||
## 需求
|
||||
- MSAA对Depth Resolve支持的不好,无法满足渲染管线特性扩展的需求(SSPR、AO和Full Prepass等都需要Depth的Resolve)
|
||||
- TemporalAA通过每帧使用不同的像素抖动Jitter,把采样结果分散到多帧,累积到History帧与当前帧混合,可以达到很好的抗锯效果
|
||||
- MobileTAA只做两帧混合,抗锯效果不够,而且没有基于Velocity的像素修正,快速移动会有鬼影(Ghosting)
|
||||
|
||||
## 解决方案
|
||||
**增加Velocity Pass**
|
||||
- 可移动模型:更新Primitive的LocalToWorld和PreviousLocalToWorld
|
||||
- 骨骼模型:需要上一帧的骨骼矩阵计算顶点位置,使用SRV Buffer代替Uniform Buffer传递骨骼变换矩阵(UniformBuffer有大小上限)
|
||||
- VS计算出顶点当前和上一帧的屏幕空间坐标,传递给PS计算差值作为Velocity输出
|
||||
```c++
|
||||
// 3d velocity,includes camera an object motion
|
||||
float3 Velocity = float3(ScreenPos - PrevScreenPos, DeeviceZ - PrevDeviceZ);
|
||||
```
|
||||
|
||||
**Reprojection位置纠正**
|
||||
- 在后期阶段,通过变换计算当前屏幕坐标在上一帧中的屏幕坐标,再结合Velocity数据对History帧做正确采样
|
||||
```c++
|
||||
float2 BackN = PosN.xy - PrevScreen;
|
||||
|
||||
BackN = DecodeVelocityFromTexture(EncodedVeloc:ty).xy;
|
||||
|
||||
HistoryScreenPosition = InputParams.ScreenPoS -BackN;
|
||||
```
|
||||
|
||||
## 结论
|
||||
- TAA整体抗锯效果最好,而且基于多帧的时间域实现,可以更好的与新渲染特性兼容,且对SSR起到降噪的作用
|
||||
- TAA后期位置需放在Bloom之前,避免放在Bloom之后产生的flicker
|
||||
- 在后期的末端加上FXAA,弥补TAA在后期管线上靠前对有些效果(比如AfterTonemap)抗锯不生效的问题
|
||||
|
||||
# 图像处理 Mobile FSR
|
||||
## 具体方案
|
||||
从UE5移植Mobile FSR 1.0，主要包含针对移动端优化的Upscale和锐化两个Pass。
|
||||
|
||||
# 3D UMG
|
||||
Canvas Panel 3D
|
||||
- 继承自Canvas Panel,增加透视相关参数,比如Camera的Anchor、FOV和Panel的Rotation、Offset等参数,OnPaint时转换成ViewProjection矩阵传递给Widget
|
||||
- 优点:1.顶点还是2D,没有增加渲染开销;2.可在编辑器实时预览3D效果
|
||||
- 不足:只有Canvas的深度信息,无法做顶点级别的深度效果
|
||||
|
||||
## 场景交互3DUI
|
||||
- 新增SeparateTranslucencyAfterPostProcess半透明材质标识,对应新增一个Mesh Pass和Processor收集此类型MeshBatch,放在Tonemap之后绘制
|
||||
- 解决默认的WidgetComponent受到Tonemap影响带来的色差问题
|
||||
- 本质上是Mesh的透明渲染,有顶点级别的深度信息,可以访问SceneDepth来实现场景交互
|
||||
## 需处理的问题
|
||||
- Tonemap之后绘制,需跳过MobileBasePass的颜色纠正和Android平台的Y轴翻转
|
||||
- TAA早于TranslucencyAfterPostprocess Pass生效,在该Pass绘制前,View的投影矩阵像素Jitter需去掉(HackRemoveTemporalAAProjectionJitter)
|
||||
|
||||
## 结论
|
||||
- Canvas Panel3D类型满足最常用的界面需求;TranslucencyAfterPostprocess类型满足与场景交互的界面需求
|
||||
- 抗锯齿:Canvas Panel 3D类型通过带MSAA的中间RenderTarget方式处理;TranslucencyAfterPostprocess类型依靠后期末尾的FXAA
|
||||
- 其他:使用第三方NiagaraUIRenderer插件来满足UMG上显示特效的需求
|
||||
Loading…
x
Reference in New Issue
Block a user