212 lines
9.7 KiB
Markdown
212 lines
9.7 KiB
Markdown
# 移动端SSR
|
||
## GBuffer
|
||
- SSR计算阶段需要的WorldNormal来自GBufferA,Roughness来自GBufferB
|
||
- SSR结果转换成间接高光需要的SpecularColor来自GBufferB和GbufferC
|
||
```c++
|
||
derived from BaseColor,Metalness,Specular
|
||
GBuffer.SpecularColor = ComputeF0(GBuffer.Specular,GBuffer.BaseColor,GBuffer.Metallic);
|
||
|
||
```
|
||
|
||
MobileBasePass片段着色器额外增加一张RT--OutColorAux,rgb通道存SpecularColor,a通道存Roughness
|
||
```c++
|
||
PIXELSHADER_EARLYDEPTHSTENCIL
|
||
void Main(
|
||
FVertexFactory InterpolantsVSTOPS Interpolants
|
||
, FMobileBasePassInterpolantsVSTOPS BasePassInterpolantts
|
||
, in float4 SvPosition:SV_Position
|
||
OPTIONAL_IsFrontFace
|
||
, out half4 OutColor : SV_Target0
|
||
, out half4 OutColorAux : SV_Target1
|
||
#if DEFERRED_SHADING_PATH
|
||
```
|
||
|
||
```c++
|
||
OutColorAux.rgb=ShadingModelContext.Specularcolor;
|
||
OutColorAux.a=GBuffer.Roughness;
|
||
```
|
||
|
||
- 其中SpecularColor初始化值为计算得到的间接高光(延迟管线是在混合阶段计算)
|
||
```c++
|
||
ShadingModelContext.SpecularColor = (DielectricSpecular -)
|
||
ShadingModelContext.SpecularColor = GetEnvBRDF(ShadingMode
|
||
```
|
||
|
||
## TemporalAAHistory
|
||
- TemporalAA多帧累积的SceneColor,用于射线RayCast交点的屏幕坐标采样获取颜色
|
||
- 降噪作用(SSR默认Quality每个像素打一根Ray)
|
||
- 移植DesktopTAA替换MobileTAA(详细见图像处)
|
||
|
||
## HZBFurthest
|
||
- 可以理解为场景深度的Mipmap，用于RayMarching求交加速。
|
||
- 参考UE4.27移植（不是必须）
|
||
|
||
## SSR计算
|
||
- SpecularColor和Roughness从OutColorAux获取,WorldNormal通过SceneDepth重构获得
|
||
```c++
|
||
#if SHADING_PATH_DEFERRED
|
||
FGBufferData GBuffer = GetGBufferDataFromSceneTextures(UV
|
||
#else
|
||
FGBufferData GBuffer = (FGBufferData)0;
|
||
GBuffer.ShadingModelID
|
||
= SHADINGMODELID_DEFAULT_LIT;
|
||
GBuffer.WorldNormal = normalize(ReconstructNorma1FromDept
|
||
GBuffer.SpecularColor = MobileSceneColorAux.SampleLevel(
|
||
GBuffer.Roughness = MobileSceneColorAux.SampleLevel(Mobil
|
||
GBuffer.Depth = CalcSceneDepthByTexture(UV);
|
||
#endif
|
||
```
|
||
|
||
- SSR结果预乘SpecularColor,这样可以与SceneColorMobile做Blend One One混合
|
||
```c++
|
||
#if FEATURE_LEVEL == FEATURE_LEVEL_ES3_1
|
||
Outcolor.rgb*=GBuffer.SpecularColor;
|
||
#endif
|
||
```
|
||
|
||
## 结论
|
||
- 不足:重建的WorldNormal是面法线,没有延迟管线GBuffer的像素级法线,某些角度反射结果会有差异
|
||
- 早期的方案:OutColorAux的rg通道存WorldNormal,a通道存Roughness,b通道存SpecularColor的灰度值(某些光照环境下结果不准确,放弃)
|
||
|
||
# 实时平面反射
|
||
平面反射与DepthPass的兼容问题修改。
|
||
## 需求
|
||
在包含平面反射(裁剪平面开启)的场景中,开启Full Prepass的情况下,平面反射绘制的内容出现深度遮挡错误
|
||
|
||
**裁剪平面**
|
||
平面反射的裁剪平面(Global Clip Plane)用于保证绘制结果的正确--那些在反射相机的视锥体内,但在反射平面下方的物体不应该参与反射,需要被剔除掉
|
||
|
||
**硬件实现**
|
||
默认实现是通过SV_ClipDistance语义在模型的光栅化阶段剔除,但不是所有的平台都支持,移动平台BasePass走的是PS的clip剔除
|
||
|
||
## 实现方法
|
||
1. 自定义语义
|
||
DepthOnlyVS设置ClipDistance值,通过自定义语义插值传递给片段着色器DepthOnlyPS。
|
||
```c++
|
||
struct FDepthonlyVSTOPS
|
||
{
|
||
#if USE_PS_CLIP_PLANE
|
||
float OutclipDistance : OUTCLIPDIST;
|
||
#endif
|
||
```
|
||
|
||
2. PS剔除
|
||
在DepthOnlyPS中用clip函数剔除(负值表示在裁剪平面以下,会被剔除)
|
||
```c++
|
||
#if USE_PS_CLIP_PLANE
|
||
clip(Interpolants.OutClipDistance);
|
||
#endif
|
||
```
|
||
|
||
3. PS绑定条件
|
||
在移动平台,当场景包含平面反射的情况下走DepthOnlyPS
|
||
|
||
## 结论
|
||
- Depth Pass走PS会有额外开销,但仅限场景中包含平面反射的时候,其它情况下Depth Pass仍然可以不需要PS
|
||
- 另一种修改方案:当场景中包含平面反射的时候关闭Full Prepass,在某些效果依赖Full Prepass的时候不行(详细见接下来动态阴影分享)
|
||
|
||
# CSM策略优化
|
||
- 移除视锥外物体的阴影渲染
|
||
|
||
# ModulatedShadow渲染管线改造
|
||
## 需求
|
||
- 在角色展示时CSM阴影精度不够,阴影效果不稳定(ViewDependentWholeScene的阴影方式)
|
||
- 解决方案:Modulated Shadow具有独立的阴影视锥和阴影深度图区域,在阴影精度方面更有优势(Per-Object的阴影方式)
|
||
|
||
## 问题1:阴影重叠
|
||
- Modulated Shadow独立计算各个投影物体的阴影,与SceneColorMobile相乘输出,导致投影重叠区域多次与阴影颜色相乘被压黑
|
||
- 解决方案:增加一个中间RenderTarget,做为每个Per-Object阴影视锥的输出目标,最后对RT统一阴影颜色处理后,再与SceneColorMobile相乘输出
|
||
## 问题2:透明物体无阴影接收
|
||
- 阴影方式处理依赖场景深度,而透明物体不写场景深度
|
||
- 解决方案:透明物体的阴影Receive还是走CSM
|
||
## 问题3:在MobileBasePass之后计算
|
||
- 阴影信息需要早于MobileBassPass构造好,用于着色计算
|
||
- 考虑过的方案:MobileBassPass用上一帧的Modulated Shadow信息,但存在阴影拖影和透明物体阴影结合的问题
|
||
- 最终方案:参考UE4.27移植并开启Full Prepass,在MobileBassPass之前获得场景深度,构造好Modulated Shadow
|
||
|
||
## 结论
|
||
项目应用两套阴影方案:角色展示场景主要用Modulated Shadow,满足高精度的阴影效果需求,战斗场景用CSM,效率优先
|
||
|
||
# 特效性能 Separate Translucency透明渲染管线改进
|
||
修改方案:参考非移动端做透明渲染RenderPass与MobileBasePass分离。
|
||
|
||
1. SeparateTranslucencyColor
|
||
申请低分辨率的RenderTarget用于透明绘制,然后Upsample到SceneColorMobile上
|
||
2. SeparateTranslucencyDepth
|
||
SceneDepth需要跟SeparateTranslucencyColor做同比例Downsample
|
||
|
||
注意:SceneDepth的Resolve跨RenderPass渲染目标改变,基于Memoryless的SceneDepth获取方式需要改为从Texture中获取,比如:DepthFade,LookupDeviceZ
|
||
|
||
3. 重设SceneTextures
|
||
增加EMobileSceneTextureSetupMode去设置降分辨率后的SceneDepthTexture
|
||
```c++
|
||
(buseSeparateTranslucencyDepth && SceneContext.SeparaateTranslucencyDepth)
|
||
SceneTextureParameters.SceneDepthTexture=GetRDG(SceneContext.Separate
|
||
```
|
||
|
||
## 进一步需求
|
||
- 角色的透明材质不想受降透明分辨率影响
|
||
1.保证角色渲染的精度;2.透明和不透明的衔接部分因为精度不一样出现裂缝问题
|
||
## 解决方案
|
||
- 通过扩展材质上的SeparateTranslucency的勾选项灵活控制走Normal还是SeparateTranslucencyPass
|
||
## 与其他透明的乱序问题
|
||
- 通过角色透明写CustomeDepth,其他透明判断CustomDepth解决
|
||
|
||
## 结论
|
||
- 通过透明渲染分辨率可根据机型、画质和场景的不同灵活控制特效的GPU开销
|
||
- 透明渲染Pass拆分产生了更多的透明渲染乱序问题,通过设置Sort Priority,配合CustomDepth解决
|
||
- SceneCapture下的透明渲染:还是走Normal Translucency (SceneCapture需要使用alpha通道)
|
||
|
||
# 图像处理 Desktop Temporal AA移动端移植
|
||
## 需求
|
||
- MSAA对Depth Resolve支持的不好,无法满足渲染管线特性扩展的需求(SSPR、AO和Full Prepass等都需要Depth的Resolve)
|
||
- TemporalAA通过每帧使用不同的像素抖动Jitter,把采样结果分散到多帧,累积到History帧与当前帧混合,可以达到很好的抗锯效果
|
||
- MobileTAA只做两帧混合,抗锯效果不够,而且没有基于Velocity的像素修正,快速移动会有鬼影(Ghosting)
|
||
|
||
## 解决方案
|
||
**增加Velocity Pass**
|
||
- 可移动模型:更新Primitive的LocalToWorld和PreviousLocalToWorld
|
||
- 骨骼模型:需要上一帧的骨骼矩阵计算顶点位置,使用SRV Buffer代替Uniform Buffer传递骨骼变换矩阵(UniformBuffer有大小上限)
|
||
- VS计算出顶点当前和上一帧的屏幕空间坐标,传递给PS计算差值作为Velocity输出
|
||
```c++
|
||
// 3d velocity,includes camera an object motion
|
||
float3 Velocity = float3(ScreenPos - PrevScreenPos, DeeviceZ - PrevDeviceZ);
|
||
```
|
||
|
||
**Reprojection位置纠正**
|
||
- 在后期阶段,通过变换计算当前屏幕坐标在上一帧中的屏幕坐标,再结合Velocity数据对History帧做正确采样
|
||
```c++
|
||
float2 BackN = PosN.xy - PrevScreen;
|
||
|
||
BackN = DecodeVelocityFromTexture(EncodedVeloc:ty).xy;
|
||
|
||
HistoryScreenPosition = InputParams.ScreenPoS -BackN;
|
||
```
|
||
|
||
## 结论
|
||
- TAA整体抗锯效果最好,而且基于多帧的时间域实现,可以更好的与新渲染特性兼容,且对SSR起到降噪的作用
|
||
- TAA后期位置需放在Bloom之前,避免放在Bloom之后产生的flicker
|
||
- 在后期的末端加上FXAA,弥补TAA在后期管线上靠前对有些效果(比如AfterTonemap)抗锯不生效的问题
|
||
|
||
# 图像处理 Mobile FSR
|
||
## 具体方案
|
||
从UE5移植Mobile FSR 1.0，主要包含针对移动端优化的Upscale和锐化两个Pass。
|
||
|
||
# 3D UMG
|
||
Canvas Panel 3D
|
||
- 继承自Canvas Panel,增加透视相关参数,比如Camera的Anchor、FOV和Panel的Rotation、Offset等参数,OnPaint时转换成ViewProjection矩阵传递给Widget
|
||
- 优点:1.顶点还是2D,没有增加渲染开销;2.可在编辑器实时预览3D效果
|
||
- 不足:只有Canvas的深度信息,无法做顶点级别的深度效果
|
||
|
||
## 场景交互3DUI
|
||
- 新增SeparateTranslucencyAfterPostProcess半透明材质标识,对应新增一个Mesh Pass和Processor收集此类型MeshBatch,放在Tonemap之后绘制
|
||
- 解决默认的WidgetComponent受到Tonemap影响带来的色差问题
|
||
- 本质上是Mesh的透明渲染,有顶点级别的深度信息,可以访问SceneDepth来实现场景交互
|
||
## 需处理的问题
|
||
- Tonemap之后绘制,需跳过MobileBasePass的颜色纠正和Android平台的Y轴翻转
|
||
- TAA早于TranslucencyAfterPostprocess Pass生效,在该Pass绘制前,View的投影矩阵像素Jitter需去掉(HackRemoveTemporalAAProjectionJitter)
|
||
|
||
## 结论
|
||
- Canvas Panel3D类型满足最常用的界面需求;TranslucencyAfterPostprocess类型满足与场景交互的界面需求
|
||
- 抗锯齿:Canvas Panel 3D类型通过带MSAA的中间RenderTarget方式处理;TranslucencyAfterPostprocess类型依靠后期末尾的FXAA
|
||
- 其他:使用第三方NiagaraUIRenderer插件来满足UMG上显示特效的需求 |