BlueRoseNote/03-UnrealEngine/卡通渲染相关资料/卡通渲染开发总览.md

---
title: 卡通渲染开发总览
date: 2023-12-08 09:59:57
excerpt: 
tags: 
rating: ⭐⭐⭐
---
# 目录
- [[卡通渲染相关资料]]里面的有原神、碧蓝幻想、罪恶装备、赛马娘、黑丝指的参考。
	- 做完基础功能之后，再逐个寻找新的功能点与方向。
- [[知乎FlashYiYi的卡通渲染分享]]里面有许多Fake技巧
- 参考对象分析
	- 星穹铁道
	- 原神
		- https://zhuanlan.zhihu.com/p/316138540
			- 软阴影边界
			- 反射探针，获取BaseColor、Normal等，最后Relight来获得复合场景的反射CubeMap。
	- UnityChan
	- 破晓传说
	- 蓝色协议
	- 蓝色反射
	- 非人学园2
	- 少女前线2 追放
		- https://www.bilibili.com/video/BV1pt421H7EH/?buvid=38ddfe416af6e23f1aada0674f307e3e&from_spmid=tm.recommend.0.0&is_story_h5=false&mid=a0AUwJxrG%2FcYg0AorRjOGA%3D%3D&p=1&plat_id=116&share_from=ugc&share_medium=iphone&share_plat=ios&share_session_id=CD0CF499-8DF5-48F5-A03A-7A3AE61FFF3A&share_source=COPY&share_tag=s_i&spmid=united.player-video-detail.0.0&timestamp=1706754945&unique_k=44q6hra&up_id=140517136&vd_source=d47c0bb42f9c72fd7d74562185cee290
	- 明日方舟终末地
	- [[CEDEC]]
		- 学园偶像大师
			- https://zhuanlan.zhihu.com/p/716241556
			- [CEDEC2024-细微之处见神明《学院偶像大师》中精致的3D角色与背景制作(一)](https://zhuanlan.zhihu.com/p/20174115953)
		- BanG梦想！ 女子乐队派对
		- 异度神剑
	- 碧蓝幻想
		- https://zhuanlan.zhihu.com/p/14858282081
		- https://zhuanlan.zhihu.com/p/27407759719
		- 【Cygames技术大会 2024】碧蓝幻想Relink - 角色模型制作事例 - Ale Feng的文章 - 知乎 https://zhuanlan.zhihu.com/p/16218213290
	- 归龙潮
- 其他人的作品
	- [蛋白胨](https://www.zhihu.com/people/danbaidong1111) https://zhuanlan.zhihu.com/p/663968812
		- https://miusjun13qu.feishu.cn/docx/EXPtdrNmnox8hkx4mnCcy8QNn2b
		- https://github.com/danbaidong1111/DanbaidongRP
		- https://www.bilibili.com/video/BV147pveZEck/?spm_id_from=333.999.0.0&vd_source=d47c0bb42f9c72fd7d74562185cee290
	- [muro_cg](https://www.youtube.com/@muro_cg)
	- [Nevrwind](https://space.bilibili.com/397442)
		- 【【UE5动画】你会来的对吗？】 https://www.bilibili.com/video/BV1kw4m1e7qZ/?share_source=copy_web&vd_source=fe8142e8e12816535feaeabd6f6cdc8e
		- 【【UE5卡渲】椿 - K表情练习】 https://www.bilibili.com/video/BV1ay411b7Cm/?share_source=copy_web&vd_source=fe8142e8e12816535feaeabd6f6cdc8e
		-  卡通渲染晕染效果【【UE5】一些最近做的好玩的卡渲后效】 https://www.bilibili.com/video/BV1gi421v7HA/?share_source=copy_web&vd_source=fe8142e8e12816535feaeabd6f6cdc8e
- 动漫制作
	- 2024年4月新番 Girls Band cry【日本最顶级的3D动画制作过程【GBC官方动捕制作片段】】 https://www.bilibili.com/video/BV1uM4m1U7CL/?share_source=copy_web&vd_source=fe8142e8e12816535feaeabd6f6cdc8e

>PS.  先实现一波Cel，之后再实现Thickly - Coated。

# 最近开发计划
1. [x] 添加ShaderModel
	1. https://zhuanlan.zhihu.com/p/658700282
	2. https://zhuanlan.zhihu.com/p/597568404
2. [x] 给材质添加一些属性
	1. [x] 移植ToonDataAsset。
		1. [x] MaterialInstance Override 完成
	2. [x] 添加BackFace Outline基础代码。
3. [x] 添加材质自定义Output节点。
4. [x] 给GBuffer结构体添加子ToonBuffer结构体。
5. [x] ShaderModel：ToonStandard 
	1. [x] 实现初版ToonStandard。
6. [ ] ToonOutline(后处理)
	1. [x] ID、Depth、Normal Outline
		1. [x] 深度描边初版
		2. [x] 法线描边初版
		3. [x] FOV宽度适配
		4. [x] ScreenPercentage、DPI宽度适配（包括Editor Overrider）
		5. [x] 后处理描边的内外描边问题。深度描边会描内部与外部。导致一些比较近的地方深度描边比较细。
			1. [x] 内外描边通过是否是卡通材质来判断。所以分为 外内与内内2种情况。
			2. [x] 外描边之后考虑使用BackFace来实现。
		6. [x] ToonOutlineDataAsset 添加深度&法线描边开关选项。
		7. [x] ToonOutlineDataAsset ID描边实现。
		8. [x] ToonOutlineID Overrider实现。可以使用OutlineID贴图来实现单材质描边的功能。
		9. [x] Fix SkyAtmosphere 与ExponentialHeightFog会干掉Outline的问题。**目前将ToonOutline移到SkyAtmosphere、ExponentialHeightFog Pass之后** 另一个思路就是使用BackfaceOutline
		10. [x] Outine PostProcess Overrider设置。 ToonOutline.cpp 42行。
		11. [ ] TODO: TSR Outline写入速度信息。
			1. [ ] ue4.26 体积云重投影 https://zhuanlan.zhihu.com/p/718922764
	2. [ ] OutlineMask& SDF Outline
		1. [x] 8通道存储SDFOutlineMask**8位精度不够，在Materal中计算依然有锯齿**
			1. [x] https://zhuanlan.zhihu.com/p/410710318
			2. [x] https://zhuanlan.zhihu.com/p/113190695
		2. [ ] 剩下8通道
			1. [ ] 3通道分别控制ID、Depth、Normal Outline Mask。
			2. [ ] Offset、Feather？
		3. PS绘画出不同压感的颜色。
			1. F5打开画笔设置对话框，点击“传递”页。
			2. 将“不透明度抖动”设为0，并将控制方式设置为钢笔压力。最小钢笔压力设置成50%。
			3. 如果效果不明显，将“流量抖动”设置组也一样设置。
		4. [ ] 编写Outline贴图转换工具。 
			1. [ ] https://zhuanlan.zhihu.com/p/658213216  https://github.com/danbaidong1111/UnityTools/tree/main/SDFGenerateTool
			2. [ ] https://zhuanlan.zhihu.com/p/702637242 
	3. [ ] BackFaceOutline
		1. [x] https://zhuanlan.zhihu.com/p/613772622
		2. [x] https://zhuanlan.zhihu.com/p/552283835
		3. [x] VertexShader，模型反向压平。
		4. [x] fix 模型勾选渲染CustomDepth才能正常渲染的bug
		5. [x] fix 开启一个模型的CustomDepth会让其他ToonStandard模型开启CustomDepth写入。（将CustomDepth写入 => Depth写入）
		6. [x] 深度剔除bug解决
		7. [x] 使用比较ToonMeshDrawOutline前后深度的方法来获取ToonMeshDrawOutlineMask.
		8. [ ] TODO：确认VR中的运行结果是否正确？
		9. [ ] TODO：Nanite模型支持。
		10. [ ] TODO：另一种思路定点内扩+Stencil的方式渲染内描边？
		11. [ ] TODO：顶点法线工具开发 https://tajourney.games/7689/
	4. [ ] TODO：RayTacing描边方法。
7. [ ] ToonLighting
	1. [ ] Cel
	2. [ ] 【UE5】卡通渲染着色篇3：多光源 https://zhuanlan.zhihu.com/p/717533663
	3. [ ] UE5 浅谈光源更新多线程优化 https://zhuanlan.zhihu.com/p/27574076122?utm_psn=1879905019928764942
8. [ ] ToonPostProcess
	1. [x] ToonBloom
	2. [ ] ToonDiffusion：对场景亮部进行降采样，之后将亮度信息叠加到Toon物体的暗部上。
	3. [ ] 晕染效果，Background透过光功能。[[幻塔-Background透过光.png]]
	4. [ ] 实现一波Anti-Lut
	5. [x] 考虑其他风格的ToneMapper（可能还是使用LUT更好调整） https://zhuanlan.zhihu.com/p/716759929?utm_psn=1812047639874760707
		1. [x] CCA Tonemapping
		2. [x] GT Tonemapping https://github.com/yaoling1997/GT-ToneMapping
		3. [x] AGX Tonemapping https://github.com/EaryChow/AgX
	6. [ ] Tonemapping不够用了: Local Tonemapping方案总结 https://zhuanlan.zhihu.com/p/519457212
9. [ ] ToonRimLighting
	1. [x] 材质边缘光（位于引擎插件/ToonUtility/MaterialFunction/MF_RimLighting）
	2. [ ] 后处理边缘光
	3. [ ] Matcap
	4. [ ] ASoul边缘光
10. [ ] Reflection控制
11. [ ] Toon GI（Lumen)
	1. [ ] 向下采样
	2. [ ] 平滑法线采样
		1. [ ] 使用哪个https://zhuanlan.zhihu.com/p/25839790454
12. [ ] 阴影控制
	1. [x] 控制深度偏移
		1. [x] 在材质中使用ShadowPassSwitch再对ViewSpace的Z轴方向（使用DirectionalLightVector比较可以只对方向光进行偏移）进行WPO偏移实现。
	2. [ ] ContactShadow接触阴影实现衣服细节的DetailShadow
	3. [x] 半程阴影（DirectionOffsetToViewShadow）半分阴影[[幻塔-半程自阴影.png]]
	4. [x] 给图元添加禁用自阴影功能——发现启用RecivedViewOffsetShadow就可以起到这个功能。
13. [ ] ToonHair 
		1.  [【UE5】通过深度偏移计算刘海投影](https://zhuanlan.zhihu.com/p/690066418)
		2. [UE5 NPR-Shadow-Character Shadow（2）](https://zhuanlan.zhihu.com/p/13953884160)
14. [ ] ToonTranslucent
	1. [ ] 通过模仿SingleLayerWater实现折射效果 https://zhuanlan.zhihu.com/p/657928532
	2. [ ] 眉眼细节 [[幻塔-眉眼细节.png]]
15. [ ] 月下幻影的掰法线思路：`N = _Scale * NoL * L + N`尝试找到使用场景。资产路径`/Game/ToonContentExample/MaterialUtility/NormalOffsetToDirectionalLight/M_NormalOffsetToDirectionalLight`
16. [ ] RGS 光线追踪与路径追踪支持。
	1. [ ]  [【UE5】通过Raytracing自定义卡通渲染投影](https://zhuanlan.zhihu.com/p/688722298) https://zhuanlan.zhihu.com/p/688722298
17. [ ] 给EditorView添加卡通渲染用场景，默认场景的渲染效果对不上。
18. [ ] 实现前向混合管线？思路有2：1. Material直接计算光照结果。2. 自定义ToonBasePass到LightingPass后，复制阴影贴图与Lumen渲染结果进行Composition。
	1. 原神早期的方案：
		1. 渲染地形（远景
		2. 
		3. CubeMap环境光照，（和时间与地区有关）
		4. 渲染屏幕空间深度图
		5. 渲染角色以及近景模型（卡通材质相关渲染Pass）
			1. 有计算直接光照与阴影。使用屏幕空间深度图来计算阴影。
		6. 渲染深度与法线Buffer。
		7. 渲染级联阴影。
		8. 合成，阴影与环境光照（AO、环境探针）。
19. [ ] 云彩生成器
	1. [ ] https://www.bilibili.com/video/BV1L5kdYFEXc/?spm_id_from=333.1007.tianma.4-1-11.click&vd_source=d47c0bb42f9c72fd7d74562185cee290
	2. [ ] 风格化水面资产 https://item.taobao.com/item.htm?id=865360489543&pisk=gLHsX7NMiNb1gB7njFKURXly5Dwb5q9y1iZxqmBNDReTkigKDtQA6-FLJorOMSU2sqNju2VxQRoZRGDIPtWwSCmAh-yvzUJyUcman-Lyk8kOUGq4mNUAurCKv-rjPdNAXcmgnrIFkQlKjZg5RK5YDrKQpor7k-EYW9KQcuaYHPFAJ6E8JrexkSIdJuZ5MZCTHkKQju5OBoeYvMEaVtBtk-KIvyqxnDXQDCZ-fHz1qUDkpeKgJtBxdlNpTcUKrr-4i5TjbyXvy1Zg1coTRtBxKXkPllz9ZMz0QPDbfqvlIRFjTAVoQeBsl20KBSDp8B00QuV-MD-lTPDIQvFsCU1uCX3nd5DOWhqtsqDbQx71hDMb57HTOKx0CDEYdbneq6zidAkL1AT5ZPMiDjPItNTUuboEBWgJ89g0GXkgZA8dC4IyzTz7sJ5fA7XbAz-BAsf0xzPwqJ_edaNTxlTyAH_Gi5E3AmtBAsDg6kqF6HtCWc1..&spm=a21xtw.29178619.product_shelf.74.41727d6dRCDvul
20. [ ] 添加Debug View https://zhuanlan.zhihu.com/p/668782106
21. [ ] [_UE5_ Shader Print系统](https://zhuanlan.zhihu.com/p/637929634)
22. [ ] GBufferView实现。
23. [ ] Toon Debug模式，可以让美术在材质进行进行简单的光照计算。
24. [ ] ToonShadow
	1. ![[星穹铁道中下巴阴影处理.png]]
	2. [ ] ToonSDFShadow
		1. [ ] TODO: SDF贴图工具？
25. [ ] LookDev场景
	1. [ ] https://zhuanlan.zhihu.com/p/394608910
26. [ ] 考虑往GBuffer中添加更多数据（考虑Velocity以及SingleLayerWater）
	1. ShaderMaterialDerivedHelpers.cpp（Shader宏）、GBufferInfo.cpp（GBuffer格式）BasePassRendering.cpp（950行，SingleLayerWater写入GBuffer格式相关）
	2. 确定一下SingleLayerWater中VSMFiter与DistanceFieldShadow对渲染结果的影响，之后在文档中说明。
27. [ ] 修复SIngleLayerWater的缩略图渲染渲染错误（双击会有一瞬间的错误产生）
28. [ ] 添加对应的Stat https://zhuanlan.zhihu.com/p/716644594
29. [ ] ToonLumen、GI以及晕染效果实现。![[卡通渲染晕染效果.mp4]]
30. [ ] 在材质中实现ToonEye相关效果
	1. 【二次元人物眼睛如何变形?】 https://www.bilibili.com/video/BV14M4m1y71A/?share_source=copy_web&vd_source=fe8142e8e12816535feaeabd6f6cdc8e  
		1. 原视频 https://www.youtube.com/watch?v=euIyX9v8rvw
		2. 眼睛建模 https://youtu.be/s2_7Q2IIvNY?si=fWiYjqcLFXzdeQ-B&t=126
31. 尝试实现Forward+
	1. BasePass https://zhuanlan.zhihu.com/p/618698467
32. DX11问题修复
	1. [x] ToonOutline SceneColorTexture为空的问题。 **DX11限制，必须CopyTexture**
33. 卡通渲染针对TAA的优化思路 https://zhuanlan.zhihu.com/p/678876237
	1. https://www.bilibili.com/video/BV1BK411v7FY/?spm_id_from=333.788&vd_source=ea6df38502a795b7533aa33b78bf1159
	2. https://zhuanlan.zhihu.com/p/20786650
34. [ ] Unreal Engine 5.4 Scene Extension https://zhuanlan.zhihu.com/p/706268007
	1. [ ] 通过SceneExtension改进ToonObjectID，这样可以减少对应ToonBuffer的精度来存其他数据。
	2. [ ] https://www.bilibili.com/video/BV1fM4m1U7Tp/

TODO:
- [ ] ShadingModels.ush 完善Hair高光、自定义高光
- [ ] 实现对应后处理效果的ComputeShader版本。
	- [ ] ToonOutline
	- [ ] RimLighting？
- [ ] 尝试使用新的笔记系统 https://post.smzdm.com/p/a96l0kn5/


>修改标记方便后续删除备注//BlueRose Modify //BlueRose Modify End
>// Copyright BlueRose, Inc. All Rights Reserved.

# 渲染功能兼容的游戏
- [ ] 罪恶装备
- [ ] 原神
- [ ] 星穹铁道
- [ ] 绝区零
- [ ] 蓝色协议
- [ ] 碧蓝幻想

# 卡通渲染引擎功能总览（按照渲染顺序进行排序）
- GBuffer For ToonShaderModel
	- [[GBuffer&Material&BasePass]]
- [[ToonShaderModel]]
	- ToonStandard
	- Thickly - Coated
- 描边
	- [[描边]]
	- ![[描边#实现功能]]
- 阴影
	- 
- 边缘光
- 其他特性
	- [[Toon眼睛渲染]]
	- [[Toon眉毛渲染]]

## 待实现功能
知乎提到的渲染功能：
- 发尖勾线 https://zhuanlan.zhihu.com/p/405518306
- SDF 描边 
	- https://zhuanlan.zhihu.com/p/113190695
- 屏幕空间深度边缘光 Screen Space Depth Rimlight 
	- https://zhuanlan.zhihu.com/p/139290492
- 原神实现 
	- https://zhuanlan.zhihu.com/p/435005339
- 遮挡时的模糊网点效果 
	- https://zhuanlan.zhihu.com/p/370140711
![](https://pic4.zhimg.com/80/v2-c28b540503341f32431aa34ad2a24fa7_720w.jpg)

![](https://pic1.zhimg.com/80/v2-0703306dff26079866330cdd3a3c2cd8_720w.jpg)

按照需求优先级进行排列： 
- [ ] Anit-Lut功能
	- [ ] Anit-ToneMapping
	- [ ] 完整的Anit-Lut功能（虚拟拍摄也会用到）
- [ ] 描边改进
	- [ ] 后处理部分，使用蓝色协议的方案
	- [ ] MultiDraw BackFace部分
	- [ ] 绘制轮廓方法落地：本村线、SDF
	- [ ] 使用添加MeshDrawPass的方式实现比较完美的BackFace
- [ ] ToonData与ToonWorldSettings改进
	- [ ] 增加多个SSS 预积分贴图功能
	- [ ] 将材质以外的参数都集中到ToonWorldSettings类中，以方便调节
- [ ] 面部光影方案改进
	- [ ] 在GBuffer中添加额外面部自定义法线
	- [ ] SDF面光方案
- [ ] 角色面部Anit-Perspective 与 手指放大效果
	- [ ] 模仿VRM4U的参数
	- [ ] 参考AnimMaker 
		- [ ] https://www.patreon.com/posts/56089741
- [ ] 后处理
	- [ ] 原神 辉光效果
	- [ ] TAA抗锯齿 => Responsive AA，解决Outline模糊问题
	- [ ] 影视级Bloom实现
- [ ] 眉毛效果
	- [ ] 可以考虑使用TranslucencySortPriority来解决
	- [ ] 通过MeshDrawPass实现眉毛最前显示效果
	- [ ] 实现眉毛描边效果
- [ ] 额发效果
	- [ ] 额发阴影效果（衣服阴影效果）
	- [ ] 实现半透明额发
- [ ] 天光与间接光处理
	- [ ] 为了防止环境光把角色照出立体感，所以计算环境光时，会把法线全部看作世界空间上方向来处理。同时增加了一些参数可以进行一些定制化调整。
- [ ] 使用顶点色与第二套UV来修改一些可以实时修改的效果
- [ ] 实现PBR <=> Cel 卡通渲染效果的参数切换
- [ ] 使用Kawaii插件实现柔体效果
- [ ] 后处理边缘光落地
- [ ] SSGI 卡通渲染适配？实现AnimMaker 中的一个效果

- [ ] 丝袜 https://zhuanlan.zhihu.com/p/636157482

[[厚涂风格研究与开发笔记]]
- ShaderModel
	- 分阶着色
		- 二阶化：
		- 多阶化：
		- 自定义次表面（暗部）颜色
		- 颜色过渡（羽化）：
		- lut：待讨论
	- 高光
		- 高光贴图
		- 高光颜色
		- 参数化高光形状
		- 多层高光
	- Shader内编辑法线
		- N=_scale * L + N
- 描边
	- 外描边：后处理描边 、 Mesh挤出 2种方式，原神采用了Mesh挤出。
	- 内描边：后处理、SDF描边、本村线 3种方式
	- 使用Mesh基础、后处理、模型绘制。（后处理传递Id贴图）
- 阴影
	- 自定义阴影颜色
	- 自定义阴影范围
	- 自定义阴影形状
	- 阴影过渡（sdf阴影）
- 边缘光
	- 边缘光是否受到光照影响
	- 多层边缘光
	- 边缘光衰减（入射角度更明显 or 背光角度更明显）
- 多光源支持
- 根据相机角度调整模型（非必要）
- 眼睛
	- 反射 环境反射或者matcap支持
	- 内阴影 AO实现或者画死的内阴影
	- 瞳孔 瞳孔缩放
	- 视差和效果 凹凸效果
	- 高光 自定义高光形状&位置
	- 高光流动效果
- 头发
	- 各项异性头发
		- 高光扰动
		- 高光贴图
		- 自定义高光属性
		- 高光天使环
	- 无各项异性头发
		- 自定义高光参数
		- 高光贴图
		- 高光天使环
- 特殊效果
	- 眉毛/睫毛不受遮挡
	- 自发光
	- 阴影内素描效果
- 后处理效果
	- 后处理 辉光效果
	- 之后提到了SunFlare，应该是那个屏幕后处理效果。卡通渲染很依赖体积光，所以自然会有好的效果，假也没关系，假才是对的。谷歌搜SNN Filter    https://www.shadertoy.com/view/MlyfWd
	- 旁边的Kuwahara应该是个类似的算法，64采样。

# 动画技法
- 三维动画里的仿二维动画抽帧技法教程:https://www.bilibili.com/video/BV1154y1j7tD/?spm_id_from=333.788.recommend_more_video.8&vd_source=d47c0bb42f9c72fd7d74562185cee290