BlueRoseNote/03-UnrealEngine/Rendering/AIGC/GaussianViewer.md

---
title: Untitled
date: 2024-01-01 18:57:57
excerpt: 
tags: 
rating: ⭐
---
# 前言
- https://github.com/graphdeco-inria/gaussian-splatting/tree/main/gaussian_renderer
基于Sibr渲染器制作的3D高斯查看器。

# 项目结构
- [x] gaussian
	- render - sibr_gaussian 
	- apps - SIBR_gaussianViewer_app
- [ ]  diff-gaussian-rasterization(CUDA)
#  render - sibr_gaussian
- picojson：JSON库
- rapidxml：XML库
- **nanoflann**：是一个c++11标准库，用于构建具有不同拓扑（R2，R3（点云），SO(2)和SO(3)（2D和3D旋转组））的KD树。

## GaussianSurfaceRenderer
### GaussianData
- GaussianData()：通过构造函数形参接受CPU端读取的高斯数据，再通过调用glCreateBuffers()、glNamedBufferStorage()创建GL缓存对象并且初始化，并使用GLuint进行记录（index）。
- render：给Shader绑定GL缓存，并且绘制数组实例。

### GaussianSurfaceRenderer
- GaussianSurfaceRenderer()：初始化相关变量。
	- 初始化VS/Frag Shader。
	- rayOrigin、MVP、alpha_limit、stage变量
	- 创建idTexture、colorTexture贴图变量以及过滤器
	- 创建fbo对象以及depthBuffer之后调用makeFBO()正式创建FBO
	- 创建清屏Shader。
- makeFBX()：创建idTexture、colorTexture、depthBuffer FBO，用于将顶点数据传递到FragShader中。
- process()：整个渲染过程逻辑处理。
	1. 清屏。
	2. 判断如果分辨率与FBO大小不同，则重新创建FBO。
	3. 获取绘制Buffer的Index，调用glDrawBuffers() 绘制colorTexture、idTexture。
	4. 开启深度测试关闭Blend模式。
	5. 给Shader绑定相关`_paramMVP`、`_paramCamPos`、`_paramLimit`、`_paramStage`变量，并且调用GaussianData.render()进行一次**不透明物体**的渲染。以小方盒的形式绘制点云数据。
	6. 调用glDrawBuffers() 绘制colorTexture。
	7. 关闭深度测试，开启透明Blend模式。
	8. GaussianData.render()进行一次**透明物体**的渲染，融合模式**additive blendnig**。以小方盒的形式绘制点云数据。
	9. 开启深度测试，关闭Blend模式。
	10. 将结果显示在屏幕上？

## GaussianView
继承自sibr::ViewBase，用与调用渲染器以及显示结果。

### GaussianView
- GaussianView()：
	- 初始化_pointbasedrenderer渲染器
	- 初始化_copyRenderer渲染器
	- 载入图片并且加入debug模式（应该sibr自带的那个多视角图片debug模式）
	- 载入*.ply点云文件，函数为loadPly()。
	- CUDA相关处理，应该是为了计算3D高斯结果所需的数据。
	- 生成GaussianData指针变量gData。
	- 初始化3D高斯渲染器对象_gaussianRenderer。
	- 创建GL缓存对象imageBuffer。
	- CUDA插值操作。
	- 绑定3个geomBufferFunc、binningBufferFunc、imgBufferFunc仿函数。
- onRenderIBR()：View的渲染函数。
	- Ellipsoids（椭圆体渲染）：使用_gaussianRenderer->process() 进行渲染。(OpenGL)
	- Initial Points：`_pointbasedrenderer->process()`渲染点。
	- Splats：使用CudaRasterizer::Rasterizer::forward()进行渲染。最后通过_copyRenderer->process()复制回imageBuffer缓存。
- onGUI()：GUI相关逻辑。

CUDA文件位于`SIBR_viewers\extlibs\CudaRasterizer\CudaRasterizer\cuda_rasterizer\rasterizer_impl.cu`以及`forward.cu`，这些为核心逻辑。
## Shader
可以理解为将点云渲染成一个个的椭圆体，每个椭圆体的颜色与点云数据中的颜色相关。
### VertexShader
1. 取得IndexID。
2. 使用IndexID从传入Shader的Buffer中获取的椭圆体中心、alpha、ellipsoidScale、q（四元数rotation），之后将rotation转成3x3矩阵 ellipsoidRotation。
3. 取得当前顶点Index并获得坐标。再乘以椭圆体旋转值并加上椭圆体中心坐标，取得最终的WorldPos（当前顶点的世界坐标）。
4. 使用IndexID从传入Shader的Buffer中取得**辐射照度?辐射强度?** 数据。
5. 将不符合要求的顶点堆到vec4(0,0,0,0)点。
6. 输出顶点数据到FragShader。
### FragShader
1. 计算摄像机=>当前顶点世界坐标的方向向量dir。
2. 调用closestEllipsoidIntersection()，计算与椭圆体的相交的坐标与相交点的法线。
	1. 计算椭圆体空间的localRayOrigin与localRayDirection
	2. 计算椭圆与直线相交的方程。
3. 计算摄像机朝向的椭圆体的外表面。如果是内表面最终颜色值 * 0.4。
4. 将相交的世界坐标乘以MVP矩阵，得到摄像机View坐标下的的世界坐标。
5. 计算深度缓存。
6. 计算Alpha。
7. 渲染`out_color = vec4(align * colorVert, a);` 也就是colorTexture
8. 渲染`out_id = boxID;`也就是idTexture
# apps - SIBR_gaussianViewer_app
调用`gaussianviewer/renderer/GaussianView.hpp`封装的App。