---
title: GaussianSplattingViewer
date: 2023-12-29 19:35:16
excerpt: 
tags: 
rating: ⭐
---

# 前言
使用GLFW创建的程序。

# main.py
主要逻辑位于main()中，大致逻辑如下：
1. 获取前文设置的全部变量。
2. 创建imgui用于控制变量。
3. 创建GLFW渲染窗口**windows**。
4. 调用**imgui.integrations.glfw**中的**GlfwRenderer**，并且将结果渲染到这个**windows**中。
5. 获取tk(tkinter)并且赋值给root，之后调用withdraw()。应该是用于绘制选择文件窗口的。
6. 绑定glfw的set_cursor_pos_callback、set_mouse_button_callback、set_scroll_callback、set_key_callback、set_window_size_callback事件。
7. 创建**renderer_ogl**的**OpenGLRenderer**渲染器对象，并将其加入g_renderer_list全局渲染器列表。
8. 创建**renderer_cuda**的**CUDARenderer**渲染器对象，如果成功，将其加入g_renderer_list全局渲染器列表。
9. 按照之前设置的渲染器index选择用于渲染的渲染器，并赋值给**g_renderer**。
10. 高斯数据处理
	1. gaussians = util_gau.naive_gaussian()，创建写死的高斯数据。
	2. update_activated_renderer_state(gaussians)
11. 开始进入渲染循环
	1. 调用glfw、GlfwRenderer、imgui循环相关函数。
	2. 清屏。
	3. 更新摄像机Location & Intrin。
	4. imgui菜单控制逻辑。调整各种参数、打开Ply点云文件。**载入逻辑位于util_gau.py的load_ply()**
		1. 文件载入之后会进行一次高斯数据更新update_gaussian_data()以及排序sort_and_update()
	5. 摄像机更新。
	6. 缩放更新。
	7. 如果修改了Shading则更新渲染模式set_render_mod()
	8. 如果点击了sort Gaussians按钮，则进行一次排序sort_and_update()
	9. 如果勾选了g_auto_sort，则进行一次排序sort_and_update()
	10. 保存图片按钮逻辑。
	11. imgui、GlfwRenderer渲染函数调用；glfw更换前后缓存。 

## 渲染器函数
### renderer_ogl.py
> 渲染模式为："Gaussian Ball", "Billboard", "Depth", "SH:0", "SH:0~1", "SH:0~2", "SH:0~3 (default)。

`_sort_gaussian`
```python
def _sort_gaussian(gaus: util_gau.GaussianData, view_mat):
    xyz = gaus.xyz
    xyz_view = view_mat[None, :3, :3] @ xyz[..., None] + view_mat[None, :3, 3, None]
    depth = xyz_view[:, 2, 0]
    index = np.argsort(depth)
    index = index.astype(np.int32).reshape(-1, 1)
    return index
```

`__init__`
1. 载入Shader。
2. 定义面片顶点数据。
3. 设置属性通道为Position，并将顶点数据塞入VAO。
4. 设置渲染属性：
	1. 禁用剔除。
	2. 开启BlendMode，gl.GL_SRC_ALPHA, gl.GL_ONE_MINUS_SRC_ALPHA。也就是线性插值。

`update_gaussian_data`
1. 传入当前高斯数据。
2. 调用下面的flat函数，赋值给gaussian_data。
3. 传递vao、buffer_id、gaussian_data、bind_idx到Shader中。
4. 调用 `util.set_uniform_1int(self.program, gaus.sh_dim, "sh_dim")`

`sort_and_update`：排序并且更新Shader中的数据。
`draw`：绘制函数。
1. 传递VAO点云数据数组到VertexShader。
2. 取得点云数。
3. 绘制与点云数目一样多的面片Instance。 

```python
def flat(self) -> np.ndarray:
	ret = np.concatenate([self.xyz, self.rot, self.scale, self.opacity, self.sh], axis=-1)
	return np.ascontiguousarray(ret)
```

#### VertexShader
1. 根据gl_InstanceID、total_dim计算当前面片Instance的点云数据开始index。
2. 根据开始index，从g_data[]取得g_pos数据，并且转换成屏幕空间坐标。
3. 执行early culling。将不在屏幕内的点云数据都塞到Vec4(-100, -100, -100,1)。
4. 根据开始index，从g_data[]取得g_rot。
5. 根据开始index，从g_data[]取得g_scale。
6. 根据开始index，从g_data[]取得g_opacity。
7. 调用computeCov3D() => computeCov2D()，计算协方差矩阵。
```c++
mat3 cov3d = computeCov3D(g_scale * scale_modifier, g_rot);
    vec2 wh = 2 * hfovxy_focal.xy * hfovxy_focal.z;
    vec3 cov2d = computeCov2D(g_pos_view, 
                              hfovxy_focal.z, 
                              hfovxy_focal.z, 
                              hfovxy_focal.x, 
                              hfovxy_focal.y, 
                              cov3d, 
                              view_matrix);

    // Invert covariance (EWA algorithm)
	float det = (cov2d.x * cov2d.z - cov2d.y * cov2d.y);
	if (det == 0.0f)
		gl_Position = vec4(0.f, 0.f, 0.f, 0.f);
    
    float det_inv = 1.f / det;
	conic = vec3(cov2d.z * det_inv, -cov2d.y * det_inv, cov2d.x * det_inv);
    
    vec2 quadwh_scr = vec2(3.f * sqrt(cov2d.x), 3.f * sqrt(cov2d.z));  // screen space half quad height and width
    vec2 quadwh_ndc = quadwh_scr / wh * 2;  // in ndc space
    g_pos_screen.xy = g_pos_screen.xy + position * quadwh_ndc;
    coordxy = position * quadwh_scr;
    gl_Position = g_pos_screen;
```
8. alpha = g_opacity;
9. if (render_mod == -1)则计算深度，最后输出color为1/Depth的灰度值。"Depth"渲染模式。
```c++
	// Covert SH to color
	int sh_start = start + SH_IDX;
	vec3 dir = g_pos.xyz - cam_pos;
    dir = normalize(dir);
	color = SH_C0 * get_vec3(sh_start);
	
	if (sh_dim > 3 && render_mod >= 1)  // 1 * 3
	{
		float x = dir.x;
		float y = dir.y;
		float z = dir.z;
		color = color - SH_C1 * y * get_vec3(sh_start + 1 * 3) + SH_C1 * z * get_vec3(sh_start + 2 * 3) - SH_C1 * x * get_vec3(sh_start + 3 * 3);

		if (sh_dim > 12 && render_mod >= 2)  // (1 + 3) * 3
		{
			float xx = x * x, yy = y * y, zz = z * z;
			float xy = x * y, yz = y * z, xz = x * z;
			color = color +
				SH_C2_0 * xy * get_vec3(sh_start + 4 * 3) +
				SH_C2_1 * yz * get_vec3(sh_start + 5 * 3) +
				SH_C2_2 * (2.0f * zz - xx - yy) * get_vec3(sh_start + 6 * 3) +
				SH_C2_3 * xz * get_vec3(sh_start + 7 * 3) +
				SH_C2_4 * (xx - yy) * get_vec3(sh_start + 8 * 3);

			if (sh_dim > 27 && render_mod >= 3)  // (1 + 3 + 5) * 3
			{
				color = color +
					SH_C3_0 * y * (3.0f * xx - yy) * get_vec3(sh_start + 9 * 3) +
					SH_C3_1 * xy * z * get_vec3(sh_start + 10 * 3) +
					SH_C3_2 * y * (4.0f * zz - xx - yy) * get_vec3(sh_start + 11 * 3) +
					SH_C3_3 * z * (2.0f * zz - 3.0f * xx - 3.0f * yy) * get_vec3(sh_start + 12 * 3) +
					SH_C3_4 * x * (4.0f * zz - xx - yy) * get_vec3(sh_start + 13 * 3) +
					SH_C3_5 * z * (xx - yy) * get_vec3(sh_start + 14 * 3) +
					SH_C3_6 * x * (xx - 3.0f * yy) * get_vec3(sh_start + 15 * 3);
			}
		}
	}
	color += 0.5f;
```

#### PixelShader
1.  if (render_mod == -2)则直接显示当前颜色，并且结束渲染。"Billboard"渲染模式
2. 计算`power = -0.5f * (conic.x * coordxy.x * coordxy.x + conic.z * coordxy.y * coordxy.y) - conic.y * coordxy.x * coordxy.y;`，丢弃power大于0的像素。
3. 计算float opacity = `min(0.99f, alpha * exp(power))`;，丢弃opacity小于1/255的像素。
4. FragColor = vec4(color, opacity);
5.  if (render_mod == -3)则将透明度低于0.22的像素都隐藏。"Gaussian Ball"渲染模式

"Depth", "SH:0", "SH:0~1", "SH:0~2", "SH:0~3 (default)。

### renderer_cuda.py
略

## 相关函数
**update_activated_renderer_state**：更新渲染器状态。包括更新**高斯数据**、**摄像机缩放&高斯点云排序**、摄像机位移、渲染比例、渲染Mode。
```python
def update_activated_renderer_state(gaus: util_gau.GaussianData):
    g_renderer.update_gaussian_data(gaus)
    g_renderer.sort_and_update(g_camera)
    g_renderer.set_scale_modifier(g_scale_modifier)
    g_renderer.set_render_mod(g_render_mode - 3)
    g_renderer.update_camera_pose(g_camera)
    g_renderer.update_camera_intrin(g_camera)
    g_renderer.set_render_reso(g_camera.w, g_camera.h)
```