BlueRose/BlueRoseNote
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
BlueRoseNote/03-UnrealEngine/Rendering/AIGC/GaussianSplattingViewer.md

7.4 KiB
Raw Blame History

title, date, excerpt, tags, rating
title date excerpt tags rating
GaussianSplattingViewer 2023-12-29 19:35:16 ⭐

前言

使用GLFW创建的程序。

main.py

主要逻辑位于main()中，大致逻辑如下：

  1. 获取前文设置的全部变量。
  2. 创建imgui用于控制变量。
  3. 创建GLFW渲染窗口windows。
  4. 调用imgui.integrations.glfw中的GlfwRenderer，并且将结果渲染到这个windows中。
  5. 获取tk(tkinter)并且赋值给root，之后调用withdraw()。应该是用于绘制选择文件窗口的。
  6. 绑定glfw的set_cursor_pos_callback、set_mouse_button_callback、set_scroll_callback、set_key_callback、set_window_size_callback事件。
  7. 创建renderer_ogl的OpenGLRenderer渲染器对象，并将其加入g_renderer_list全局渲染器列表。
  8. 创建renderer_cuda的CUDARenderer渲染器对象，如果成功，将其加入g_renderer_list全局渲染器列表。
  9. 按照之前设置的渲染器index选择用于渲染的渲染器，并赋值给g_renderer。
  10. 高斯数据处理
    1. gaussians = util_gau.naive_gaussian()，创建写死的高斯数据。
    2. update_activated_renderer_state(gaussians)
  11. 开始进入渲染循环
    1. 调用glfw、GlfwRenderer、imgui循环相关函数。
    2. 清屏。
    3. 更新摄像机Location & Intrin。
    4. imgui菜单控制逻辑。调整各种参数、打开Ply点云文件。载入逻辑位于util_gau.py的load_ply()
      1. 文件载入之后会进行一次高斯数据更新update_gaussian_data()以及排序sort_and_update()
    5. 摄像机更新。
    6. 缩放更新。
    7. 如果修改了Shading则更新渲染模式set_render_mod()
    8. 如果点击了sort Gaussians按钮，则进行一次排序sort_and_update()
    9. 如果勾选了g_auto_sort，则进行一次排序sort_and_update()
    10. 保存图片按钮逻辑。
    11. imgui、GlfwRenderer渲染函数调用；glfw更换前后缓存。

渲染器函数

renderer_ogl.py

渲染模式为："Gaussian Ball", "Billboard", "Depth", "SH:0", "SH:01", "SH:02", "SH:0~3 (default)。

_sort_gaussian

def _sort_gaussian(gaus: util_gau.GaussianData, view_mat):
    xyz = gaus.xyz
    xyz_view = view_mat[None, :3, :3] @ xyz[..., None] + view_mat[None, :3, 3, None]
    depth = xyz_view[:, 2, 0]
    index = np.argsort(depth)
    index = index.astype(np.int32).reshape(-1, 1)
    return index

__init__

  1. 载入Shader。
  2. 定义面片顶点数据。
  3. 设置属性通道为Position，并将顶点数据塞入VAO。
  4. 设置渲染属性：
    1. 禁用剔除。
    2. 开启BlendMode，gl.GL_SRC_ALPHA, gl.GL_ONE_MINUS_SRC_ALPHA。也就是线性插值。

update_gaussian_data

  1. 传入当前高斯数据。
  2. 调用下面的flat函数，赋值给gaussian_data。
  3. 传递vao、buffer_id、gaussian_data、bind_idx到Shader中。
  4. 调用 util.set_uniform_1int(self.program, gaus.sh_dim, "sh_dim")

sort_and_update：排序并且更新Shader中的数据。 draw：绘制函数。

  1. 传递VAO点云数据数组到VertexShader。
  2. 取得点云数。
  3. 绘制与点云数目一样多的面片Instance。
def flat(self) -> np.ndarray:
	ret = np.concatenate([self.xyz, self.rot, self.scale, self.opacity, self.sh], axis=-1)
	return np.ascontiguousarray(ret)

VertexShader

  1. 根据gl_InstanceID、total_dim计算当前面片Instance的点云数据开始index。
  2. 根据开始index，从g_data[]取得g_pos数据，并且转换成屏幕空间坐标。
  3. 执行early culling。将不在屏幕内的点云数据都塞到Vec4(-100, -100, -100,1)。
  4. 根据开始index，从g_data[]取得g_rot。
  5. 根据开始index，从g_data[]取得g_scale。
  6. 根据开始index，从g_data[]取得g_opacity。
  7. 调用computeCov3D() => computeCov2D()，计算协方差矩阵。
mat3 cov3d = computeCov3D(g_scale * scale_modifier, g_rot);
    vec2 wh = 2 * hfovxy_focal.xy * hfovxy_focal.z;
    vec3 cov2d = computeCov2D(g_pos_view, 
                              hfovxy_focal.z, 
                              hfovxy_focal.z, 
                              hfovxy_focal.x, 
                              hfovxy_focal.y, 
                              cov3d, 
                              view_matrix);

    // Invert covariance (EWA algorithm)
	float det = (cov2d.x * cov2d.z - cov2d.y * cov2d.y);
	if (det == 0.0f)
		gl_Position = vec4(0.f, 0.f, 0.f, 0.f);
    
    float det_inv = 1.f / det;
	conic = vec3(cov2d.z * det_inv, -cov2d.y * det_inv, cov2d.x * det_inv);
    
    vec2 quadwh_scr = vec2(3.f * sqrt(cov2d.x), 3.f * sqrt(cov2d.z));  // screen space half quad height and width
    vec2 quadwh_ndc = quadwh_scr / wh * 2;  // in ndc space
    g_pos_screen.xy = g_pos_screen.xy + position * quadwh_ndc;
    coordxy = position * quadwh_scr;
    gl_Position = g_pos_screen;
  1. alpha = g_opacity;
  2. if (render_mod == -1)则计算深度，最后输出color为1/Depth的灰度值。"Depth"渲染模式。
	// Covert SH to color
	int sh_start = start + SH_IDX;
	vec3 dir = g_pos.xyz - cam_pos;
    dir = normalize(dir);
	color = SH_C0 * get_vec3(sh_start);
	
	if (sh_dim > 3 && render_mod >= 1)  // 1 * 3
	{
		float x = dir.x;
		float y = dir.y;
		float z = dir.z;
		color = color - SH_C1 * y * get_vec3(sh_start + 1 * 3) + SH_C1 * z * get_vec3(sh_start + 2 * 3) - SH_C1 * x * get_vec3(sh_start + 3 * 3);

		if (sh_dim > 12 && render_mod >= 2)  // (1 + 3) * 3
		{
			float xx = x * x, yy = y * y, zz = z * z;
			float xy = x * y, yz = y * z, xz = x * z;
			color = color +
				SH_C2_0 * xy * get_vec3(sh_start + 4 * 3) +
				SH_C2_1 * yz * get_vec3(sh_start + 5 * 3) +
				SH_C2_2 * (2.0f * zz - xx - yy) * get_vec3(sh_start + 6 * 3) +
				SH_C2_3 * xz * get_vec3(sh_start + 7 * 3) +
				SH_C2_4 * (xx - yy) * get_vec3(sh_start + 8 * 3);

			if (sh_dim > 27 && render_mod >= 3)  // (1 + 3 + 5) * 3
			{
				color = color +
					SH_C3_0 * y * (3.0f * xx - yy) * get_vec3(sh_start + 9 * 3) +
					SH_C3_1 * xy * z * get_vec3(sh_start + 10 * 3) +
					SH_C3_2 * y * (4.0f * zz - xx - yy) * get_vec3(sh_start + 11 * 3) +
					SH_C3_3 * z * (2.0f * zz - 3.0f * xx - 3.0f * yy) * get_vec3(sh_start + 12 * 3) +
					SH_C3_4 * x * (4.0f * zz - xx - yy) * get_vec3(sh_start + 13 * 3) +
					SH_C3_5 * z * (xx - yy) * get_vec3(sh_start + 14 * 3) +
					SH_C3_6 * x * (xx - 3.0f * yy) * get_vec3(sh_start + 15 * 3);
			}
		}
	}
	color += 0.5f;

PixelShader

  1.  if (render_mod == -2)则直接显示当前颜色，并且结束渲染。"Billboard"渲染模式
  2. 计算power = -0.5f * (conic.x * coordxy.x * coordxy.x + conic.z * coordxy.y * coordxy.y) - conic.y * coordxy.x * coordxy.y;，丢弃power大于0的像素。
  3. 计算float opacity = min(0.99f, alpha * exp(power));，丢弃opacity小于1/255的像素。
  4. FragColor = vec4(color, opacity);
  5.  if (render_mod == -3)则将透明度低于0.22的像素都隐藏。"Gaussian Ball"渲染模式

"Depth", "SH:0", "SH:01", "SH:02", "SH:0~3 (default)。

renderer_cuda.py

略

相关函数

update_activated_renderer_state：更新渲染器状态。包括更新高斯数据、摄像机缩放&高斯点云排序、摄像机位移、渲染比例、渲染Mode。

def update_activated_renderer_state(gaus: util_gau.GaussianData):
    g_renderer.update_gaussian_data(gaus)
    g_renderer.sort_and_update(g_camera)
    g_renderer.set_scale_modifier(g_scale_modifier)
    g_renderer.set_render_mod(g_render_mode - 3)
    g_renderer.update_camera_pose(g_camera)
    g_renderer.update_camera_intrin(g_camera)
    g_renderer.set_render_reso(g_camera.w, g_camera.h)