BlueRoseNote/03-UnrealEngine/Rendering/AIGC/Sibr相关笔记.md

title, date, excerpt, tags, rating

title	date	excerpt	tags	rating
未命名	2023-12-29 16:20:43			⭐

前言

• 文档:https://sibr.gitlabpages.inria.fr
• 代码:https://gitlab.inria.fr/sibr/sibr_core
  • 案例代码
    • renderer/SimpleView.hpp&renderer/SimpleView.cpp
    • renderer/SimpleRenderer.hpp&renderer/SimpleRenderer.cpp
    • Simple SIBR Project 
    • SIBR/OptiX integration example
    • Tensorflow/OpenGL Interop for SIBR
  • Shader:需要将你自己编写的Shader放入renderer/shaders文件夹中
• 关键词:
  • Structure-from-Motion (SfM)
  • Multi-View Stereo (MVS)

功能

https://sibr.gitlabpages.inria.fr/docs/0.9.6/projects.html

• Sample algorithms & toolboxes

  • Dataset Preprocessing Tools (https://gitlab.inria.fr/sibr/sibr_core)
  • Unstructured Lumigraph Rendering (ULR) (https://gitlab.inria.fr/sibr/sibr_core)

• Our algorithms

  • Exploiting Repetitions for IBR of Facades (https://gitlab.inria.fr/sibr/projects/facades-repetitions/facade_repetitions) (Exploiting Repetitions for IBR of Facades (paper reference :http://www-sop.inria.fr/reves/Basilic/2018/RBDD18/))
  • Deep Blending for Free-Viewpoint Image-Based Rendering – Scalable Inside-Out Image-Based Rendering (https://gitlab.inria.fr/sibr/projects/inside_out_deep_blending) (Deep Blending for Free-Viewpoint Image-Based Rendering, paper references: http://www-sop.inria.fr/reves/Basilic/2018/HPPFDB18/ , http://visual.cs.ucl.ac.uk/pubs/deepblending/ ; Scalable Inside-Out Image-Based Rendering, paper references: http://www-sop.inria.fr/reves/Basilic/2016/HRDB16 , http://visual.cs.ucl.ac.uk/pubs/insideout/ )
  • Multi-view relighting using a geometry-aware network (https://gitlab.inria.fr/sibr/projects/outdoor_relighting) (Multi-view Relighting Using a Geometry-Aware Network; paper reference (https://www-sop.inria.fr/reves/Basilic/2019/PGZED19/) )
  • Image-Based Rendering of Cars using Semantic Labels and Approximate Reflection Flow (https://gitlab.inria.fr/sibr/projects/semantic-reflections/semantic_reflections) (Image-Based Rendering of Cars using Semantic Labels and Approximate Reflection Flow (paper reference : http://www-sop.inria.fr/reves/Basilic/2020/RPHD20/))
  • Depth Synthesis and Local Warps for plausible image-based navigation - Bayesian approach for selective image-based rendering using superpixels (https://gitlab.inria.fr/sprakash/spixelwarp) (Depth Synthesis and Local Warps for plausible image-based navigation, paper reference: http://www-sop.inria.fr/reves/Basilic/2013/CDSD13/ ; Bayesian approach for selective image-based rendering using superpixels, paper reference: http://www-sop.inria.fr/reves/Basilic/2015/ODD15/ ))
  • Glossy Probe Reprojection for Interactive Global Illumination (https://gitlab.inria.fr/sibr/projects/glossy-probes/synthetic_ibr) (Glossy Probe Reprojection for Interactive Global Illumination (paper reference : http://www-sop.inria.fr/reves/Basilic/2020/RLPWSD20/))

• Other algorithms

  • Soft3D (https://gitlab.inria.fr/sibr/projects/soft3d) (Soft 3D Reconstruction for View Synthesis (paper reference : https://ericpenner.github.io/soft3d/))

• Integrated toolboxes

  • Core framework of FRIBR (https://gitlab.inria.fr/sibr/fribr_framework) (Core framework of FRIBR)
  • SIBR/OptiX integration example (https://gitlab.inria.fr/sibr/projects/optix) (SIBR/OptiX integration example)
  • Simple SIBR Project (https://gitlab.inria.fr/sibr/projects/simple) (A simple sample SIBR project for you to base your projects on)
  • Tensorflow/OpenGL Interop for SIBR (https://gitlab.inria.fr/sibr/tfgl_interop) (Tensorflow GL interoperability dependencies and cuda code)

• 示例算法和工具箱

  • 数据集预处理工具（https://gitlab.inria.fr/sibr/sibr_core）
  • 非结构化 Lumigraph 渲染 (ULR) ( https://gitlab.inria.fr/sibr/sibr_core )

• 我们的算法

  • Exploiting Repetitions for IBR of Facades ( https://gitlab.inria.fr/sibr/projects/facades-repetitions/facade_repetitions ) (Exploiting Repetitions for IBR of Facades (论文参考： http: //www-sop.inria.fr/里夫/巴西利克/2018/RBDD18/））
  • 用于基于自由视点图像的渲染的深度混合 – 可扩展的由内而外基于图像的渲染( https://gitlab.inria.fr/sibr/projects/inside_out_deep_blending ) （用于基于自由视点图像的渲染的深度混合，论文参考：http://www-sop.inria.fr/reves/Basilic/2018/HPPFDB18/，http : //visual.cs.ucl.ac.uk/pubs/deepblending/；可扩展的由内而外基于图像的渲染，论文参考：http://www-sop.inria.fr/reves/Basilic/2016/HRDB16，http : //visual.cs.ucl.ac.uk/pubs/insideout/）
  • 使用几何感知网络的多视图重新照明( https://gitlab.inria.fr/sibr/projects/outdoor_relighting )（使用几何感知网络的多视图重新照明；论文参考 ( https://www-sop. inria.fr/reves/Basilic/2019/PGZED19/ ) )
  • 使用语义标签和近似反射流的基于图像的汽车渲染（https://gitlab.inria.fr/sibr/projects/semantic-reflections/semantic_reflections）（使用语义标签和近似反射流的基于图像的汽车渲染（论文参考：http://www-sop.inria.fr/reves/Basilic/2020/RPHD20/））
  • 用于合理的基于图像的导航的深度合成和局部扭曲 - 使用超像素进行选择性基于图像的渲染的贝叶斯方法（https://gitlab.inria.fr/sprakash/spixelwarp）（用于合理的基于图像的导航的深度合成和局部扭曲，论文参考：http://www-sop.inria.fr/reves/Basilic/2013/CDSD13/；使用超像素进行选择性基于图像渲染的贝叶斯方法，论文参考： http: //www-sop.inria.fr/里夫/巴西利克/2015/ODD15/））
  • 用于交互式全局照明的光泽探针重投影（https://gitlab.inria.fr/sibr/projects/glossy-probes/synthetic_ibr）（用于交互式全局照明的光泽探针重投影（论文参考：http://www-sop.inria。 fr/reves/Basilic/2020/RLPWSD20/ ))

• 其他算法

  • Soft3D（https://gitlab.inria.fr/sibr/projects/soft3d）（用于视图合成的软3D重建（论文参考： https: //ericpenner.github.io/soft3d/））

• 集成工具箱

  • FRIBR核心框架（https://gitlab.inria.fr/sibr/fribr_framework）（FRIBR核心框架）
  • SIBR/OptiX 集成示例( https://gitlab.inria.fr/sibr/projects/optix )（SIBR/OptiX 集成示例）
  • 简单 SIBR 项目( https://gitlab.inria.fr/sibr/projects/simple )（一个简单的示例 SIBR 项目，供您作为项目的基础）
  • SIBR 的 Tensorflow/OpenGL 互操作（https://gitlab.inria.fr/sibr/tfgl_interop）（Tensorflow GL 互操作性依赖项和 cuda 代码）

项目结构:

• renderer/: contains your library code and configuration
• preprocess/: contains your preprocesses listed by directory, and the configuration CMake file to list them
• apps/: contains your apps listed by directory, and the configuration CMake file to list them
• documentation/: contains additional doxygen documentation

SIBR数据集创建方式

SIBR本身定义了一种数据格式

可以使用RealityCapture或者Colmap创建原生的SIBR数据集，也可以根据文档使用SFM或者MVS系统创建兼容数据集合。

• 如何从 Reality Capture 创建数据集
• 如何从 Colmap 创建数据集

官方提供的案例数据集:https://repo-sam.inria.fr/fungraph/sibr-datasets/museum_front27_ulr.zip

运行案例方式

下载编译好的版本

SIBR_ulrv2_app_rwdi.exe --path C:/Downloads/museum_front27_ulr/museum_front27/sibr_cm sibr -museum-front