DUSt3R

DUSt3R是由法国纳威尔实验室（Naver Labs Europe）的研究者们开发的，它是一款基于深度学习的3D重建工具，它的特点是可以处理任意的图像集合，无论是单张、两张还是多张，无论是同一视角还是不同视角，无论是有相机参数还是没有相机参数，都可以在短短几秒钟内，生成场景的三维模型，而且还可以同时输出深度信息、像素匹配、相对和绝对相机姿态等多种任务的结果。 DUSt3R的原理是使用了一种新颖的点图回归方法，以及基于Transformer的编码器和解码器，来学习从像素到三维空间的映射。点图回归方法是指将每个像素的三维坐标作为回归目标，而不是像传统的MVS方法那样，将深度值作为回归目标。这使得DUSt3R能够更准确地从图像中恢复出三维信息。 https://img.pidoutv.com/wp-content/uploads/2024/03/0b2ermacsaaaxuagochhhjsvbc6dfgfqakia.f10002.mp4 此外，DUSt3R还能够处理两张没有任何重叠内容的图像，仍然准确地完成3D视图的重建，展现出其强大的功能和适用性。它在多项任务上取得了SOTA的成绩，包括绝对姿态估计、多视图姿态回归、单目深度估计和多视图深度估计。 DUSt3R的出现为3D重建任务提供了一种简单而高效的解决方案，让用户可以更轻松地完成相关工作。无论是在室内还是室外场景，都能得到准确且完整的效果。因此，DUSt3R在计算机视觉、计算机图形学、医学影像处理、建筑和文物保护等领域都有广泛的应用前景。 DUSt3R – 2秒钟用图片生成3D模型实测视频展示： https://img.pidoutv.com/wp-content/uploads/2024/03/1461355985-1-16.mp4