从 2D 空间到 3D 空间,我们对于空间的认知也逐渐从想象走入现实。 上期我们了解了数字孪生中的空间重建技术,今天我们来聊聊空间重建中的关键环节——三维重建。 1、认识三维重建 三维重建技术,是通过图像预测、结构光、激光扫描测量的方法,实现大面积、高分辨率地快速获取物体表面各个点的坐标、反射率、颜色等信息,由这些大量、密集的点信息可快速复建出 1:1 的真彩色三维模型。 简单来说,三维重建算法即将现实世界中的物体或场景,转化为电脑可以理解和处理的三维模型的技术。 想象一下,你正在看一张照片,照片上有一个房子、一棵树和一条路,但是,这张照片是平面的,你只能看到它的一个面,而三维重建算法就像是一个魔法,让这张照片变得立体起来。 这个魔法是怎么实现的呢? 首先,你需要很多张照片和具体的三维数据,每张照片都从不同的角度拍摄同一个物体或场景。然后,三维重建算法会从这些照片中“学习”出这个物体的形状和结构。这就像是我们人类的眼睛和大脑,我们从不同的角度看到一个物体,就能在心里构建出一个立体的形象。 这个“学习”的过程其实是一个数学运算,通过大量的计算和比较,找出物体在三维空间中的准确位置和形状。这个过程需要大量的计算机资源和时间,所以三维重建算法通常需要高性能的计算机和专业的软件。 *后,当三维重建算法完成了“学习”,它就可以生成一个真实的三维模型。这个模型可以在电脑上显示,也可以被打印出来,成为我们触摸到的实体。 2、理解三维重建 从类别上来看,目前三维重建算法又可以细分为表面重建算法、体积重建算法、点云重建算法、多视角重建算法四种; 从重建对象上来看,现实物理世界中的人、物、空间都可以是被重建的对象; 从采集方式上来看,可分为机械式、地面移动式、地面架站式、手持移动式四种; 从采集模组上来看,可以分为图像传感器、激光、结构光三种; 采集后的数据一般是图片数据和点云数据; 从测量方式上来看,可分为以相机拍摄为主的被动视觉测量、以结构光和激光为主的主动视觉测量以及基于深度学习算法为主的测量方式。 被动视觉测量指的是不需要特殊的照明投射装置,仅利用相机拍摄被测物的图像,建立被测物与相机之间的相对位置关系,从而获取被测物表面的三维信息。
主动视觉测量指的则是需要向被测物体投射光源( 点、条纹、图案和散斑等) ,相机拍摄包含光源的反射光或透射光的被测物体表面图像,利用成像几何关系所建立的数学模型解算出被测物体三维结构信息。
基于深度学习算法的测量方法指的是直接利用深度学习算法进行三维重建,即基于海量数据的深度学习方法,实现从二维图像数据预测出三维点云数据。
综上,根据不同的采集方式和测量方式,三维重建就可以分为以下三种类型: 1、基于被动视觉的三维重建,即仅使用二维图像,根据图像的纹理分布等信息恢复深度信息,进而实现三维重建。 2、基于主动视觉的结构光三维重建和激光三维重建,利用投影仪将光栅投影到物体表面,通过相机拍摄光栅在物体表面的变形,从而获取物体的三维信息。 3、基于深度学习的三维重建:利用深度学习算法对二维图像进行处理,从中提取出三维结构信息,进而重建出物体的三维模型。 那么,三维重建究竟要如何实现呢? 3、成为三维重建的实践者 北剑锋科技作为在三维重建领域的佼佼者,对三维重建有着自己的思考和探索。 其一,在算法层面,北剑锋科技依托深厚的计算机视觉和深度学习的算法积累对三维重建算法进行持续优化,通过改进模型结构、优化计算过程、减少参数量等方式,在保证准确性的同时具备更好的实时性能和更低的计算资源消耗。 其二,在实际应用场景方面,从数据采集、处理到三维模型生成,实现全流程自动化。自主研发的数据采集设备及处理软件可对各类数据进行高效处理,保证数据的准确性和完整性。 那么,北剑锋科技的三维重建分几步? 首先是数据采集,通过 3D 扫描相机/3D 激光扫描仪/AI 三维相机等设备,通过测量物体表面点到激光束或结构光的光束,采集物体的深度结构信息。 其次,点云生成。将采集的数据通过高效的点云生成算法,将深度数据转换为三维点云数据,包括每个点的 X、Y、Z 坐标和反射率等信息。 第三,位姿计算。基于图像的的位姿估计算法,通过比对不同视角的图像,计算相机的位置和姿态,得到精确的三维模型。 第四,点云融合。通过北剑锋科技的点云融合算法,将多个点云数据对齐、配准和融合,得到一个完整的三维模型。 第五,为三维模型上色,即纹理映射,基于图像的纹理贴图算法,将高分辨率的纹理图像映射到三维模型的表面,提高模型的细节和逼真度。 *后一步,将三维模型以可视化方式呈现给用户,通过云端渲染算法,将三维模型呈现到电脑或手机屏幕上,以便用户进行观察和分析。 在此基础上,北剑锋科技还自研了一体化的云服务 SaaS 平台,通过 SaaS 平台开放能力完成个性化交互设计与集成,满足用户对模型的个性化设计需求。 截止目前,北剑锋科技的服务已覆盖全国超过 30 个省和自治区,为各地政府机构和数千家知名公司提供空间数字化服务,完成数百万套空间数字化的克隆重建,积累超过 5 亿平方米的三维数字空间数据。 下期,我们将围绕数字孪生与 AI 的实际应用展开。