不断扩大的点云数据用途―配备LiDAR的扫描仪等的发展、普及及多样化应用的主要图片

不断扩大的点云数据用途―配备LiDAR的扫描仪等的发展、普及及多样化应用

目前,点云(Point cloud)的概念已成为支持建筑、土木工程和制造业等社会基础设施的重要技术基础。点云的概念早在20世纪70年代就被提出,当时将陆地地形作为点云,即将坐标作为点,并将其作为通过点的集合表示的方法,主要应用于地形测量领域。
之后,从20世纪90年代开始,与点云相关的技术随着GPS的使用而开始进步,并从2010年开始急速发展。其原因有计算机的高速化以及随之而来的新解析方法开发,再加上可方便地获取点云数据的设备类逐步普及。

在与点云相关的技术中,人们目前对三维点云数据的应用非常关注。这是因为人们迄今为止除了平面图像数据外,还获取了三维(3D)点云数据,现在通过AI可以对这些3D点云的内容进行新的分析,例如对其进行分类和物体检测等,因此预计三维点云数据将得到更加普遍的应用。

此外,随着激光扫描仪LiDAR(雷达)的出现,以及智能手机和平板电脑上也配备了LiDAR,获取3D点云数据变得更加容易,这也进一步扩大了3D点云数据的应用范围。

本文将就有望为诸多方面的基础设施做出贡献的3D点云,对基于AI的3D点云解析方法及其应用事例等进行介绍。

1. 什么是数据科学中的点云?

1.1 点云及其特征

如前所述,点云是一群表示坐标的点的集合。从抽象的角度来看,它是任意维空间中的点的集合,但在这里使用的是能表示三维形状的三维(3D)空间中的点的集合,即3D点云。其表式方式的灵活性好,因此已在许多领域得到应用。

图1显示了作为实际数据获取3D点云杯子的事例。如果将图1中的一部分放大,就会发现3D图像的杯子是一个一个的点组成的集合体。

通过3D点云表示物体(杯子)的示例
图1 通过3D点云表示物体(杯子)的示例

这个3D点云有以下几个重要特征。

  • 数据中不仅有位置信息即坐标,还可以付与颜色、激光反射强度、属性(如温度)等信息。
  • 数据可直接从传感器获取。

图1是除了位置信息外,还向每个点付与了颜色信息的事例。

1.2 获取三维点云数据―通过LiDAR进行3D扫描

如图1所示,被称为LiDAR(Light Detection And Ranging)的光学测量技术是测量物体的3D点云并获取数据的代表性技术(关于LiDAR,请参照<专栏>LiDAR的原理与特征)。配备了这种LiDAR的激光扫描仪也有便携式的,可以方便地获取3D点云数据。
如果将这样通过LiDAR 3D扫描获取的3D点云数据原封不动地使用,则可能会导致问题,例如在需要识别物体的应用事例中无法识别物体。在这种情况下,可以通过将其他传感器获得的信息付与点云来解决问题。向点云付与信息能够为多种多样的应用解决问题,因此点云灵活的表示方式可谓是其出众的特长。

2. 三维点云数据的变革性解析方法―基于AI的解析

在点云数据解析中,基于AI的解析近来受到了很大的关注,它是一种迄今为止未曾有过的点云数据解析突破性方法。
其代表性点云AI解析技术如下所示。

  • 分类
  • 分割
  • 物体检测

图2显示了将这些技术应用于植物3D点云数据的事例。通过这种AI解析技术,可以识别由LiDAR等测量的整个3D点云是“什么”(分类)、以及它在“哪里”(分割/物体检测)。

3D点云中的3种点云AI解析
图2 3D点云中的3种点云AI解析

此外,在适用3D点云数据时,数据预处理对于提高数据精度也很重要。表1显示了一些代表性的例子。可以说,在进行AI解析之前需要适当地使用这些处理。

表1 3D点云数据预处理技术
预处理技术实施内容
上采样数据插补
下采样数据抽稀
特征提取提取角点等物体的形状特征
配准物体相互对齐
消除噪声遏制对上述内容造成干扰的噪声

3. 结合使用LiDAR与三维点云数据的事例

LiDAR有望今后在更多的领域得到应用,通过它获取3D点云数据并对数据进行AI解析在部分领域已经开始尝试使用。在此对其中的3个代表性应用事例进行介绍。

3.1 无人驾驶―作为核心技术使用

无人驾驶的市场规模很大,如果将LiDAR作为无人驾驶的核心技术使用,预计这将是LiDAR应用得非常普遍的领域。LiDAR和3D点云解析有望在无人驾驶中发挥“眼睛”的作用。如果配备在车辆上的LiDAR传感器能够实时获取周围环境的3D点云数据,并利用这些数据高精度地识别道路上的障碍物、行人、标识等,将使我们向实现车辆的安全自动行驶前进一大步。部分无人驾驶汽车制造商已经在致力于利用LiDAR和3D点云解析技术实现高精度测绘和障碍物检测,并提高无人驾驶汽车的跟踪精度。

3.2 建筑和土木工程―通过BIM和GIS迅速掌握情况

在建筑和土木工程领域,利用3D点云数据的BIM(Building Information Modeling)和GIS(Geographic Information System)备受关注。
BIM是一种构建包含建筑物属性信息(如房间等的面积、部材的性能等)的3D几何模型的方法。通过使用LiDAR将施工现场的情况数据作为BIM获取,可以立即识别与设计图之间的差异,因此有助于提高施工效率并预防错误。此外,在使用配备了LiDAR的无人机进行的测量中,可以对人类无法进入的地形和结构进行3D扫描,通过使用BIM可以识别物体,例如,可以用于掌握发生自然灾害时的受灾情况的详细信息。

GIS是一种用于收集、管理、分析和可视化地理信息的系统。在建筑和土木工程领域,使用GIS整合现场的地理数据,以提高设计和施工的效率。例如,在发生自然灾害时,可以用来掌握受灾情况的详细信息,优化疏散路线。GIS可以将复杂的地理形状作为数据有效地进行管理,并为多个领域的决策支持提供帮助。

3.3 环境监测与农业―提高整体管理效率

通过在无人机或拖拉机上配备LiDAR,获取森林、农田的3D点云数据,可以实时掌握植被和农作物的生长状况。有望由此实现其在智能农业和智能林业中的应用,例如农田和森林的有效管理以及病虫害的早期检测等。

4. 总结

在本文中,我们就目前备受关注的3D点云数据及其AI解析技术进行了概要性解说。在第3章中,我们介绍了对它们进行综合使用的事例,除此之外,它还能用于医疗、娱乐、预防犯罪和工厂维护等用途,预计其应用范围将继续扩展到从我们的日常生活相关领域到工业等多种领域。
今后,随着获取3D点云数据的技术LiDAR及其周边技术的进步,配备这些技术的装置的价格有望下降,因此,利用点云的服务和解决方案将进一步普及,有可能在不久的将来,它就会成为与我们的生活直接相关的一部分。

<专栏>LiDAR的原理与特征

LiDAR能将传感器发出的激光束照射到物体上,并利用反射光和入射光之间的差异信息来测量物体的距离、形状和位置(图3)。
在LiDAR中采用的主要测距方式叫ToF(Time-Of-Flight),使用LiDAR的ToF有2种:

  • dToF(Direct ToF):利用入射光与反射光的时间差进行距离测量的方式
  • iToF(Indirect ToF):利用入射光与反射光之间的相位差进行距离测量的方式

由于两者的原理不同,它们各有优缺点,因此,两者可应用的领域也有很大差异。

dToF

优点

可进行长距离测量,适合户外使用(抗外界干扰能力强)

缺点

设备和材料昂贵

iToF

优点

检测部分的空间分辨率高,设备和材料相对便宜

缺点

不适合长距离测量,不适合户外使用(易受外界干扰)

LiDAR中的测距原理
图3 LiDAR中的测距原理

事实上,除了LiDAR之外,还有其他光学测量技术可以获取3D数据。在此,为了理解LiDAR的特性,我们将LiDAR与其他光学测量技术进行了比较(表2)。

表2 代表性3D光学测量技术及其特征
 

LiDAR

立体摄像头

摄影测量

测量机构

使用激光和
受光元件

从物体反射的
激光信息复原
三维信息

使用2台或更多的摄像头

组合摄像头位置、焦点信息等,
以复原距离信息

使用1台摄像头

从多个角度拍摄物体,
并通过将信息组合来
创建三维图像

数据格式

三维点云

4通道图像
(RGB+深度信息)

三维点云

特征

测量对象

光吸收和漫反射
较少的物体

非透明物体

环境光照亮的物体,
或者用红外摄像头等
特别摄像头拍摄的物体

图案等有对比度的
物体

环境光照亮的物体,
或者用红外摄像头等
特别摄像头拍摄的物体

图案等有对比度的
物体

实时性

从表2中我们可以看出,可以说LiDAR具有的特征是:测量分辨率和精度高,以及对多种多样的外部干扰(例如:雨、雾和环境光的强弱)的鲁棒性。这正是为什么LiDAR目前主要在无人驾驶行业备受关注的关键原因。目前,面向无人驾驶且配备了LiDAR的设备据称存在价格和安全漏洞等方面的问题,但随着成本下降和与漏洞相关的研究的进一步深入,未来有望获得很大发展。

<专栏>表示三维形状的数据格式

在本文中,作为表示3D形状的数据格式,我们仅介绍了3D点云。除此之外,还有其他表示3D形状的方法(表3)。每种数据格式都有其优点和缺点,因此有时会根据用途分别使用,或与其他数据格式组合使用。使用3D数据时,需要确认使用的是哪种数据格式。

表3 表示3D形状的数据格式
 

点云

三维像素

网格

深度图像

表示格式

将物体作为点的
集合表示

用立方网格
表示物体

用顶点和面的集合
表示物体

作为记录了离开
摄像头位置的距离的
二维图像进行表示

优点

可以从传感器直接
以点云格式
获取数据

带有网格信息,因此易于借用
已有的图像算法处理

可以表示
3D形状的
详细结构

结合了彩色图像和深度的
RGB-D形式,
可以作为同时处理
颜色和形状的格式使用

缺点

如果点的密度较低,
则形状可能会变得
不准确

没有面的信息

如果是高分辨率,
则数据量非常大,
计算需要大量资源

网格生成
计算成本高昂

如果深度信息不准确,
形状的表示会变得模糊

示例图

示例图1

示例图2

示例图3

示例图4