拡がる点群データの活用―LiDAR搭載スキャナなどの発展・普及と多様な応用のメイン画像

拡がる点群データの活用―LiDAR搭載スキャナなどの発展・普及と多様な応用

現在では、建築、土木、製造業など社会インフラを支える重要な技術基盤になっている点群(Point cloud)という概念は、1970年代にはすでに提案されており、当時は陸上の地形を点群、すなわち座標を点とし、その点の集合で表現する方法として、主に地形測量の分野で応用されていました。
その後、1990年代からGPSの利用で点群に関する技術が進歩しはじめ、2010年に入ってから急速に発展していきます。その理由として、コンピュータの高速化とそれにともなう新しい解析手法の開発、さらに点群データを容易に取得できる機器類が普及してきたことがあげられます。

この点群に関する技術において、いま3次元点群データの応用に注目が集まっています。これまでも平面の画像データとともに立体の3次元(3D)の点群データの取得できていましたが、この3D点群の内容に対して、分類、物体検出などといった新しい解析がAIにより可能となってきたことで、幅広い活用が見込まれるようになってきたからです。

さらに、レーザースキャナのLiDAR(ライダー)の登場や、スマートフォンやタブレットにもLiDARが搭載されるようになり、3D点群データの取得が容易になってきたことも、3D点群データの活用範囲の広がりを後押ししています。

本記事では、多方面へのインフラに寄与すると期待される3D点群について、AIによる解析手法とその応用例などを紹介していきます。

1. データサイエンスにおける点群とは

1.1 点群とその特徴

点群とは、先に述べたように、座標を点としてあらわした点の集合のことをいいます。抽象的には、任意の次元空間における点の集合という概念になりますが、ここで扱うのは立体形状を表現できる3次元(3D)の空間における点の集合、すなわち3D点群です。その表現の柔軟性から、すでに多くの分野で活用されています。

実際にデータとして取得された3D点群のコップの例を図1に示します。図1において、その一部を拡大すると、3Dイメージのコップが1つ1つの点の集合体であることがわかります。

3D点群による物体(コップ)の表現例
図1 3D点群による物体(コップ)の表現例

この3D点群には、以下の重要な特徴があります。

  • データには、座標という位置情報だけでなく、色やレーザーの反射強度、属性(e.g. 温度)などの情報を付与できる
  • データは、直接センサから取得できる

図1は、位置情報に加え、色情報が各点に付与されている例になります。

1.2 3次元点群データの取得―LiDARによる3Dスキャン

図1のように、物体の3D点群を計測してデータを取得する代表的な技術として、LiDAR(Light Detection And Ranging)と呼ばれる光学計測技術があります(LiDARについては、<コラム>LiDARの仕組みと特徴を参照)。このLiDARを搭載したレーザースキャナは、ポータブルなものもあり、3D点群データを簡単に取得することができます。
こうしてLiDARの3Dスキャンで取得される3D点群データですが、この生データをそのまま利用すると、例えば、物体認識まで必要となる活用例では、認識しないという問題が起こることがあります。そういった場合、他のセンサで取得した情報を点群に付与することで対応できます。点群への情報付与は、様々な活用に対応できることが点群における表現の柔軟性であり、優れた特長といえるでしょう。

2. 3次元点群データの画期的な解析手法―AIによる解析

点群データの解析において、昨今、大きな注目を集めているのがAIによる解析で、これまでの点群データ解析にはなかった画期的手法です。
その代表的な点群AI解析技術が以下になります。

  • 分類
  • セグメンテーション
  • 物体検出

図2に、これらの技術を植物の3D点群データを対象に適用した事例を示します。このAI解析技術により、LiDARなどで計測された3D点群全体が「なに」であるのか(分類)、それが「どこ」にあるのか(セグメンテーション/物体検出)を認識することができます。

3D点群における3つの点群AI解析
図2 3D点群における3つの点群AI解析

また、3D点群データを適用する上で、その精度の向上のためにデータの前処理も重要であり、表1にその代表例を示します。AI解析の前に、これらの処理を適切に用いることは必須といえます。

表1 3D点群データの前処理技術
前処理技術実施内容
アップサンプリングデータの補間
ダウンサンプリングデータの間引き
特徴点抽出コーナーなど、物体にある形状特性の抽出
レジストレーション物体同士の位置合わせ
ノイズ除去上記内容の妨げとなるノイズの抑制

3. LiDARと3次元点群データを併せての活用事例

今後さらに多くの分野での活用が期待されるLiDARによる3D点群データの取得とデータのAI解析ですが、一部の分野ではすでに活用に向けた動きが模索されはじめています。その代表的な活用事例を、ここで3つ紹介します。

3.1 自動運転―基幹技術として実装

自動運転の市場規模は大きく、自動運転にLiDARが基幹技術として実装されると、LiDARの最も活用される領域と見込まれます。LiDARと3D点群解析に期待されているのは、自動運転における「目」の役割です。車両に搭載されたLiDARのセンサが、周囲の環境をリアルタイムに3D点群データを取得し、このデータにより道路上の障害物、歩行者、標識などを高精度に認識することが可能となれば、車両の安全な自律走行の実現に大きく近づくこととなります。一部の自動運転車メーカーでは、LiDARと3D点群解析の技術を駆使することで高精度マッピングや障害物検出を実現し、自動運転の追跡精度を向上させる取り組みが行われています。

3.2 建築・土木―BIM・GISによる状況把握の迅速化

建築や土木分野では、3D点群データを用いたBIM(Building Information Modeling)やGIS(Geographic Information System)が注目されています。
BIMは、室などの面積、部材の性能といった建築物の属性情報を併せもつ3D形状モデルを構築する手法です。LiDARにより建築現場の状況データをBIMとして取り込むことで、設計図との違いを即座に確認できるため、施工の効率化やミスの防止に貢献できるとされています。また、LiDARを搭載したドローンによる計測では、人間が入ることのできない地形や構造物を3Dスキャンし、BIMを用いることで物体を認識することが可能となるため、例えば、災害時の被害状況の詳細把握といった活用が考えられます。

GISは、地理情報を収集、管理、分析し、視覚化するシステムです。建築や土木分野では、GISを用いて現場の地理データを統合し、設計と施工の効率化を図ります。例えば、災害時には被害状況の詳細把握や避難経路の最適化に活用されます。GISは複雑な地理形状をデータとして効果的に管理し、多様な分野で意思決定支援に役立ちます。

3.3 環境モニタリングと農業―全体管理の効率化

ドローンやトラクターにLiDARを搭載し、森林や農地の3D点群データを取得することで、植生の状態や作物の生育状況をリアルタイムで把握することが可能です。これにより、農地や森林の効率的な管理や病害虫の早期検出など、スマート農業・スマート林業分野での応用が期待されています。

4. まとめ

本記事において、現在、大きな注目を集めている3D点群データと、そのAI解析技術について、包括的に解説しました。3章ではこれらを併せての活用事例について紹介しましたが、そのほかにも、医療やエンターテインメント、防犯や工場の保全用途などがあり、私たちの生活に身近な分野から産業にいたるまでの多様な分野において、その活用領域はますます拡がっていくと思われます。
今後は、3D点群データを取得技術であるLiDARとその周辺技術の進展とともに、これら技術を搭載した装置の低価格化が起こると予想されるため、点群を活用したサービスやソリューションの普及が進み、そう遠くない未来に私たちの生活にとって身近な存在になっているかもしれません。

<コラム>LiDARの仕組みと特徴

LiDARでは、センサから発したレーザー光を物体に当て、その反射光と入射光の差の情報を利用することで、物体の距離、形状、位置を計測することを可能としています(図3)。
LiDARで主に採用されている測距方式は、ToF(Time-Of-Flight)と呼ばれ、LiDARを用いたToFとして、以下の2つがあります。

  • dToF(Direct ToF):入射光と反射光の時間差を利用した測距方式
  • iToF(Indirect ToF):入射光と反射光の位相差を利用した測距方式

両者の原理の違いから、それぞれ強み・弱みがあるため、適用できる分野は両者で大きく異なっています。

dToF

強み

長距離測定が可能、野外での使用に向く(外乱に強い)

弱み

機材が高価

iToF

強み

検出部の空間分解能が高い、機材が比較的安価

弱み

長距離測定に向かない、野外での使用に向かない(外乱に弱い)

LiDARにおける測距の原理
図3 LiDARにおける測距の原理

実はLiDAR以外にも、3Dデータを取得できる光学計測技術が存在します。ここで、LiDARの特徴を理解するため、LiDARと他の光学計測技術とを比較してみました(表2)。

表2 代表的な3D光学計測技術とその特徴
 

LiDAR

ステレオカメラ

フォトグラメトリ

計測機構

レーザー光と受光素子
を使用

物体から反射した
レーザー光の情報から
3次元情報を復元

2台以上のカメラを使用

カメラ位置、焦点情報などを
組み合わせ、距離情報を復元

1台のカメラを使用

物体を様々な角度から撮影し、
情報をつなぎ合わせることで、
3次元像を作成

データ形式

3次元点群

4チャンネル画像
(RGB+深さ情報)

3次元点群

特徴

計測対象

光の吸収や乱反射が
少ない物体

透明でない物体

環境光で照らされた物体、
あるいは赤外カメラなど
特殊カメラで撮影された物体

模様など、コントラストが
存在する物体

環境光で照らされた物体、
あるいは赤外カメラなど
特殊カメラで撮影された物体

模様など、コントラストが
存在する物体

リアル
タイム性

表2より、LiDARに特徴的なのは、計測分解能と精度の高さ、および様々な外乱(例:雨や霧、環境光の強弱)に対する頑健性にあるといえます。現在、主に自動運転業界でLiDARが注目されている理由は、まさにこのポイントです。現時点での自動運転向けLiDAR搭載機器は、価格面やセキュリティ面での脆弱性に課題があるとされていますが、低コスト化とともに、脆弱性に関する研究も進んでおり、将来の伸びしろが大きく期待されています。

<コラム>3次元形状を表現するデータ形式

本記事では、3D形状を表現するデータ形式として、3D点群のみを紹介しています。このほかにも、3D形状を表現する方法は存在しています(表3)。各データ形式にはメリット/デメリットが存在するため、用途に応じた使い分けや、他のデータ形式と組み合わせて利用する場合があります。3Dデータを扱う際には、どのデータ形式を使っているのか、確認する必要があります。

表3 3D形状を表現するデータ形式
 

点群

ボクセル

メッシュ

深度画像

表現形式

点の集合として
物体を表現

立法的なグリッドで
物体を表現

頂点と面の集合で
物体を表現

カメラポジション
からの距離を記録した
2次元画像として表現

メリット

センサから直接
点群形式での
データ取得が可能

グリッドとして情報を
持つので既存の画像
アルゴリズムの処理を
転用しやすい

3D形状の詳細の
構造を表現する
ことが可能

カラー画像と深度を
組み合わせたRGB-Dの形
で色と形状を同時に扱う
形式として使用が可能

デメリット

点の密度が低いと
形状が不正確になる
可能性がある

面の情報は持たない

高解像度の場合
データ量が膨大になり、
計算に大きなリソース
が必要

メッシュ生成の
計算コストが高い

深度情報が不正確な場合、
形状の表現が曖昧になる

サンプル図

サンプル図1

サンプル図2

サンプル図3

サンプル図4

[データサイエンスの関連記事]

[AIの関連記事]