点群データとは、対象物の形状を無数の点の集まりとして記録した3次元のデータです。LiDARはその点群データを取得するための計測技術であり、両者は取得する手段と、得られる結果という関係にあります。
近年はスマートフォンにも搭載され、点群データを取得する敷居は大きく下がりました。一方で、取得したデータをそのまま分析やAIの学習に使えるわけではありません。
本記事では、LiDARの点群データについて、取得方法から前処理、AI活用までの流れを、データ基盤の構築を検討する企業のご担当者に向けて解説します。自社での活用を検討する材料としてお使いください。
LiDARは、レーザー光を対象物に照射し、反射して戻るまでの時間から距離を測る計測技術です。レーザーを縦横に走査しながら計測を繰り返すと、周囲の形状が3次元の点の集まりとして記録されます。そして、この記録された点の集まりを点群データと呼びます。
点群データの各点がもつ情報は、位置だけではありません。
| 情報 | 内容 | わかること |
|---|---|---|
| 3次元座標 | 縦、横、高さの位置 | 対象物の形状と配置 |
| 色 | 赤、緑、青の値 | 見た目に近い再現 |
| 反射強度 | 戻ってきた光の強さ | 材質や表面の違い |
| 分類 | 地表、建物、植生などのラベル | 対象物の種別 |
| 計測時刻 | 点を取得した時間 | 他のデータとの突き合わせ |
点群データの強みは、センサーから測った値をそのままの形で受け取れる点にあります。ただし点の密度が低いと形状が不正確になり、面の情報はもたない点には注意が必要です。用途に応じて、メッシュなど別の形式へ変換します。
点群データを含め、機器が計測したデータ全般の扱い方は「センサーデータとは？種類や活用例、分析に活かすための課題と進め方をわかりやすく解説」で解説しています。
LiDARで点群データを取得する方法は、機器をどこに置くかで4つに分かれます。それぞれ得られる精度と向く場面が異なるため、順に紹介します。
もっとも高い精度が必要な場面では、地上に据え置く固定型のレーザースキャナを使います。三脚などに固定して周囲を計測する方式であり、建物の内部やプラントの設備など、細かい形状を正確に残したい対象に適した方式です。
取得した点群からモデルを作った場合、誤差はおよそ±3mmに収まります。これは、配管のように複雑な形状でも、ソフトウェアの自動認識機能が正しく働く水準です。
一方で、1か所からでは死角ができるという欠点があり、対象の全体を押さえるには位置を変えて何度も計測する必要があるなど、広い範囲を扱うほど手間と時間がかかります。
出典：もっと活用!LiDARスキャナ 第6回(最終回)【iPhone/iPadで取得した点群をモデル化/TLSとの比較】｜株式会社アルモニコス
道路や市街地を広く測る場合は、車両にLiDARを載せて走行しながら計測する方法が適切です。これはモバイルマッピングシステムと呼ばれ、走りながら周囲の3次元データを取得できます。
車両の位置と姿勢を、衛星測位と慣性計測装置を組み合わせて追跡する仕組みです。衛星測位と慣性計測装置が揃って初めて、走行しながらの計測が可能となります。
上空からでは見えない建物の側面を記録できる点も、走行しながら測る方法の特徴です。一方で、車両が通れる範囲しか測れないため、航空機やドローンによる計測と組み合わせる場合もあります。
広い範囲を短時間で測るなら、ドローンや航空機にLiDARを載せる方法が向いています。人が立ち入りにくい山間部や災害現場でも、上空から地形を計測できます。
1発のレーザーが複数の面に当たると、戻ってくる反射も複数に分かれる仕組みで、複数に分かれた反射を使うと、樹木の枝葉で反射した点と、その下の地表で反射した点を分けられます。これは主に、森林の下にある地形を把握したい場合に役立つ性質です。
なお、飛行の高度や機器の仕様によって点の密度は変わります。求める細かさを先に決めてから、機体と機器を選んでください。
手軽に試したい場合は、スマートフォンや小型端末に搭載されたLiDARから始めましょう。特別な機材を用意せず、その場で点群データを取得できます。
ただし、精度は据え置き型と大きく異なる点に注意が必要です。同じ場所を計測した検証では、据え置き型の誤差が±3mmだったのに対し、スマートフォンでは±50mmの誤差が出るとも言われています。
そのため、配管などを自動で認識するなどの機能には期待できません。また、壁や床の平面を作ろうとしても、合成時のずれで斜めに傾く場合があります。位置関係の確認や、据え置き型の補足といった用途に絞って使用しましょう。
LiDARで取得した点群データは、そのままでは分析やAIの学習に使えません。ここでは点群に固有の4つの前処理を紹介します。
LiDARの点群データを取得したら、ノイズを除去しなければなりません。通りかかった人や車、ガラスや金属での乱反射で、実際に存在しない位置にも点が生まれるからです。
ノイズを残したまま形状を作ると、寸法も面の向きも狂います。壁の手前に浮いた点が1つ残るだけで、平面が傾く場合もあります。
注意したいのが、異常に見える点をすべて消すのも危険だという点です。対象物の一部の点を削除する恐れもあるので、事前に除去基準を明確に決めてから作業をおこないましょう。
次に、複数の地点から計測した点群を1つにまとめる作業が必要です。位置合わせの精度がそのまま完成した3次元データの精度につながるためです。万が一わずかなずれがあると、重ねた部分が二重の壁のように見えても、寸法計測の際に正しい値が求められません。
対策としておこなうのが「レジストレーション」という作業で、点軍を共通の座標系に揃えて重ねる作業です。この作業によって複数地点の情報が合わさって、正しい位置情報を得られます。
ただし、対象が広い広いほど、ずれが積み重なる点にも注意してください。
点の密度は、用途に合わせて調整しましょう。密度が高すぎると処理に時間がかかり、低すぎると形状が不正確になるためです。
点を間引く処理をダウンサンプリング、補う処理をアップサンプリングと呼びます。たとえば全体の配置を確認したいだけなら大きく間引いてよく、部品の形状を測るなら密度を保つなど、適度な密度を選びましょう。
色の情報や物体の見た目を使いたい場合は、カメラ画像と点群を重ね合わせます。LiDARは形状を、カメラは色や模様をとらえるため、両方を合わせると判断できる情報が増えます。
重ね合わせには、カメラと点群の位置関係を求めるキャリブレーションが必要です。キャリブレーションには市松模様の板を両方で撮影し、変換の値を推定する方法が広く使われています。
色の情報や物体の見た目が必要な場合は、点群データだけでなく画像も活用しましょう。
LiDARの点群データは、AIの学習に使うことで自動認識の精度を高められます。ここでは、活用までの3つの流れを紹介します。
AIに学習させる最初の工程が、点群データに正解のラベルを付ける3Dアノテーションです。AIは点の集まりを見ただけでは、どれが歩行者でどれが構造物かを判断できないためです。そこで正解を示したデータを大量に与えることで、はじめて対象を見分ける基準を学習します。
具体的な作業は、対象を立体的な枠で囲んだり、点の1つずつに種別を割り当てたりするという内容です。たとえば自動運転向けなら、表示されている点にそれぞれ「これは歩行者、これは車両」というように種別を当てていきます。
なお、2次元の画像に枠を描く作業と比べ、3次元では負担が大きく増えます。奥行きと向きまで決める必要があり、点が疎な遠方や他の物体に隠れた部分の判断も入るためです。専用のツールで一部を自動化できますが、自動で付けたラベルをそのまま使うのは避け、人が確認して直す工程まで見込んでおいてください。
次に取り組むのは、付けたラベルの品質をそろえる作業です。同じ対象に別々の種別を付けたり、枠の大きさが人によって変わったりすると、AIは基準を学べません。
そのため、アノテーションを始める前に、判断に迷う場面の扱いを決めておきましょう。どこまでを1つの物体とみなすか、一部しか写っていない対象を含めるかといった取り決めをしておけば、スムーズに品質を統一できます。
品質の揃った学習データが出来上がると、AIは点群から対象を自動認識できます。これによって得られるのは以下3つのデータです。
このようなデータを取得すれば、読み取ったデータをAIで活用できます。たとえば自動運転であれば、これら3つの情報を組み合わせて歩行者や車両がどこにいるか、走行できる路面はどこまでかを、点群から読み取る形です。
LiDARは、レーザー光で距離を測る計測技術であり、その結果として得られるのが点群データです。各点は座標のほかに、色や反射強度、分類や計測時刻といった情報をもちます。
取得の方法は、据え置き型、車両、ドローンや航空機、スマートフォンの4つに分かれます。手軽さと精度は反対の関係にあり、スマートフォンで取得した点群は±50mm程度の誤差が出る点に注意が必要です。
取得したデータは、そのままでは活用できません。ノイズの除去、位置合わせ、密度の調整、カメラ画像との重ね合わせを経て、はじめて分析やAIの学習に使える状態になります。自社の目的に合う取得手段と前処理を決めるところから、点群データの活用を始めていきましょう。
弊社ブライセンは、アノテーション・収集・蓄積にとどまらないデータ基盤の設計と構築を手がけています。自動車業界では、先進運転支援システムの開発に用いる走行データや3次元データの加工と、点群への正解ラベル付けを長年にわたり担ってきました。要件定義から基盤の構築、運用と改善までを一貫して支援する体制です。
点群データは取得したものの前処理が追いつかない、3Dアノテーションの品質と工数で悩んでいる、といった課題をおもちの方は、お気軽にご相談ください。
