SUBARU（スバル）の運転支援技術「アイサイト」。ステレオカメラで障害物を認識し、車両を制御することで衝突時の被害を軽減できる。自動車メーカーでは珍しく画像処理ロジックを内製するスバルは、2020年代後半にAI（ディープラーニング、深層学習）技術を採用し、さらに性能を高める考えだ。ステレオカメラにディープラーニングを適用すると何ができるのか。AI開発拠点SUBARU Lab副所長の齋藤徹氏が解説する。（日経クロステック）
カメラやミリ波レーダーなどを利用した運転支援機能が多く商品化されています。SUBARUでは1999年に「レガシィランカスター」に採用した「ADA（アクティブ・ドライビング・アシスト）」が最初の商品で、「車間距離警報」「車線逸脱警報」「車間距離制御クルーズコントロール」「カーブ警報／制御」という4つの機能を搭載しました（図1）。2020年に発売した「レヴォーグ」や「アウトバック」では、高速道路のレーンチェンジ支援など多くの新機能をアイサイトに追加しています（図2）。
カメラを使った自動車機能の進化の歴史は、画像処理の進化の歴史ともいえます。00年ごろは画像センサー部の解像度が低く、モノクロのVGA（約30万画素）が一般的でした。最近はメガピクセル（100万画素）級が主流となり、カラー化も進み、多くの物体を検出できるカメラへと進化してきました。
SUBARUの最新のアイサイトでは、約230万画素のRGGB撮像素子を使っています。最近ではディープラーニングを使った技術開発が主流となり、複雑な画像認識ができるようになってきました。
SUBARUにおけるカメラの研究開発の歴史は長く、1989年から30年以上続いています（図3）。画像処理のロジックを内製しており、SUBARUのエンジニアがプログラムのソースコードを書いています。画像処理とクルマを一体となって開発しているのがSUBARUの特徴であり、エンジニアが世界中の道路で直面した珍しい場面などを自身で感じながら適合や改良を加えてノウハウを蓄積してきました。
本稿ではノウハウの蓄積であるアイサイトの画像処理ソフトウエアがどのように構成されているのか、将来どんな進化を目指しているのかを解説します。
最初の認識は物体にあらず
アイサイトの画像処理は、ステレオカメラを用いることが特徴です。ステレオカメラとは、2つのカメラに映る物体の位置の違い（視差）から距離を測定できるもの。三角測量の基本的な原理に基づき、非常にシンプルな仕組みで測距できます。
単眼カメラを用いた物体認識では一般に、クルマや人といった検出したい対象を探すアルゴリズムを構築します。一方でSUBARUのステレオカメラの場合、最初は物体ではなく路面を探します（図4）。
ステレオカメラでは単眼カメラと異なり障害物までの距離情報を含んだ点群データが得られます。つまり最初に路面などの走行可能領域を3次元的に認識しておけば、走行可能領域内にある点群が即座に判別できることを意味します。
そしてSUBARUは、走行可能空間内にあるすべての点群を障害物と認識します。車両や人だけを検出しようとする一般のアルゴリズムに対して、このほうがあらゆる障害物を認識できる可能性があると考えているからです。SUBARUではこのアルゴリズム構成を「General Object Detection（一般物体検出）」と呼んでいます。
次に、一つひとつの物体の動きを算出します。先ほど抽出した道路上に存在する障害物候補に対して、どこからどこまでが一つの物体の塊なのかを判定し、それぞれがクルマや人、壁などのうち何であるのかをグルーピングします（図5）。
物体の種類を特定した後、カメラの撮像フレーム間の動作量を計測し、各物体の速度に変換します。こうして物体の位置、サイズ、速度、種類を算出することで、車両を制御する必要がある対象物（ターゲット）かどうかを判定します。
ステレオカメラは、一般的な単眼カメラと同様に画像中の輝度パターンを用いた物体認識のロジックを併用できることも強みとなります。アイサイトでは、クルマや人、ブレーキランプ、タイヤといった特徴的な物体については距離情報だけに頼るのではなく、機械学習を用いた識別器を併用します（図6）。ステレオ認識と単眼認識、双方のいいとこ取りによりロバスト（頑健）な画像処理を実現します。
ただし、現状のアルゴリズムでは判別できない対象が存在します。一例が、白線の存在しない道路。白線がない場合、走行領域の境界線となる路肩は縁石や草、砂利、側溝などあらゆるパターンが考えられます。すべてに対応したアルゴリズムの構築は極めて難しい。この難題にディープラーニングで解決を試みるのが最近のトレンドです（図7）。
認識アルゴリズムにディープラーニングを採用することは、何かを「検出」するアルゴリズムから、恐らくこうだろうという「推論」のアルゴリズムに変わることを意味します。ディープラーニングでは大量の学習データを用いて、統計的にそれらしい確率を求めます。ターゲットに対応した明確なアルゴリズムがなくても、過去の学習データから何かしらの確率を算出できるのが特徴です。
白線が全く見えない雪道を人間が初めて走る場合、過去に走った道路の経験を基に走れる経路が分かるイメージでしょうか。
SUBARUが現在力を注いでいるのが、ステレオカメラとディープラーニングの融合です。ディープラーニングは学習に基づいた推論であるため、その性能は学習データで決まります。
一方、ステレオカメラは道路環境のあらゆる物体を三次元的にとらえることができるため、過去のデータ量に左右されません。ステレオカメラの「実直」に測距できる強みと、ディープラーニングによる統計に基づいた推論を組み合わせることで、自動車の画像認識でブレークスルーを実現したいと考えています。
SUBARUは自動車メーカーであるため自ら走行試験を行っており、学習用の走行データを大量に保有しています。20年12月にAI開発拠点SUBARU Labを東京・渋谷に新たに開設し、ステレオカメラとディープラーニングの融合に挑んでいます（図8）。
ディープラーニングを路肩の認識精度向上に
ディープラーニングによる進化とは、本質的には「表現力」と「大局性」の向上と考えています。逆にいえば、従来の機械学習はディープラーニングと比べて「局所的」で「表現力」が低いものでした。
局所的とは、認識対象を四角状に切り取った範囲の特徴的な情報だけを使って、あらかじめ人が設計したHOG（Histogram of Oriented Gradients：局所領域の輝度の勾配方向を角度ごとにヒストグラム化した特徴量）やHaar-like（局所領域の輝度の明暗差から求めた特徴量）などに基づいて認識することを意味します。
次のページ
スケール差が課題、悩ましい受容野この記事は有料会員限定です
