OpenCV を使用すると、考えられるほぼすべてのコンピューター ビジョン タスクを実行できます。現実の問題では、望ましい結果を達成するために、多くのコンピューター ビジョン アルゴリズムとモジュールを同時に使用する必要があります。したがって、必要なことは、必要なものを得るためにどの OpenCV モジュールと関数を使用すればよいかを知ることだけです。
OpenCV ですぐに利用できる機能を見てみましょう。
1 組み込みのデータ構造と入出力
OpenCV の最大の利点の 1 つは、画像処理とコンピューター ビジョンに関連する操作を処理するための組み込みプリミティブが多数提供されていることです。最初からプログラムする必要がある場合は、Image、Point、Rectangle などを定義する必要があります。これらは、ほぼすべてのコンピューター ビジョン アルゴリズムの基礎です。
OpenCV にはこれらすべての基本構造が付属しており、それらはコア モジュールに含まれています。もう 1 つの利点は、これらの構造が速度とメモリに関してすでに最適化されているため、実装の詳細について心配する必要がないことです。
imgcodecs モジュールは、画像ファイルの読み取りと書き込みを処理します。入力イメージを操作して出力イメージを作成する場合、簡単なコマンドを使用してそれを .jpg または .png ファイルとして保存できます。
ビデオカメラを使用する場合、大量のビデオ ファイルを扱うことになります。videoio モジュールは、ビデオ ファイルの入出力に関連するすべての操作を処理します。Web カメラからビデオを簡単にキャプチャしたり、さまざまな形式のビデオ ファイルを読み込んだりできます。1 秒あたりのフレーム数やフレーム サイズなどのプロパティを設定することで、多くのフレームをビデオ ファイルとして保存することもできます。
2 画像処理操作
コンピューター ビジョン アルゴリズムを作成する場合、何度も繰り返し使用する基本的な画像処理操作が多数あります。これらの関数のほとんどは imgproc モジュール内にあります。画像フィルタリング、形態学的操作、幾何学的変換、色変換、画像レンダリング、ヒストグラム、形状分析、動き分析、特徴検出などの操作を実行できます。
図 1-3 を見てみましょう。
右側の画像は左側の画像を回転したもので、OpenCV の 1 行のコードでこの変換を実現できます。
ximgproc と呼ばれる別のモジュールもあります。これには、構造化フォレストのエッジ検出、ドメイン変換フィルター、適応マニホールド フィルターなどの処理に使用できる高度な画像処理アルゴリズムが含まれています。
3 GUI
OpenCV は、すべての高度なユーザー インターフェイス操作を処理するために使用できる highgui と呼ばれるモジュールを提供します。問題に取り組んでいて、先に進む前に画像がどのように見えるかを確認したい場合、このモジュールには画像やビデオを表示するウィンドウを作成する機能があります。
次のステップに進む前にキーボードのキーが押されるのを待つ待機機能があります。マウスイベントを検出する機能もあり、インタラクティブなアプリケーションを開発する際に非常に便利です。
これらの機能を使用すると、図 1-4 を例として、入力ウィンドウ上に四角形を描画し、選択した領域に従って処理することができます。
ご覧のとおり、ウィンドウ上に緑色の長方形を描画します。この長方形の座標が取得されると、その領域を個別に操作できるようになります。
4 ビデオ分析
ビデオ分析には、ビデオ内の連続したフレーム間の動きの分析、ビデオ内のさまざまなオブジェクトの追跡、ビデオ監視モデルの作成などのタスクが含まれます。OpenCV は、これらすべてのタスクを処理するビデオと呼ばれるモジュールを提供します。
ビデオの安定化を処理する videostab というモジュールもあります。ハンドヘルドカメラでビデオを撮影する場合、通常、補正すべきジッターが大量に発生するため、ビデオの安定化は非常に重要です。最新のデバイスはすべて、ビデオ安定化を使用して、ビデオをエンド ユーザーに表示する前に処理します。
5 3D再構築
3D 再構成は、コンピュータ ビジョンにおける重要なトピックです。一連の 2D 画像が与えられると、相関アルゴリズムを使用して 3D シーンを再構成できます。calib3d モジュールでは、OpenCV は、これらの 2D 画像内のさまざまなオブジェクト間の関係を見つけて、それらの 3D 位置を計算するアルゴリズムを提供します。
このモジュールは、カメラのパラメータを推定するために重要なカメラ キャリブレーションも処理します。これらのパラメータは、カメラが目の前のシーンをどのように認識するかを定義します。アルゴリズムを設計するにはこれらのパラメーターを知る必要があります。そうでないと、予期しない結果が生じる可能性があります。
図 1-5 を参照してください。
ここでわかるように、同じオブジェクトが複数の場所からキャプチャされています。私たちの仕事は、これらの 2D 画像を使用して元のオブジェクトを再構築することです。
.6 特徴抽出
前に説明したように、人間の視覚システムは、特定のシーンから主な特徴を抽出して記憶する傾向があり、その後の検索が容易になります。これを模倣するために、人々は特定の画像からこれらの特徴点を抽出するさまざまな特徴抽出器を設計し始めました。一般的なアルゴリズムには、Scale Invariant Feature Transform (SIFT)、Speeded Up Robust features (SURF)、Feature From Accelerated Segment Test (FAST) などがあります。
features2d と呼ばれる OpenCV モジュールは、これらすべての機能を検出および抽出する機能を提供します。xfeatures2d と呼ばれる別のモジュールは、さらに多くの特徴抽出機能を提供しますが、その一部はまだ実験段階です。機会があれば使ってみてはいかがでしょうか。
生物学にインスピレーションを得たコンピューター ビジョン モデルのアルゴリズムを提供する bioinspired と呼ばれるモジュールもあります。
7 物体検出
オブジェクト検出とは、特定の画像内のオブジェクトの位置を検出することを指します。このプロセスはオブジェクトの種類には依存しません。椅子検出器を設計する場合、指定された画像内の椅子が背もたれが高く赤であるか、背もたれが低い青であるかはわかりません。椅子がどこにあるかを示すだけです。
オブジェクトの位置の検出は、多くのコンピューター ビジョン システムにおいて重要なステップです。
図 1-6 を例に挙げます。
この画像に対して椅子検出器を実行すると、すべての椅子の周囲に緑色のボックスが配置されますが、椅子がどのように見えるかはわかりません。
物体検出は、さまざまなスケールで検出を実行するために必要な計算の数が異なるため、これまでは計算量の多いタスクでした。この問題を解決するために、Paul Viola と Michael Jones は 2001 年の独創的な論文 (https://www.cs.cmu.edu/~efros/courses/LBMV07/Papers/viola-cvpr -01.pdf ) で素晴らしいアルゴリズムを提案しました。これは、あらゆるオブジェクトのオブジェクト検出器を迅速に設計する方法を示しています。
OpenCV には、オブジェクト検出器を設計するためのフレームワークを提供する objdetect および xobjdetect と呼ばれるモジュールが付属しており、これらを使用して、サングラスやブーツなどの任意のオブジェクトの検出器を開発できます。
8 機械学習
機械学習アルゴリズムは、物体認識、画像分類、顔検出、視覚検索などのコンピューター ビジョン システムを構築するために広く使用されています。
OpenCV は、ベイズ分類器 (ベイズ分類器)、k 近傍 (略して KNN)、サポート ベクター マシン (サポート ベクター マシン、略して SVM)、デシジョン ツリー (デシジョン ツリー) などの多くの機械学習アルゴリズムをバンドルする ml と呼ばれるモジュールを提供します。 ）、ニューラルネットワーク（ニューラルネットワーク）など。
また、高速近傍検索ライブラリ (FLANN) と呼ばれるモジュールもあり、大規模なデータセットでの高速最近傍検索のアルゴリズムが含まれています。
9 コンピュテーショナルフォトグラフィー
コンピューテーショナル フォトグラフィーとは、高度な画像処理技術を使用して、カメラで撮影した画像を改善することを指します。コンピューテーショナル フォトグラフィーは、画像キャプチャの光学プロセスや方法に焦点を当てておらず、ソフトウェアを使用して視覚データを操作します。そのアプリケーションには、ハイ ダイナミック レンジ イメージング、パノラマ画像、画像補助光およびライト フィールド カメラなどが含まれます。
図 1-7 を例に挙げます。
この鮮やかなカラーをぜひチェックしてみてください！これは、従来の画像キャプチャ技術では実現できないハイ ダイナミック レンジ画像の例です。この画像は、同じシーンを複数の露出で撮影し、これらの画像を相互に位置合わせして、適切にブレンドすることによって作成する必要がありました。
photo および xphoto モジュールには、コンピュテーショナル フォトグラフィーに関連するアルゴリズムを提供するさまざまなアルゴリズムが含まれています。パノラマ画像を作成するためのアルゴリズムを提供するスティッチングと呼ばれるモジュールもあります。
10 形状解析
形状の概念はコンピューター ビジョンにおいて非常に重要です。画像内のさまざまな形状を認識し、視覚データを解析します。実際、これは多くのアルゴリズムにおいて重要なステップです。
画像内の特定のロゴを認識しようとしているとします。あらゆる形、方向、サイズがあることはご存知でしょう。まず、オブジェクトの形状特性を定量化することをお勧めします。
形状モジュールは、さまざまな形状の抽出、それらの類似性の測定、オブジェクト形状の変換などのためのすべてのアルゴリズムを提供します。
11 オプティカルフローアルゴリズム
オプティカル フロー アルゴリズムは、ビデオ内の連続したフレーム内の特徴を追跡するために使用されます。ビデオ内の特定のオブジェクトを追跡するとします。すべてのフレームで特徴抽出機能を実行すると、計算コストが非常に高くなり、プロセスが遅くなる可能性があります。したがって、現在のフレームから特徴を抽出し、それらの特徴を後続のフレームで追跡するだけです。
オプティカル フロー アルゴリズムは、ビデオベースのコンピューター ビジョン アプリケーションで頻繁に使用されます。optflow モジュールには、オプティカル フロー操作を実行するために必要なすべてのアルゴリズムが含まれています。機能の追跡に使用できる追加のアルゴリズムを含む、トラッキングと呼ばれるモジュールもあります。
12 顔と物体の認識
顔認識とは、特定の画像内の人物を識別することを指します。これは、特定の画像内の顔の位置のみを識別する必要がある顔検出とは異なります。
カメラの前にいる人物を認識できる実用的な生体認証システムを構築したい場合は、まず顔検出器を実行して顔の位置を特定し、次に別の顔認識装置を実行してその人物が誰であるかを識別する必要があります。顔認識を扱うための face という OpenCV モジュールがあります。
前に説明したように、コンピューター ビジョンは、人間が視覚データを認識する方法と同じようにアルゴリズムをモデル化しようとします。したがって、画像内で顕著な領域やオブジェクトを見つけると、オブジェクト認識、オブジェクト検出、追跡などのさまざまなアプリケーションに役立ちます。saliency と呼ばれるモジュールは、この目的のために設計されています。静止画像やビデオ内の顕著な領域を検出できるアルゴリズムを提供します。
13面マッチング
私たちの周囲の物体の 3D 構造をキャプチャでき、通常の 2D カラー画像だけでなく奥行き情報もキャプチャできるデバイスの数が増えています。したがって、3D オブジェクトを理解して処理できるアルゴリズムを構築することが非常に重要です。
深度情報と視覚データをキャプチャするデバイスの好例は Kinect です。Kinect は受信した 3D オブジェクトを認識し、それらをデータベース内のモデルと照合できるようになりました。物体を認識して位置を特定できるシステムがあれば、それをさまざまな用途に使用できます。
surface_matching と呼ばれるモジュールには、3D オブジェクト認識のアルゴリズムと、3D 特徴を使用した姿勢推定アルゴリズムが含まれています。
14 テキストの検出と認識
特定のシーン内のテキストを認識し、その内容を認識することは、ナンバープレートの認識、自動運転車の道路標識の識別、内容をデジタル化するための書籍のスキャンなどに至るまで、その用途がますます重要になってきています。
text という名前のモジュールには、テキストの検出と認識を処理するさまざまなアルゴリズムが含まれています。
15 ディープラーニング
ディープラーニングはコンピュータービジョンと画像認識に大きな影響を与えており、他の機械学習や人工知能アルゴリズムよりも高い精度を持っています。ディープ ラーニングは新しい概念ではありません。1986 年頃に提案されましたが、並列コンピューティングと畳み込みニューラル ネットワーク (CNN) の実装用に新しい GPU ハードウェアが開発された 2012 年頃に革命が起こりました。最適化と他のテクニックにより、複雑なトレーニングが可能になります。ニューラル ネットワーク アーキテクチャを適切な時間内に構築します。
ディープラーニングは、画像認識、物体検出、音声認識、自然言語処理などのさまざまなユースケースに適用できます。OpenCV はバージョン 3.4 から深層学習アルゴリズムを実装しており、最新バージョンでは、TensorFlow や Caffe などのいくつかの重要なフレームワークのインポーターが追加されています。