この記事では、コンピュータ ビジョンのプロジェクトでよく使われる Python ライブラリを整理します。コンピュータ ビジョンの分野に参入したい場合は、まずこの記事で紹介されているライブラリを理解しておくと、仕事に非常に役立ちます。
1、ピル/枕
Pillow は、豊富な機能セットとさまざまな画像形式のサポートを提供する、汎用で使いやすい Python ライブラリであり、開発者がプロジェクトで画像を扱うために不可欠なツールとなっています。
さまざまな画像ファイル形式を開いたり、操作したり、保存したりすることがサポートされており、ユーザーは画像のトリミング、サイズ変更、回転、色の変更などの基本的な操作も実行できます。
Pillow では、画像の上にテキストや図形を追加することもでき、ビジュアルに注釈を付ける簡単な方法を提供します。
このライブラリはtorchvisonで使用されている画像処理ライブラリでもあり、強力で使いやすいので、使用することをお勧めします。
2、OpenCV（オープンソースコンピュータビジョンライブラリ）
OpenCV は間違いなく最も人気のある画像処理ライブラリの 1 つです。元々は Intel Corporation によって開発され、コンピュータ ビジョンの分野で広く使用されています。コンピューター ビジョンと機械学習に関連する無数のアルゴリズムをサポートしており、視覚的なデータを理解し、洞察力に富んだ意思決定を行うのに役立ちます。また、OpenCV はリアルタイム アプリケーション向けに高度に最適化されているため、ビデオ監視、自動運転車、高度なロボット工学に最適です。
OpenCVはPillowよりも機能が多く処理速度も速いため、速度が必要な場合に使用することをおすすめします。
もう 1 つのポイントは、OpenCV によって読み取られるチャネルは BGR ですが、他のライブラリは RGB であるため、これらを混合する場合は変換する必要があるため、次のコードを覚えておいてください。
cv2.cvtColor(image, cv2.COLOR_BGR2RGB)
3、マホタス
Mahotas には、画像処理とコンピューター ビジョンのための一連の関数が含まれています。これらの関数は主に高性能 C++ で実行され、マルチスレッドを使用するため、非常に高速です。
また、浸食、膨張、連結成分分析などのさまざまな形態学的操作も含まれます。これらの操作は、画像の二値化、ノイズ除去、形状分析などのタスクの基礎となります。OpenCV にもこれらの機能はありますが、Mahotas は画像処理に重点を置いており、OpenCV のようにすべてを備えているわけではないため、Mahotas の API の方がシンプルで親しみやすいです。OpenCV よりも学習は簡単ですが、速度はほぼ同じです。
4、Scikit-イメージ
Scikit-Image は、より高度な画像処理機能を含む、Scikit-Learn 機械学習ライブラリの拡張機能に基づいて構築されています。したがって、すでに Scikit for ML を使用している場合は、このライブラリの使用を検討してください。
画像処理アルゴリズムの完全なセットを提供します。画像のセグメンテーション、幾何学的変換、色空間の操作、フィルタリングをサポートします。
他の多くのライブラリとは異なり、Scikit-Image は多次元画像をサポートしているため、ビデオや医療画像に関するタスクに役立ちます。Scikit-Image は、NumPy や SciPy などの他の Python 科学ライブラリとシームレスに統合します。
5、TensorFlow画像
TensorFlow Image は、画像のデコード、エンコード、トリミング、サイズ変更、変換をサポートする TensorFlow モジュールです。TensorFlow の GPU サポートを利用して、大規模なデータセットの画像処理を高速化することもできます。
つまり、TF を使用すると、トレーニング パイプラインの一部として使用できます。
6、PyTorchビジョン
TensorFlow Image と同様に、PyTorch Vision は、主に画像処理に関連する機械学習タスクのための PyTorch エコシステムの一部です。
7、シンプルCV
OpenCV、PIL (Python Imaging Library)、NumPy 上に構築された SimpleCV は、画像のロード、処理、分析のためのシンプルかつ強力な機能とツールのセットをユーザーに提供します。
SimpleCV の設計目標は、コンピュータ ビジョン テクノロジの信頼性を高め、初心者や非専門家にとって使いやすいものにすることです。根底にある複雑さを隠蔽するシンプルな API を提供し、ユーザーが一般的なコンピューター ビジョン タスクを迅速に実装できるようにします。
ただし、現在公式のメンテナンスが少ないため、このプロジェクトは消滅する可能性があります。
8、イマージオ
Imageio は、さまざまな画像形式を読み書きするための Python ライブラリです。ユーザーが画像やビデオのデータを簡単に操作できるようにする、シンプルかつ強力な API を提供します。Imageio は、ユーザーがさまざまな方法で画像データを保存できるようにする共通のデータ モデルを提供します。NumPy 配列、PIL 画像オブジェクト、または単純な Python バイト文字列を使用して画像データを表すことができます。また、ビデオ ファイルをフレームごとに読み書きする機能を提供します。これは、ビデオ ストリームの処理やビデオからフレームの抽出に非常に役立ちます。
9、評価
Albumentations は、画像拡張とデータ拡張のための Python ライブラリです。機械学習やコンピューター ビジョンのタスクにおいて、効率的で柔軟で使いやすいデータ拡張手法を提供することに重点を置いています。
私はこのライブラリを torchvision の代替として常に考えてきました。これは、多くのデータ拡張メソッドを備えているだけでなく、マスク bbox の拡張を直接処理できるためです。
10、ティム
Timm は PyTorch モデル ライブラリであり、画像処理とは関係ないかもしれませんが、事前トレーニングされたモデルとコンピューター ビジョン モデルの幅広いコレクションを提供しており、ディープ ラーニングを行うのに非常に役立ちます。現在は、huggingface のサブプロジェクトとなっています。つまり、このプロジェクトには資金援助があるため、開発について心配する必要はありません。
要約する
基本的な画像処理を始めたばかりの場合でも、高度な機械学習モデルを検討している場合でも、これらのライブラリは、幅広い画像処理タスクに必要なツールを提供します。
https://avoid.overfit.cn/post/8912eb7ad4d04f359bbf802d62248bfa