2018年
ブドウ栽培技術のためのコンピューター ビジョンと機械学習
要約: この論文は、ブドウ栽培技術の高度な研究に 2 つの貢献をします。まず、ブドウ栽培におけるコンピューター ビジョン、画像処理、機械学習技術の包括的な概要を説明します。収穫量の推定、ブドウ園の管理とモニタリング、ブドウの病気の検出、品質評価、ブドウの季節学など、さまざまな代表的な研究のためのビジョン システムと技術の最近の進歩を要約します。私たちは、コンピューター ビジョンと機械学習の技術を現在のブドウ園管理とワイン醸造プロセスにどのように統合して、業界に関連した結果を達成できるかに焦点を当てています。このペーパーの第 2 部では、新しい GrapeCS-ML データベースを紹介します。このデータベースには、開発のさまざまな段階にあるブドウ品種の画像と、化学分析から得られた対応するグラウンド トゥルース データ (pH や Brix など) が含まれています。このデータベースの目的の 1 つは、コンピューター ビジョンと機械学習の研究者が、スマート ブドウ園に導入される実用的なソリューションを開発するよう動機付けることです。私たちは、白と赤の品種のカラーベリー検出アプリケーションに対するこのデータベースの有効性を示し、さまざまな機械学習方法と色空間を使用してベースラインの比較を行います。この記事は、この技術がブドウ栽培業界にうまく導入される前に対処する必要がある将来の課題を強調して締めくくられています。
2020年
ディープニューラルネットワークと三次元関連付けを用いたブドウの検出、セグメンテーション、追跡（農業におけるコンピュータとエレクトロニクス）
要約: 収量予測、精密農業、自動収穫などの農業アプリケーションには、低コストのセンシングデバイスから作物の状態を推測できるシステムが必要です。自然画像における困難なパターン認識問題の代替手段として畳み込みニューラル ネットワーク (CNN) が登場したことを受けて、コンピュータ ビジョンと組み合わせた安価なカメラを使用した近接センシングが有望な代替手段として浮上しています。果物の植え付けの監視と自動化を考えると、基本的な問題は果樹園内の個々の果物の検出、分割、および計数です。ここでは、形状、色、サイズ、緻密さが大きく異なる作物であるワイン用ブドウについて、最先端の CNN を使用してブドウの房を正常に検出、セグメント化、追跡できることを示します。グリッド システムに基づいたブドウ畑の 408 個のブドウのクラスター画像を含むテスト セットでは、たとえば各クラスター画像をセグメント化することで F1 スコア 0.91 を達成し、果実のサイズと形状をより正確に評価できるようになりました。また、果樹園の列を記録するビデオ シーケンスに沿ってクラスターを識別し、追跡できることも示します。また、300 枚の画像内の適切に注釈が付けられたブドウの房を含む公開データセットと、自然画像内の複雑なオブジェクトをセグメント化するための新しい注釈方法も紹介します。画像内の農業パターンのアノテーション、トレーニング、評価、追跡のために提案されたパイプラインは、さまざまな作物や生産システムに対して複製できます。これは、いくつかの農業および環境用途向けのセンシング コンポーネントの開発に使用できます。
2021年
深層学習量子化モデルを使用したさまざまな成長段階でのブドウの房の検出
要約: 農業部門は自動化プロセスの重要性が高まる社会において重要な役割を果たしており、それによって製品の生産性と品質に有益な影響を与えています。農業におけるロボット工学の基礎となるのは、知覚とコンピューター ビジョンの手法です。特に、ディープラーニングは画像分類や物体検出に使用でき、機械が農業環境で作業を実行できるようになります。この研究では、ディープ ラーニングを使用してブドウ畑のブドウ房を検出します。これには、開花後の初期段階とブドウ房が中間の発育を示す中間段階というさまざまな成長段階が考慮されています。2 つの最先端のシングルショット マルチボックス モデルがトレーニング、量子化され、低コストかつ低電力のハードウェア デバイスである Tensor Processing Unit 上にデプロイされます。トレーニング入力は、この研究で提案されている新規で公開されているデータセットです。このデータセットには、異なる照明条件下で異なるカメラで撮影された、2 つの異なる成長段階の注釈が付いた 1929 枚の画像が含まれています。2 つの異なるパラメーターの変動を考慮した信頼値と結合しきい値の交差。結果は、導入されたモデルが画像内のブドウの房を平均 66.96% の中程度の精度で検出できることを示しています。この方法では、低リソース、低コスト、低電力のハードウェア デバイスが使用され、8 ビット量子化を使用する単純化されたモデルが必要であるため、得られるパフォーマンスは満足のいくものです。実験では、2 番目のクラスはより小さなブドウの房を表し、色や質感が周囲の葉とより似ており、検出が複雑であるため、このモデルは開花後にブドウ畑に出現するブドウの房を含む、中程度の成長段階のブドウの房を識別する際に優れたパフォーマンスを発揮することも示しました。
2022年
コンピュータービジョンと機械学習ベースのグレープフルーツクラスター検出および収量推定ロボット
要旨：現在、人件費の高騰と人手不足という問題に直面している。ブドウの房を見つけて区別するのは困難だったため、初期のさまざまな技術は、ハイパースペクトル カメラ、3D 画像、スティッキー ブロック ベースのセグメンテーションを使用して開発されました。この研究では、オープンソースのコンピューター ビジョン ライブラリ (OpenCV) とランダム フォレスト機械学習アルゴリズムを使用して、青いブドウの房を数え、検出し、セグメンテーションするための新しいコンピューター ビジョン ベースの方法を実装しました。ここでの果物オブジェクトのセグメンテーションは、バイナリしきい値処理と Otsu の方法に基づいています。トレーニングとテストでは、ブドウとブドウ以外の果実の単一画像に対してピクセル強度に基づく分類が実行されます。ランダム フォレスト アルゴリズムに代表される手法の検証では、サポート ベクター マシン (SVM) と比較して精度 97.5%、f1 スコア 90.7% という良好な結果が得られました。ノイズ除去、トレーニング、セグメンテーション、分類技術を高精度で利用します。
YOLOv3、YOLOv4、YOLOv5 深層学習アルゴリズムを使用した白ブドウ品種の自動房検出
要約: 過去数年間にわたり、さまざまな精度と速度を特徴とする物体検出用の畳み込みニューラル ネットワークがいくつか提案されてきました。ブドウ栽培では、収量の推定と予測が、高度なブドウ栽培技術を使用した効果的な作物管理に使用されます。物体検出のための畳み込みニューラル ネットワークは、ブドウの収量推定に対するもう 1 つの代替アプローチであり、通常はサンプル植物の手動収穫に依存します。このペーパーでは、ブドウのリアルタイムの房検出と計数のために、You Only Look Once (YOLO) オブジェクト検出アルゴリズムの 6 つのバージョン (YOLOv3、YOLOv3-tiny、YOLOv4、YOLOv4-tiny、YOLOv5x、および YOLOv5s) を評価します。研究 葉の背景にある白い実を識別するのは赤い実よりも難しいため、白ブドウの品種が選択されました YOLO モデルは、オープン データセットから取得した画像を入力した異種データセットを使用してトレーニングされ、複数の照明条件、背景、成長段階でテストされました。 YOLOv5x と YOLOv4 の f1 スコアは 0.76 と 0.77 で、検出速度はそれぞれ 31 と 32 FPS であることがわかります。違いは、YOLO5s と YOLOv4-tincy の f1 スコアがそれぞれ 0.76 と 0.69 であることです。検出速度は 31 および 32 FPS です。速度はそれぞれ 61 および 196 FPS です。最終的な YOLOv5x モデルは、バンドルの閉塞を考慮して、プラントごとの平均誤差 13.3% でプラントごとのバンドルの数を推定できます。精度と速度の最適な組み合わせを実現するため、ブドウ収量のリアルタイム推定を考慮する必要がありますが、YOLOv3 には偽陽性と偽陰性の補償が発生し、RMSE が低下します。
LDD: ブドウの病害オブジェクトの検出とインスタンスのセグメンテーションのためのデータセット
要約: インスタンスのセグメンテーション タスクは、よく知られたオブジェクト検出タスクの拡張であり、精密農業などの多くの分野で非常に役立ちます。植物の器官とそれに関連する可能性のある病気を自動的に識別できるため、効果的にスケールアップして自動化できます。作物の監視と病気の制御。ブドウ植物の病気の早期発見と診断に関連する問題に対処するために、私たちはインスタンスセグメンテーション手法を通じて病気の識別における最先端の技術を進歩させることを目的として、新しいデータセットを構築しました。これは、自然環境で病気に罹患した葉とブドウの房の画像を収集することによって実現されました。このデータセットには、ブドウの一般的な 8 つの病気の症状がある場合とない場合の葉やブドウなど、10 種類のオブジェクトの写真が含まれており、1,092 枚の画像に合計 17,706 個のラベル付きインスタンスが含まれています。データセットの特性を完全に把握するために、さまざまな統計的尺度が提案されています。ベースラインとしてマスク R-CNN [6] および R3-CNN [10] モデルによって達成されたオブジェクト検出およびインスタンス セグメンテーション タスクに関する予備結果は、この手順が病気の症状の自動認識という目標に対して有望な結果を達成できることを示しています。
2023年
加速された物体検出シングルショット マルチボックス深層学習モデルを使用したブドウの房と幹検出のためのエッジ コンピューティング デバイスのベンチマーク
目的: 視覚認識により、ロボットは環境を認識できるようになります。ビジョン データはコンピューター ビジョン アルゴリズムを使用して処理されますが、多くの場合時間がかかり、ビジョン データをリアルタイムで処理するには強力な機器が必要ですが、エネルギーが限られているフィールド ロボットでは実現できません。この研究では、リアルタイムの物体検出のためのさまざまな異種プラットフォームのパフォーマンスをベンチマークします。この調査では、組み込み GPU グラフィックス プロセッシング ユニット (NVIDIA Jason Nano 2 GB および 4GB、NVIDIA Jason TX2 など)、TPU テンソル プロセッサ (Coral Development Board TPU など)、DPU ディープ ラーニング プロセッサ ユニット (AMD など) の 3 つのアーキテクチャをベンチマークします。 -Xilinx ZCU104 開発ボード、および AMD-Xilinx Kria KV260 スターター キット)。
方法: 著者らは、自然の VineSet データセットを使用して微調整された網膜ネットワークである ResNet-50 を使用しました。トレーニングされたモデルは、効率的に実行できるように、ターゲット固有のハードウェア形式に変換およびコンパイルされます。
結論と結果: プラットフォームは、評価指標のパフォーマンスと効率 (推論時間) に従って評価されました。グラフィックス プロセッシング ユニット (GPU) は 3 FPS ～ 5 FPS で動作する最も遅いデバイスであり、フィールド プログラマブル ゲート アレイ (FPGA) は 14 FPS ～ 25 FPS で動作する最も速いデバイスです。NVIDIA Jetson TX2 と同様に、テンソル プロセッシング ユニット (TPU) の効率は関係ありません。TPU と GPU は最もエネルギー効率が高く、約 5 W を消費します。評価指標では、デバイス間のパフォーマンスの違いは無関係で、F1 は約 70%、平均平均精度 (mAP) は約 60% です。
