yolov5 単眼測距 + 速度測定 + ターゲット追跡

YOLOv5 に測距機能と速度測定機能を追加するには、次の 2 つの部分の原理を理解する必要があります。

単眼測距アルゴリズム

• 単眼測距では、単一のカメラを使用してシーン内のオブジェクトの距離を推定します。一般的な単眼測距アルゴリズムには、視差ベースの方法 (ステレオ マッチングなど) と深層学習ベースの方法 (ニューラル ネットワークなど) が含まれます。
• 深層学習ベースの手法では、通常、畳み込みニューラル ネットワーク (CNN) を使用して、画像から深度マップへのマッピング関係を学習します。

単眼測距コード

単眼測距には座標変換が含まれます。コードは次のとおりです。

def convert_2D_to_3D(point2D, R, t, IntrinsicMatrix, K, P, f, principal_point, height):
    """

    例如：像素坐标转世界坐标
    Args:
        point2D: 像素坐标点
        R: 旋转矩阵
        t: 平移矩阵
        IntrinsicMatrix:内参矩阵
        K:径向畸变
        P:切向畸变
        f:焦距
        principal_point:主点
        height:Z_w

    Returns:返回世界坐标系点，point3D_no_correct, point3D_yes_correct

    """
    point3D_no_correct = []
    point3D_yes_correct = []


    ##[(u1,v1),
   #   (u2,v2)]

    point2D = (np.array(point2D, dtype='float32'))

YOLOv5 に単眼測距機能を追加する 1 つの方法は、オブジェクトの注釈とトレーニング セットの深度情報を含むデータを収集することです。入力画像は、畳み込みニューラル ネットワークなどの深層学習モデルを使用して深度マップにマッピングできます。トレーニングが完了すると、モデルを使用して画像内のオブジェクトの距離を推定できます。

フレーム差分アルゴリズム

• 差分フレーム アルゴリズムは、ビデオ シーケンス内のフレーム間の差分に基づいてオブジェクトの速度を計算する方法です。これは、隣接するフレーム間でのオブジェクトの位置の変化が大きいほど、オブジェクトの速度が速くなるという単純な仮定に基づいています。
• 差分フレーム アルゴリズムは、ビデオ シーケンス内のフレーム間の差分に基づいてオブジェクトの速度を計算する方法です。原理は、2 つの隣接するフレーム間のオブジェクトの位置の差を計算し、時間間隔にわたるオブジェクトの速度を計算することです。

フレーム t およびフレーム (t-1) 内のオブジェクトの位置がそれぞれ pt および pt-1 であると仮定すると、ユークリッド距離またはその他の類似性尺度を使用して、それらの間の距離を計算できます。

d = ||pt - pt-1||

ここで、 ||.|| はユークリッド距離を表します。次に、時間間隔 Δt にわたるオブジェクトの平均速度 v を計算します。

v = d / Δt

このうち、Δｔは、ｔ番目のフレームと（ｔ－１）番目のフレームとの間の時間間隔を表す。実際のアプリケーションでは、移動平均やカルマン フィルターなどの方法を使用して、必要に応じて速度を平滑化できます。

速度テストコード

以下是一个简单的差帧算法代码示例，用于计算物体在视频序列中的速度：

```python
import cv2
import numpy as np

# 读取视频文件
cap = cv2.VideoCapture('video.mp4')

# 初始化参数
prev_frame = None
prev_position = None
fps = cap.get(cv2.CAP_PROP_FPS)  # 视频帧率
speeds = []  # 存储速度值

while cap.isOpened():
    ret, frame = cap.read()

    if not ret:
        break

    gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)

    if prev_frame is not None:
        # 计算当前帧和前一帧之间的位置差异
        flow = cv2.calcOpticalFlowFarneback(prev_frame, gray, None, 0.5, 3, 15, 3, 5, 1.2, 0)

        # 提取运动向量的x和y分量
        vx = flow[..., 0]
        vy = flow[..., 1]

        # 计算位置差异的欧氏距离
        distance = np.sqrt(np.square(vx) + np.square(vy))

        # 计算速度
        speed = np.mean(distance) * fps

        speeds.append(speed)

        # 可选：可视化结果
        flow_vis = cv2.cvtColor(frame, cv2.COLOR_BGR2HSV)
        flow_vis[..., 0] = np.arctan2(vy, vx) * (180 / np.pi / 2)
        flow_vis[..., 2] = cv2.normalize(distance, None, 0, 255, cv2.NORM_MINMAX)
        flow_vis = cv2.cvtColor(flow_vis, cv2.COLOR_HSV2BGR)

        cv2.imshow('Flow Visualization', flow_vis)
        if cv2.waitKey(1) & 0xFF == ord('q'):
            break

    prev_frame = gray

cap.release()
cv2.destroyAllWindows()

# 打印速度结果
print("速度列表：", speeds)

このコードは、OpenCV ライブラリの ` 関数を使用して、隣接するフレーム間のオプティカル フロー ベクトルを計算し、ユークリッド距離を介して位置の差を計算します。そして、ビデオのフレームレートから速度を計算し、リストに保存します。ニーズに応じて速度をさらに処理したり視覚化したりできます。これは単なる例であり、実際のアプリケーションでは調整や改善が必要になる場合があることに注意してください。

要約する

上記の機能を実装するための具体的な手順は次のとおりです。

単眼測距:

• オブジェクトの注釈と対応する深度情報を含むトレーニング データ セットを収集します。
  畳み込みニューラル ネットワーク (ResNet、UNet など) を使用して画像を深度マップにマッピングするなど、深層学習モデルを構築します。
• 収集されたデータセットをモデルトレーニングに使用し、深層学習モデルを最適化します。
• YOLOv5 に単眼測距機能を追加する場合、トレーニング済みの深層学習モデルを読み込み、そのモデルを使用して物体が検出されたときに距離を推定します。

差分フレームアルゴリズム:

• ビデオ シーケンスに対してオブジェクトの検出と追跡を実行し、連続するフレーム内のオブジェクトの位置情報を取得します。
• 隣接するフレーム間のオブジェクトの位置の差を計算するには、ユークリッド距離またはその他の類似性測定を使用できます。
• qq 1309399183
• 差を時間間隔で割ると、オブジェクトの平均速度が求められます。