边缘检测简介
Setup 1: 创建文件
Setup 2: 安装依赖
Setup 3: 导入需要的包
Setup 4: 创建pipeline
Setup 5: 创建节点
Setup 6:设置相关属性
Setup 7: 建立链接关系
Setup 8: 连接设备并启动管道
Setup 9: 创建与DepthAI设备通信的输入队列和输出队列
Setup 10: 主循环
Setup 11:运行程序

边缘检测简介

边缘检测是计算机视觉和图像处理中的一种基本技术，用于识别图像中物体和图像中不同区域之间的边界或轮廓。边缘是图像中具有明显灰度或强度变化的区域，通常表示不同物体、纹理或形状之间的边界。

边缘检测算法通过分析图像中像素的灰度值或强度变化情况，以找到这些变化的区域。常见的边缘检测算法包括Sobel算子、Canny边缘检测和Laplacian算子等。

边缘检测的应用广泛，例如在目标识别、图像分割、物体测量、图像配准和图像压缩等领域都有重要作用。通过检测图像中的边缘，可以提取出物体的形状和结构信息，进而进行进一步的分析和处理。

这里我们实现对左边、右边和RGB摄像头三个不同的输入进行边缘检测。使用了硬件加速的Sobel滤波器3x3。可以通过按键1和2来改变Sobel滤波器的参数。

Setup 1: 创建文件

创建新建5-edge-detector文件夹
用vscode打开该文件夹
新建一个main.py 文件

Setup 2: 安装依赖

安装依赖前需要先创建和激活虚拟环境，我这里已经创建了虚拟环境OAKenv，在终端中输入cd…退回到OAKenv的根目录，输入 OAKenv\Scripts\activate激活虚拟环境
安装pip依赖项：

pip install numpy opencv-python depthai blobconverter --user

Setup 3: 导入需要的包

在main.py中导入项目需要的包

import cv2
import depthai as dai
import numpy as np

这里导入了numpy库；

NumPy是一个Python库，用于进行科学计算和数据分析。它提供了高性能的多维数组对象（ndarray），以及一系列的函数用于操作这些数组。NumPy的主要功能包括：

多维数组：NumPy的核心是ndarray对象，它是一个具有固定大小的数组，可以容纳相同类型的元素。这使得NumPy数组比Python原生的列表更高效，更适合进行大规模数据处理和数值计算。
广播（Broadcasting）：NumPy允许不同形状的数组执行相同的操作，而无需复制数据。通过广播，可以有效地对数组执行元素级别的数学运算。
数学和逻辑操作：NumPy提供了许多内置的数学函数（如sin，cos，exp等）和逻辑操作函数（如all，any，logical_and等），可以轻松地对数组进行操作。
线性代数运算：NumPy包含了一组用于执行线性代数运算的函数，如矩阵乘法、求解线性方程组等。
数组操作：NumPy提供了丰富的数组操作函数，如排序、切片、索引、重新形状等，以及用于数组合并和拆分的函数。
文件操作：NumPy可以读取和写入数组数据到磁盘中的文件，支持多种文件格式（如文本文件、CSV文件、二进制文件等）。

Setup 4: 创建pipeline

pipeline = dai.Pipeline()

Setup 5: 创建节点

创建相机节点

camRgb = pipeline.create(dai.node.ColorCamera)
monoLeft = pipeline.createMonoCamera()
monoRight = pipeline.createMonoCamera()

camRgb = pipeline.create(dai.node.ColorCamera)：创建一个彩色相机节点（ColorCamera），用于捕获RGB图像。
monoLeft = pipeline.createMonoCamera()：创建一个单通道相机节点（MonoCamera），用于捕获左侧单色图像。
monoRight = pipeline.createMonoCamera()：创建一个单通道相机节点（MonoCamera），用于捕获右侧单色图像。

这三个节点将在管道中以并行方式工作，可以同时捕获彩色和单色图像。

创建边缘检测节点

edgeDetectorLeft = pipeline.createEdgeDetector()
edgeDetectorRight = pipeline.createEdgeDetector()
edgeDetectorRgb = pipeline.createEdgeDetector()

这段代码在pipeline中创建三个边缘检测节点。

edgeDetectorLeft = pipeline.createEdgeDetector()：创建了一个边缘检测节点用于处理左侧单色图像。
edgeDetectorRight = pipeline.createEdgeDetector()：创建了一个边缘检测节点用于处理右侧单色图像。
edgeDetectorRgb = pipeline.createEdgeDetector()：创建了一个边缘检测节点用于处理彩色图像。

这些边缘检测节点可以应用于左侧单色图像、右侧单色图像和彩色图像，以便检测图像中的边缘特征。

创建XLinkOut数据交互的节点

xoutEdgeLeft = pipeline.createXLinkOut()
xoutEdgeRight = pipeline.createXLinkOut()
xoutEdgeRgb = pipeline.createXLinkOut()
xinEdgeCfg = pipeline.createXLinkIn()

xoutEdgeLeft.setStreamName("edge left")
xoutEdgeRight.setStreamName("edge right")
xoutEdgeRgb.setStreamName("edge rgb")
xinEdgeCfg.setStreamName("edge cfg")

这段代码创建了四个与外部设备进行数据交互的节点。

使用pipeline.createXLinkOut()方法创建了三个用于与外部设备进行数据输出的节点。
使用pipeline.createXLinkIn()方法创建了一个用于与外部设备进行数据输入的节点。

为每个输出节点和输入节点设置了一个数据流名称

xoutEdgeLeft.setStreamName("edge left")：设置了输出节点xoutEdgeLeft的数据流名称为"edge left"。
xoutEdgeRight.setStreamName("edge right")：设置了输出节点xoutEdgeRight的数据流名称为"edge right"。
xoutEdgeRgb.setStreamName("edge rgb")：设置了输出节点xoutEdgeRgb的数据流名称为"edge rgb"。
xinEdgeCfg.setStreamName("edge cfg")：设置了输入节点xinEdgeCfg的数据流名称为"edge cfg"。

通过这些节点和数据流名称，我们可以将外部设备与图像处理管道连接起来，以实现图像数据的输入和输出。

Setup 6:设置相关属性

设置彩色相机的相关属性

camRgb.setBoardSocket(dai.CameraBoardSocket.RGB)
camRgb.setResolution(dai.ColorCameraProperties.SensorResolution.THE_1080_P)

camRgb.setBoardSocket(dai.CameraBoardSocket.RGB)：设置了彩色相机的板载插槽为RGB。这表明彩色相机将通过RGB接口与系统板连接。
camRgb.setResolution(dai.ColorCameraProperties.SensorResolution.THE_1080_P)：设置了彩色相机的分辨率为1080P。这意味着彩色相机将以1080P的分辨率进行图像捕获。

monoLeft.setResolution(dai.MonoCameraProperties.SensorResolution.THE_400_P)
monoLeft.setBoardSocket(dai.CameraBoardSocket.LEFT)
monoRight.setResolution(dai.MonoCameraProperties.SensorResolution.THE_400_P)
monoRight.setBoardSocket(dai.CameraBoardSocket.RIGHT)

设置左侧和右侧的单目相机的相关属性

对于左侧的单目相机：

monoLeft.setResolution(dai.MonoCameraProperties.SensorResolution.THE_400_P)：设置了左侧单目相机的分辨率为400P。这意味着左侧单目相机将以400P的分辨率进行图像捕获。
monoLeft.setBoardSocket(dai.CameraBoardSocket.LEFT)：设置了左侧单目相机的板载插槽为LEFT。这表明左侧单目相机将通过与系统板的左侧接口连接。

对于右侧的单目相机：

monoRight.setResolution(dai.MonoCameraProperties.SensorResolution.THE_400_P)：设置了右侧单目相机的分辨率为400P。这意味着右侧单目相机将以400P的分辨率进行图像捕获。
monoRight.setBoardSocket(dai.CameraBoardSocket.RIGHT)：设置了右侧单目相机的板载插槽为RIGHT。这表明右侧单目相机将通过与系统板的右侧接口连接。

设置边缘检测器的最大输出帧大小

edgeDetectorRgb.setMaxOutputFrameSize(camRgb.getVideoWidth() * camRgb.getVideoHeight())

这行代码设置了边缘检测器的最大输出帧大小，以与彩色相机的视频帧大小相匹配。

camRgb.getVideoWidth()和camRgb.getVideoHeight()分别返回彩色相机的视频帧的宽度和高度。通过将这两个值相乘，可以得到彩色相机视频帧的总像素数。

edgeDetectorRgb.setMaxOutputFrameSize()用于设置边缘检测器的最大输出帧大小。通过将其设置为彩色相机视频帧的总像素数，确保边缘检测器的输出帧尺寸与彩色相机视频帧的尺寸相匹配。

这样做可以确保边缘检测器能够处理完整的彩色相机视频帧，并生成与原始视频帧相同尺寸的边缘检测结果。

Setup 7: 建立链接关系

建立相机和边缘检测器之间的链接

monoLeft.out.link(edgeDetectorLeft.inputImage)
monoRight.out.link(edgeDetectorRight.inputImage)
camRgb.video.link(edgeDetectorRgb.inputImage)

这段代码建立了相机和边缘检测器之间的链接，将相机的图像作为输入传递给相应的边缘检测器。

monoLeft.out.link(edgeDetectorLeft.inputImage): 将左侧单目相机的输出连接到左侧边缘检测器的输入。这意味着左侧边缘检测器将接收来自左侧单目相机的图像作为输入进行边缘检测。
monoRight.out.link(edgeDetectorRight.inputImage): 将右侧单目相机的输出连接到右侧边缘检测器的输入。这意味着右侧边缘检测器将接收来自右侧单目相机的图像作为输入进行边缘检测。
camRgb.video.link(edgeDetectorRgb.inputImage): 将彩色相机的视频输出连接到彩色边缘检测器的输入。这意味着彩色边缘检测器将接收来自彩色相机的视频帧作为输入进行边缘检测。

建立边缘检测区与输出端口的链接

edgeDetectorLeft.outputImage.link(xoutEdgeLeft.input)
edgeDetectorRight.outputImage.link(xoutEdgeRight.input)
edgeDetectorRgb.outputImage.link(xoutEdgeRgb.input)

这段代码将左侧、右侧和彩色边缘检测器的输出图像连接到相应的输出端口，以便将边缘检测结果输出。

edgeDetectorLeft.outputImage.link(xoutEdgeLeft.input): 将左侧边缘检测器的输出图像连接到xoutEdgeLeft的输入端口，以便将左侧边缘检测结果输出。
edgeDetectorRight.outputImage.link(xoutEdgeRight.input): 将右侧边缘检测器的输出图像连接到xoutEdgeRight的输入端口，以便将右侧边缘检测结果输出。
edgeDetectorRgb.outputImage.link(xoutEdgeRgb.input): 将彩色边缘检测器的输出图像连接到xoutEdgeRgb的输入端口，以便将彩色边缘检测结果输出。

建立xinEdgeCfg与边缘检测器配置输入的链接

xinEdgeCfg.out.link(edgeDetectorLeft.inputConfig)
xinEdgeCfg.out.link(edgeDetectorRight.inputConfig)
xinEdgeCfg.out.link(edgeDetectorRgb.inputConfig)

这段代码将xinEdgeCfg的输出链接到左侧、右侧和彩色边缘检测器的配置输入，以便将配置信息传递给边缘检测器。

xinEdgeCfg.out.link(edgeDetectorLeft.inputConfig): 将xinEdgeCfg的输出链接到左侧边缘检测器的配置输入。这意味着边缘检测器将接收来自xinEdgeCfg的配置信息，以进行相应的设置和调整。
xinEdgeCfg.out.link(edgeDetectorRight.inputConfig):将xinEdgeCfg的输出链接到右侧边缘检测器的配置输入。这意味着边缘检测器将接收来自xinEdgeCfg的配置信息，以进行相应的设置和调整。
xinEdgeCfg.out.link(edgeDetectorRgb.inputConfig): 将xinEdgeCfg的输出链接到彩色边缘检测器的配置输入。这意味着边缘检测器将接收来自xinEdgeCfg的配置信息，以进行相应的设置和调整。

Setup 8: 连接设备并启动管道

with dai.Device(pipeline) as device:

Setup 9: 创建与DepthAI设备通信的输入队列和输出队列

    edgeLeftQueue = device.getOutputQueue(name="edge left", maxSize=8, blocking=False)
    edgeRightQueue = device.getOutputQueue(name="edge right", maxSize=8, blocking=False)  
    edgeRgbQueue = device.getOutputQueue(name="edge rgb", maxSize=8, blocking=False)
    edgeCfgQueue = device.getInputQueue(name="edge cfg")

    print("Switch between sobel filter kernels using keys '1' and '2'")

这段代码创建了三个输出队列和一个输入队列，用于接收边缘检测器的输出和配置信息。

使用device.getOutputQueue(name="edge left", maxSize=8, blocking=False): 创建了三个输出队列edgeLeftQueue、edgeRightQueue和edgeRgbQueue，用于接收三个边缘检测器的输出。同时指定了name，maxSize=8表示队列的最大大小为8个元素。blocking=False表示队列是非阻塞模式的，即如果队列已满，新的元素将被丢弃。
使用device.getInputQueue(edgeCfgStr): 创建了一个输入队列edgeCfgQueue，用于接收边缘检测器的配置信息。指定name=“edge cfg”。

Setup 10: 主循环

    while True:

获取边缘检测器的输出

        edgeLeft = edgeLeftQueue.get()
        edgeRight = edgeRightQueue.get()
        edgeRgb = edgeRgbQueue.get()

从每个输出队列中获取边缘检测器的输出。

edgeLeft = edgeLeftQueue.get(): 从左侧边缘检测器的输出队列edgeLeftQueue中获取最新的输出。将这个输出赋值给变量edgeLeft。
edgeRight = edgeRightQueue.get(): 从右侧边缘检测器的输出队列edgeRightQueue中获取最新的输出。将这个输出赋值给变量edgeRight。
edgeRgb = edgeRgbQueue.get(): 从彩色边缘检测器的输出队列edgeRgbQueue中获取最新的输出。将这个输出赋值给变量edgeRgb。

从边缘检测器的输出中获取帧图像数据

        edgeLeftFrame = edgeLeft.getFrame()
        edgeRightFrame = edgeRight.getFrame()
        edgeRgbFrame = edgeRgb.getFrame()

这段代码从边缘检测器的输出中获取帧图像数据。

edgeLeftFrame = edgeLeft.getFrame(): 从左侧边缘检测器的输出edgeLeft中获取帧图像数据，并将其赋值给edgeLeftFrame变量。
edgeRightFrame = edgeRight.getFrame(): 从右侧边缘检测器的输出edgeRight中获取帧图像数据，并将其赋值给edgeRightFrame变量。
edgeRgbFrame = edgeRgb.getFrame(): 从彩色边缘检测器的输出edgeRgb中获取帧图像数据，并将其赋值给edgeRgbFrame变量。

显示边缘检测器的输出图像

        cv2.imshow("edge left", edgeLeftFrame)
        cv2.imshow("edge right", edgeRightFrame)
        cv2.imshow("edge rgb", edgeRgbFrame)

这段代码使用OpenCV库的imshow函数来显示边缘检测器的输出图像。

cv2.imshow("edge left", edgeLeftFrame): 使用imshow函数显示左侧边缘检测器的输出图像。edgeLeftStr是窗口标题，edgeLeftFrame是要显示的图像数据。
cv2.imshow("edge right", edgeRightFrame): 使用imshow函数显示右侧边缘检测器的输出图像。edgeRightStr是窗口标题，edgeRightFrame是要显示的图像数据。
cv2.imshow("edge rgb", edgeRgbFrame): 使用imshow函数显示彩色边缘检测器的输出图像。edgeRgbStr是窗口标题，edgeRgbFrame是要显示的图像数据。

通过这些代码，我们可以将边缘检测器的输出图像显示在窗口中，以便查看和分析结果。

对键盘输入响应程序

        key = cv2.waitKey(1)
        if key == ord('q'):
            break

        if key == ord('1'):
            print("Switching sobel filter kernel.")
            cfg = dai.EdgeDetectorConfig()
            sobelHorizontalKernel = [[1, 0, -1], [2, 0, -2], [1, 0, -1]]
            sobelVerticalKernel = [[1, 2, 1], [0, 0, 0], [-1, -2, -1]]
            cfg.setSobelFilterKernels(sobelHorizontalKernel, sobelVerticalKernel)
            edgeCfgQueue.send(cfg)

        if key == ord('2'):
            print("Switching sobel filter kernel.")
            cfg = dai.EdgeDetectorConfig()
            sobelHorizontalKernel = [[3, 0, -3], [10, 0, -10], [3, 0, -3]]
            sobelVerticalKernel = [[3, 10, 3], [0, 0, 0], [-3, -10, -3]]
            cfg.setSobelFilterKernels(sobelHorizontalKernel, sobelVerticalKernel)
            edgeCfgQueue.send(cfg)

这段代码实现了对键盘输入的响应，以实现一些功能的切换和配置更改。

key = cv2.waitKey(1): 等待并获取键盘输入的ASCII码。
if key == ord('q'): break: 如果按下的键是字母 ‘q’ 的ASCII码，即表示想要退出程序，那么会跳出循环，结束程序的运行。
if key == ord('1'):: 如果按下的键是字母 ‘1’ 的ASCII码，即表示想要切换到第一种卷积核，那么会执行以下操作：
- 创建一个名为cfg的dai.EdgeDetectorConfig对象，用于配置边缘检测器。
- 定义sobelHorizontalKernel和sobelVerticalKernel分别为第一种卷积核的水平和垂直滤波器矩阵。
- 使用cfg.setSobelFilterKernels方法将这些滤波器矩阵设置到配置对象中。
- 将配置对象发送到名为edgeCfgQueue的消息队列中。
if key == ord('2'):: 如果按下的键是字母 ‘2’ 的ASCII码，即表示想要切换到第二种卷积核，那么会执行以下操作：
- 创建一个名为cfg的dai.EdgeDetectorConfig对象，用于配置边缘检测器。
- 定义sobelHorizontalKernel和sobelVerticalKernel分别为第二种卷积核的水平和垂直滤波器矩阵。
- 使用cfg.setSobelFilterKernels方法将这些滤波器矩阵设置到配置对象中。
- 将配置对象发送到名为edgeCfgQueue的消息队列中。

通过这些代码，我们可以根据按键的不同切换卷积核或退出程序。

Setup 11:运行程序

在终端中输入如下指令运行程序

python main.py

程序运行以后，可以看到如下效果
在这里插入图片描述

一步一步学OAK之五:通过OAK相机实现边缘检测

目录