解决树莓派原装libcamera(csi)摄像头无法通过opencv读取数据的问题
1. 环境
1.1 硬件
树莓派4B
树莓派原装CSI摄像头IMX219（libcamera Camera Raspberry Pi）
1.2 软件
64位树莓派arrch64，Debian 11(bullseye)
Python3.9
OpenCv
2. 遇到的问题
import cv2
cap = cv2.VideoCapture(0)
ret, frame = cap.read()
此时返回的ret,frame = (False, None)
继续执行下面这条语句
img=cv2.cvtColor(frame,cv2.COLOR_BGR2GRAY)
报错如下
cv2.error: OpenCV(4.5.0-dev) /home/pi/opencv/modules/imgproc/src/color.cpp:182: error: (-215:Assertion failed) !_src.empty() in function 'cvtColor'
若直接执行
cv2.imshow("frame", frame)
则报错如下
error: (-215)size.width>0&&size.height>0
出现上述情况，应该是opencv读取不到摄像头数据所致
接下来排查摄像头是否存在问题
执行下面指令
libcamera-hello --qt-preview
发现摄像头可以成功打开
接下来尝试了网上所有的解决方法，都未能奏效。于是放弃opencv直接调用。
3. 解决方法
使用Python的picamera2库调用摄像头，其直接输出的numpy.ndarray数据类型与opencv无缝衔接，完美替换上述opencv直接调用的方案。
树莓派镜像在Bullseye版本之后，底层的树莓派驱动由Raspicam切换成libcamera。libcamera是一个开源的软件栈，方便于第三方移植和开发自己的摄像头驱动。官方已经针对libcamera提供了pycamera2库，方便用户使用Python程序调用。
3.1 picamera2安装
sudo apt install -y python3-picamera2
3.2 例程
from picamera2 import Picamera2
import cv2
import time
#初始化
picam2 = Picamera2() #创建摄像头对象开启摄像头，只能创建一次
picam2.start() #开启摄像头，无需重复开启
time.sleep(1)
#抓拍
array = picam2.capture_array("main") #捕获一帧相机数据，输出为numpy.ndarray类型，与opencv无缝连接
#使用opencv显示图像
cv2.imshow('test', array)
cv2.waitKey(0) #按任意键关闭预览窗口
cv2.destroyWindow('test')
4. 参考资料
Picamera2 Python摄像头库，基于libcamera开源框架、适用于树莓派 - CNX Software中文站 (cnx-software.cn)
picamera2官方文档The Picamera2 Library (raspberrypi.com)