Camera Calibration 相机标定
一、相机标定方法
在opencv中提供了一组函数用于实现相机的标定，标定返回的值包括：相机内参矩阵(fx fy xc yc)、相机外参矩阵(R t)以及畸变矩阵。
标定的步骤如下：
1. 准备棋盘格，棋盘格图片可以自行打印，以下使用10*7方格的棋盘格，交点则为9*6,棋盘格的大小1mm,即 gridsize=1
2. 拍照，拍照的原则是多角度，根据理论至少要两种角度的拍照，实际中通常会拍20张左右；
3. 使用opencv提供的角点检测函数findChessboardCorners找到棋盘格中的角点，并将每幅图片的角点值存放到list中，同时将棋盘格的角点的三维坐标存放到另一个list。
4. 使用calibrateCamera函数获取内存矩阵、畸变矩阵、旋转矩阵以及转移矩阵。
5.使用undistort函数将畸变的图像进行校正并查看校正后的图片效果。
6. 代码如下(opencv_3.4.3)：
#!/usr/bin/env python3
# -*- coding: utf-8 -*-
import numpy as np
import cv2
#图片角点个数
objp_dict = {
1: (9, 5),
2: (9, 6),
3: (9, 6),
4: (9, 6),
5: (9, 6),
6: (9, 6),
7: (9, 6),
8: (9, 6),
9: (9, 6),
10: (9, 6),
11: (9, 6),
12: (9, 6),
13: (9, 6),
14: (9, 6),
15: (9, 6),
16: (9, 6),
18: (9, 6),
17: (9, 6),
19: (9, 6),
20: (9, 6),
}
objp_list = []
corners_list = []
for k in objp_dict:
nx, ny = objp_dict[k]
# Prepare object points, like (0,0,0), (1,0,0), (2,0,0) ....,(6,5,0) gridsize=1(mm)
objp = np.zeros((nx*ny,3), np.float32)
#生成角点的三维坐标
objp[:,:2] = np.mgrid[0:nx, 0:ny].T.reshape(-1,2)
# Make a list of calibration images
fname = 'camera_cal/calibration%s.jpg' % str(k)
img = cv2.imread(fname)
# Convert to grayscale
gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
# Find the chessboard corners
ret, corners = cv2.findChessboardCorners(gray, (nx, ny), None)
# If found, save & draw corners
if ret == True:
# Save object points and corresponding corners
objp_list.append(objp)
corners_list.append(corners)
# Draw and display the corners
#cv2.drawChessboardCorners(img, (nx, ny), corners, ret)
#plt.imshow(img)
#plt.show()
#print('Found corners for %s' % fname)
else:
print('Warning: ret = %s for %s' % (ret, fname))
img = cv2.imread('camera_cal/calibration1.jpg')
img_size = (img.shape[1], img.shape[0])
'''
mtx : 内参矩阵
dist: 畸变矩阵
rvecs : 旋转矩阵
tvecs : 转移矩阵
'''
ret, mtx, dist, rvecs, tvecs = cv2.calibrateCamera(objp_list, corners_list, img_size,None,None)
#将原始图片转换成未发生畸变的图片
dst = cv2.undistort(img, mtx, dist, None, mtx)
com_img = np.hstack((img, dst))
cv2.namedWindow('image', cv2.WINDOW_NORMAL)
cv2.imshow('image', com_img)
cv2.waitKey(0)
cv2.destroyAllWindows()
二、 什么是相机标定（What is Camera Calibration?）
找到影响图像成像过程的内部相机参数：
图像中心（不是width/2, height/2）
焦距长度
行像素和列像素的比例因子
扭曲factor
镜片扭曲
三、动机
Camera Calibration 用于
重构真实世界模型：Virtual L.A. project
与世界交互：e.g.机器人
如上图所示，估计红色与蓝色两个点的几何投影
四、 图像的行列比例（Scaling of Rows and Columns in Image）
相机像素不是完全符合正方形
相机输出可能模糊为近似值（NTSC）
图像可能从数据卡上获得 ·A/D转换器采样NTSC信号
相机->NTSC信号->转换为数字信号->显示器上显示
五、 混合透镜成像（Compound Lens Imaging）
单透镜系统在其周围部分会造成图像扭曲（image distort）
混合透镜可以用于减少彩色效应和针垫效应
普通摄像机的相机图像平面
对同样的摄像机(pinhole camera)，相机图像平面(camera image plane)不同
六、相机标定目标
将所拍摄图像在三维坐标系中找到对应位置
