图像处理——图像及其数学与物理背景

图像及其数学与物理背景

1 基础

1.1 线性

线性：这与矢量（线性）空间（vector(linear) space）有关，其中常用矩阵代数。允许矢量空间的一个新元素可以表示为已有元素与系数（标量，通常是实数）乘积的和。

叠加原理：输入的和（分别地，乘）产生各自输入的和（分别地，乘）。

1.2 狄拉克（Dirac）分布和卷积

狄拉克分布（Dirac distribution）：$\delta(x,y):\int_{-\infty}^{\infty}\int_{-\infty}^{\infty}\delta(x,y) =1$ 且对于所以的$x,y\ne 0,\delta(x,y) = 0$

• 筛特性(sifting property):$f(x,y)在点(\lambda,\mu)的值 \int_{-\infty}^{\infty}\int_{-\infty}^{\infty}f(x,y)\delta(x-\lambda,y-\mu)dxdy=f(\lambda,\mu)$
• 将图像函数表示成覆盖整个图像平面的位于各点a,b的狄拉克脉冲的线性组合。$\int_{-\infty}^{\infty}\int_{-\infty}^{\infty}f(a,b)\delta(a-x,b-y)dadb=f(x,y)$

卷积：卷积是一种积分，反映一个函数$f(t)$与另一个函数上$h(t)$移动时所覆盖的量

• 函数$f$和$h$的在有限域$[0,t]$上的1D卷积$f*h$公式：$(f*h)(t) = \int_0^tf(t)h(t-\tau)d\tau$
• $(f*h)(t) = \int_{-\infty}^{\infty}f(t)h(t-\tau)d\tau=\int_{-\infty}^{\infty}f(t-\tau)h(t)d\tau$，设$f,g,h$为函数，$a$为一标量常数：性质
  
  • $f*h = h*f$
  • $f*(g*h) = (f*g)*h$
  • $f*(g+h)=(f*g)+(f*h)$
  • $a(f*g)=(af)*g=f*(ag)$
  • 微分：$\frac{d}{dx}(f*h)=\frac{df}{dx}*h=f*\frac{dh}{dx}$
  • 2D函数$f$和$h$的卷积$g$记为$f*h$：$(f*g)(x,y) = \int_{-\infty}^{\infty}\int_{-\infty}^{\infty}f(a,b)h(x-a,y-b)dadb=\int_{-\infty}^{\infty}\int_{-\infty}^{\infty}f(x-a,y-b)h(a,b)dadb=(h*f)(x,y)$
• 离散卷积：求和。线性操作中输出图像像素$g(i,j)$的计算结果是输入图像像素$f(i,j)$的一份局部邻域O的亮度的线性组合邻域O中像素的贡献用系数$h$加权$f(i,j)=\sum\limits_{(m,n)\in O}\sum h(i-m,j-n)g(m,n)$$h$的卷积掩膜(convolution mask)

2 积分线性变换

2.1作为线性系统的图像

算子：从一个矢量空间到另一个矢量空间的映射：性质

• $\mathcal{L}\{af_1+bf_2\}=a\mathcal{L}\{f_1\}+b\mathcal{L}\{f_2\}$
• 线性系统$\mathcal{L}$对输入图像$f$的响应$g$：$g(x,y)=\mathcal{L}[f(x,y)]=\int_{-\infty}^{\infty}\int_{-\infty}^{\infty}f(a,b)\mathcal{L}[\delta(x-a,y-b)]dadb=\int_{-\infty}^{\infty}\int_{-\infty}^{\infty}f(a,b)h(x-a,y-b)dadb=(f*h)(x,y)$
  
  • $h$是线性系统$\mathcal{L}$的冲击响应
• $G(u,v) = F(u,v)H(u,v)$

2.3 1D 傅里叶变化

连续傅里叶变化F：$\mathcal{F}[f(t)] = F(\xi)=\int_{-\infty}^{\infty}f(t)e^{-2\pi i\xi t}dt$

傅里叶逆变换$F^{-1}$： $\mathcal{F}^{-1}[F(\xi)]=f(t) = \int_{-\infty}^{\infty} F(\xi)e^{2\pi i\xi t}dt$

存在条件：

1. $\int_{-\infty}^{\infty}|f(t)|dt < \infty$,即$f$必须比指数曲线衰减更快
2. $f$在任何有限的区间内只能有有限个不连续的点

傅里叶变换表达为黎曼和$f(t) = (\cdots +F(\xi_0)e^{2\pi i \xi_0t}+F(\xi_1)e^{2\pi i \xi_1t}+\cdots)\Delta \xi\quad \Delta \xi = \xi_{k+1}-\xi_k$

性质：

• 对称性：1D函数$f(t)$的形状都可以分解为偶对称$f_e(t) = \frac{f(t)+f(-t)}{2}$和奇对称$f_o(t) = \frac{f(t)-f(-2)}{2}$

• 实数$f(t)$	$F(\xi)$的数值	$F(\xi)$的对称性
  一般情况	复数	共轭对称
  偶对称	仅有实部	偶对称
  奇对称	仅有虚部	奇对称

  直流偏移量(DC direct current) $F(0) = \int_{-\infty}^{\infty}f(t)dt\quad f(0) = \int_{-\infty}^{\infty}F(\xi)d\xi$

  帕斯维尔(Parseval)定理：$\int_{-\infty}^{\infty}|f(t)|^2dt=\int_{-\infty}^{\infty}|F(\xi)|^2d\xi$

• 性质	$f(t)$	$F(\xi)$
  线性	$af_1(t)+bf_2(t)$	$aF_1(\xi)+bF_2(\xi)$
  对偶性	$F(t)$	$f(-\xi)$
  卷积	$(f*g)(t)$	$F(\xi)G(\xi)$
  乘积	$f(t)g(t)$	$(F*G)(\xi)$
  时间移位	$f(t-t_0)$	$e^{-2\pi i\xi t_0}F(\xi)$
  频率位移	$e^{2\pi i \xi_0 t}f(t)$	$F(\xi-\xi_0)$
  微分	$\frac{df(t)}{dt}$	$2\pi i \xi F(\xi)$
  乘以$t$	$tf(t)$	$\frac{i}{2\pi}\frac{dF(\xi)}{d\xi}$
  时间伸缩	$f(at)$	$\frac{1}{|a|}F(\frac{\xi}{a})$

  实部与虚部

  • 复数谱：$F(\xi) = Re(F(\xi))+iIm(F(\xi))$
  • 幅值谱：$|F(\xi)|=\sqrt{Re(F^2(\xi))+iIm(F^2(\xi))}$
  • 相位谱$\psi(\xi) = arctan(\frac{Im(F(\xi))}{Re(F(\xi))})$ 功率谱： $|F(\xi)|=\sqrt{Re(F^2(\xi))+iIm(F^2(\xi))}$

• 测不准原理（uncertainty principle）：不可能存在在时域和频域都可以任意窄的信号。信号持续时间*带宽$\ge \frac{1}{\pi}$

2.4 2D傅里叶变换

连续图像函数$f$的2D傅里叶变换定义为如下积分 ：$F(u,v)=\int_{-\infty}^{\infty}\int_{-\infty}^{\infty} f(x,y)e^{-2\pi i (xu+yv)}dxdy$ -> $\mathcal{F}\{ f(x,y)\} = F(u,v)$

傅里叶逆变换：$f(x,y)=\int_{-\infty}^{\infty}\int_{-\infty}^{\infty} F(u,v)e^{-2\pi i (xu+yv)}dudv$

• (x,y)表示图像的坐标，(u,v)为空间频率

性质：

• 线性 $\mathcal{F}\{ af_1(x,y)+bf_2(x,y)\} = aF_1(u,v)+bF_2(u,v)$
• 图像域原点平移 $\mathcal{F}\{ f(x-a,y-b)\} = F(u,v)e^{-2\pi i (au+bv)}$
• 频域原点平移 $\mathcal{F}\{ f(x,y)e^{2\pi i(u_0x+v_0y)}\} = F(u-u_0,v-v_0)$
• 如果$f(x,y)$是实值则$F(-u,-v) = F^{*}(u,v)$
• 卷积(定理)对偶性：$\mathcal{F}\{(f*h)(x,y)\} = F(u,v)H(u,v) \quad \mathcal{F}\{f(x,y)h(x,y)\} = (F*H)(u,v)$
• 离散2D傅里叶
  
  • 变换：$F(u,v) = \frac{1}{MN}\sum\limits_{m=0}^{M-1}\sum\limits_{n=0}^{N-1} f(m,n)e^{-2\pi i (\frac{mu}{M}+\frac{nv}{N})} \quad u = 0,1\cdots,M-1,v = 0,1,\cdots,N-1$
  • 逆变换：$f(m,n) = \sum\limits_{u=0}^{M-1}\sum\limits_{v=0}^{N-1}F(u,v)e^{2\pi i (\frac{mu}{M}+\frac{nv}{N})}\quad m =0,1,\cdots,M-1,n = 0,1,\cdots,N-1$
  • 周期性：$F(u,-v) = F(u,N-v) \quad f(-m,n) = f(M-m,n)\\ F(-u,v)=F(M-u,v)\quad f(m,-n)=f(m,N-n)\\F(aM+u,bN+v)=F(u,v) \quad f(aM+m,bN+n)=f(m,n)$

中心化功率谱：低频信号位于中心，高频离角点近。

2.5 采样与香农约束

​ 图像的采样点：$x = j\Delta x,y = k\Delta y,i=1,\cdots,M.k = 1,\cdots,N$ 。两个相邻的采样点在$x$轴上相差$\Delta x$在y上相差$\Delta y$。称距离$\Delta x和\Delta y$为采样间隔(sampling interval)。采样的矩阵$f(\Delta x,\Delta y)$构成图像。理想采样$s(x,y) = \sum\limits_{j=1}^M \sum\limits_{k=1}^N \delta(x-j\Delta x,y - k\Delta y)$。采样图像$f_s(x,y) = f(x,y)s(x,y)=f(x,y) \sum\limits_{j=1}^M \sum\limits_{k=1}^N \delta(x-j\Delta x,y - k\Delta y)$

无限的采样格栅：$\mathcal{F}\{ \sum\limits_{j=-\infty}^{\infty}\sum\limits_{k=-\infty}^{\infty}\delta(x-j\Delta x,y-k\Delta y)\}=\frac{1}{\Delta x\Delta y} \sum\limits_{m=-\infty}^{\infty} \sum\limits_{n=-\infty}^{\infty}\delta(u - \frac{m}{\Delta x},v-\frac{n}{\Delta y})$

采样后图像的傅里叶变换是周期性重复的图像的图像傅里叶变化$F(u,v)$之和：假设信号的最大频率是$f_m$，即信号是带宽有限的(band-limited)，意味着傅里叶变换$F$在频率的某个区间外$|f|>f_m$是0。

混迭(aliasing)： 在某些情况下，周期性重复的图像傅里叶变换$F(u,v)$会引起图像失真的现象。

香农采样定理(shannon sampling theorem)： 对于有限带宽频谱的图像，只要采样间隔满足下列条件，其周期性重复的傅里叶变换$F(u,v)$就不会发生混迭$\Delta x < \frac{1}{2U}\quad \Delta y< \frac{1}{2V}$

2.6 离散余弦变换

​ 离散余弦变换(DCT)是积分线性变换

未完待续。。。。。。