滤波这个词来源于频域处理，因为它的目的就是针对频率分量而言的，滤除一定的频率分量。但其实滤波在时域（图像中对应为空域）中也可以完成相应的操作，比如低通滤波器滤除了代表细节的高频分量，我们可以直接在图像空域通过高斯卷积达到类似平滑的效果。事实上，线性空间滤波与频率域滤波之间存在一一对应的关系，注意这里说的是线性空间，也就意味着空域滤波相比于频率域滤波，还可以实现非线性滤波。
图像空间域上的处理一般都是模板的滑窗，产生一个新的图像，对每个像素而言，位置坐标就是模板的原点，像素的灰度值是利用原点在模板邻域像素的计算结果。关于新的像素值是如何利用领域像素计算，就决定了该操作是线性滤波还是非线性滤波：如果是线性操作如加权和就是线性滤波，否则就是非线性滤波。
而在线性滤波中，我们需要注意的是卷积和相关。它们的区别用一句话表示就是相关的模板不会旋转180度，而卷积的模板要旋转180度才与原图中对应像素相乘（加权相加，说明是线性滤波）。那么旋转180度造成了什么影响呢？或者说为什么要旋转呢？卷积相比于相关，有什么优势呢？书中通过对一个冲激序列（只有一个1，其余全0）和另外一个模板序列相关操作之后的结果进行分析，结果是模板序列的逆序（翻转）版本。而卷积的基本特性是某个函数与单位冲激卷积，得到冲激处的函数的拷贝，即不同时刻的响应的叠加。为了实现结果是函数的拷贝，可以事先将模板翻转，这样利于相关的结果会翻转的特性，翻转两次，得到拷贝。
卷积的意义不必多说，它是线性系统理论的基础。相关除了其翻转性质被卷积利用，还可用于寻找图像中的匹配。因为当图像中有与模板完全一样的部分时，模板移动到这里求相关会取最大值。卷积和相关还有相同的一点需要注意的是对于图像边界点，当模板中心处于图像边界点时，模板会有一部分没有与图像重合，这就需要我们人为填充（m-1）/2和(n-1)/2。
在实际中用到的卷积核一般是对称的，所以都是直接求相关，这其实也是造成二者混淆的原因之一。
线性滤波器包括在模板中求区域灰度平均值，模板中系数一样，又称作盒状滤波器。还有二维高斯滤波，是由二维高斯函数得出模板的权重，离中心点越远，权重越低。非线性滤波器有最大操作，在模板区域取灰度最大值作为当前中心的灰度值，好比是神经网络中的池化层。最大操作滤波器其实属于统计排序滤波器，取的是排序之后的最大值。排序滤波器中最知名的是中值滤波器。中值滤波就是取邻域内像素的排序后的中值作为像素新值。如果噪声是脉冲的，那么经过排序之后就会在序列前端或者后端，所以取中值就可以排除这种噪声（椒盐噪声）。
模板影响滤波的因素除了权重系数还有模板的尺寸大小。书中例3.13的对比了不同尺寸的滤波器对不同尺寸图案的滤波结果。与模板大小相近的细节受到更多影响，所以选取的模板尺寸应该小于想要保留的目标的尺寸。
均值滤波可以看作是一种积分，那么积分可以平滑图像，微分就可以锐化图像。微分又分为一阶微分和二阶微分。对于灰度跳变，一阶微分表现为极值，二阶微分表现为过零点。而二阶微分提取的边缘更细，执行上也更加容易。
我们希望二阶微分算子是各向同性的，这样图像旋转后滤波的结果不会发生改变。拉普拉斯算子就是最简单的各向同性微分算子。拉普拉斯算子是一个线性算子，因为任意阶微分都是线性操作。
即模板在当前像素的四邻域位置取1，在当前像素位置取-4，45度方向为0.当然也可以按照定义对对角线方向也求梯度，这样包围当前像素的8个位置都取1，当前像素位置为-8.把权重都取反，这样又可以得到另外两个常用的拉普拉斯算子。
拉普拉斯滤波后的图像和原图进行叠加就得到锐化后的图像。
锐化最关键的一步是希望得到一个与原图像的差值，拉普拉斯滤波通过二阶微分得到灰度跳变处，我们也可以利用原图与平滑之后的图像得到一个差值。印刷界和出版界经常使用的就是这种方法，称为非锐化掩蔽。原始图像与平滑之后的图像的差值作为模板，然后再叠加到原图上，叠加的过程中可以乘一个权重系数k，k>1时称作高提升滤波。但k如果使模板峰值大于原图最小值，最终结果就可能出现负灰度，导致边缘有暗的晕轮。
说完了二阶，现在说一下以一阶微分（梯度）为基础的锐化。和二阶的拉普拉斯相比，不同的是梯度的幅值涉及平方和和开方运算，虽然对x方向和y方向的微分是线性变换，但是梯度幅值是非线性变换。即便用x方向和y方向的梯度的绝对值之和作为梯度的大小，也不是各向同性的，只有当旋转角度是90度的倍数时，x和y方向利用的交换性才有部分同乡不变性。既然分为x方向和y方向的梯度，每一种梯度算子都有两个模板。最简单的梯度非线性图像锐化算子是Robert算子。它的特点是大小是2x2的，而且是交叉方向上的差分。Prewitt算子是3x3大小的，左右相减，上下相减。Soble算子考虑了与中心点的距离，45度方向大小是1，紧邻的上下左右大小是2.