1、前言
我们生活在数据大爆炸时代，每时每刻都在产生海量的数据如视频，文本，图像和博客等。由于数据的类型和大小已经超出了人们传统手工处理的能力范围，聚类，作为一种最常见的无监督学习技术，可以帮助人们给数据自动打标签，已经获得了广泛应用。聚类的目的就是把不同的数据点按照它们的相似与相异度分割成不同的簇（注意：簇就是把数据划分后的子集），确保每个簇中的数据都是尽可能相似，而不同的簇里的数据尽可能的相异。从模式识别的角度来讲，聚类就是在发现数据中潜在的模式，帮助人们进行分组归类以达到更好理解数据的分布规律。
聚类的应用非常广泛，比如在商业应用方面，聚类可以帮助市场营销人员将客户按照他们的属性分层，发现不同的客户群和他们的购买倾向（如下图将客户按照他们对颜色喜好归类）。这样公司就可以寻找潜在的市场，更高效地开发制定化的产品与服务。在文本分析处理上，聚类可以帮助新闻工作者把最新的微博按照的话题相似度进行分类，而快速得出热点新闻和关注对象。在生物医学上，可以根据对相似表达谱的基因进行聚类，从而知道未知基因的功能。
由于聚类是无监督学习方法，不同的聚类方法基于不同的假设和数据类型，比如基于。由于数据通常可以以不同的角度进行归类，因此没有万能的通用聚类算法，并且每一种聚类算法都有其局限性和偏见性。也就是说某种聚类算法可能在市场数据上效果很棒，但是在基因数据上就无能为力了。
聚类算法很多，包括基于划分的聚类算法（如：k-means），基于层次的聚类算法（如：BIRCH），基于密度的聚类算法（如：DBSCAN），基于网格的聚类算法( 如：STING )等等。本文将介绍聚类中一种最常用的方法——基于密度的聚类方法（density-based clustering）。
一、算法思想：
DBSCAN(Density-Based Spatial Clustering of Applications with Noise)是一个比较有代表性的基于密度的聚类算法。与划分和层次聚类方法不同，它将簇定义为密度相连的点的最大集合，能够把具有足够高密度的区域划分为簇，并可在噪声的空间数据库中发现任意形状的聚类。
DBSCAN中的几个定义：
- Ε邻域：给定对象半径为Ε内的区域称为该对象的Ε邻域；
- 核心对象：如果给定对象Ε领域内的样本点数大于等于MinPts，则称该对象为核心对象；
- 直接密度可达：对于样本集合D，如果样本点q在p的Ε领域内，并且p为核心对象，那么对象q从对象p直接密度可达。
- 密度可达：对于样本集合D，给定一串样本点p1,p2….pn，p= p1,q= pn,假如对象pi从pi-1直接密度可达，那么对象q从对象p密度可达。
- 密度相连：存在样本集合D中的一点o，如果对象o到对象p和对象q都是密度可达的，那么p和q密度相联。
可以发现，密度可达是直接密度可达的传递闭包，并且这种关系是非对称的。密度相连是对称关系。DBSCAN目的是找到密度相连对象的最大集合。
Eg: 假设半径Ε=3，MinPts=3，点p的E领域中有点{m,p,p1,p2,o}, 点m的E领域中有点{m,q,p,m1,m2},点q的E领域中有点{q,m},点o的E领域中有点{o,p,s},点s的E领域中有点{o,s,s1}.
那么核心对象有p,m,o,s(q不是核心对象，因为它对应的E领域中点数量等于2，小于MinPts=3)；
点m从点p直接密度可达，因为m在p的E领域内，并且p为核心对象；
点q从点p密度可达，因为点q从点m直接密度可达，并且点m从点p直接密度可达；
点q到点s密度相连，因为点q从点p密度可达，并且s从点p密度可达。
二、算法优点：
1. 与K-means方法相比，DBSCAN不需要事先知道要形成的簇类的数量。
2. 与K-means方法相比，DBSCAN可以发现任意形状的簇类。
3. 同时，DBSCAN能够识别出噪声点。对离群点有较好的鲁棒性，甚至可以检测离群点。
4.DBSCAN对于数据库中样本的顺序不敏感，即Pattern的输入顺序对结果的影响不大。但是，对于处于簇类之间边界样本，可能会根据哪个簇类优先被探测到而其归属有所摆动。
5.DBSCAN被设计与数据库一同使用，可以加速区域的查询。例如 使用R*树。
其核心思想就是先发现密度较高的点，然后把相近的高密度点逐步都连成一片，进而生成各种簇。算法实现上就是，对每个数据点为圆心，以eps为半径画个圈（称为邻域eps-neigbourhood），然后数有多少个点在这个圈内，这个数就是该点密度值。然后我们可以选取一个密度阈值MinPts，如圈内点数小于MinPts的圆心点为低密度的点，而大于或等于MinPts的圆心点高密度的点（称为核心点Core point）。如果有一个高密度的点在另一个高密度的点的圈内，我们就把这两个点连接起来，这样我们可以把好多点不断地串联出来。之后，如果有低密度的点也在高密度的点的圈内，把它也连到最近的高密度点上，称之为边界点。这样所有能连到一起的点就成一了个簇，而不在任何高密度点的圈内的低密度点就是异常点。下图展示了DBSCAN的工作原理。
当设置MinPts=4的时候，红点为高密度点，蓝点为异常点，黄点为边界点。红黄点串成一起成了一个簇。
由于DBSCAN是靠不断连接邻域内高密度点来发现簇的，只需要定义邻域大小和密度阈值，因此可以发现不同形状，不同大小的簇。下图展示了一个二维空间的DBSCAN聚类结果。
DBSCAN可以发现2个弧形的簇
DBSCAN算法伪码表达如下：
DBSCAN实现伪码（来源： Han 2011）
3、发现不同密度的簇
由于DBSCAN使用的是全局的密度阈值MinPts, 因此只能发现密度不少于MinPts的点组成的簇，即很难发现不同密度的簇。其成功与失败的情况举例如下：
左图有三个簇，一个全局密度阈值可以把三个簇分开。但是在右图中，一个阈值无法把三个簇分开，过高的阈值会把C3全部变成异常点，过低的阈值会把C1和C2合并起来。（来源：http://www.sciencedirect.com/science/article/pii/S0031320316301571）
为了解决其发现不同密度的簇，目前已经有很多新的方法被发明出来，比如OPTICS（Ordering points to identify the clustering structure）将邻域点按照密度大小进行排序，再用可视化的方法来发现不同密度的簇，如下图所示。OPTICS必须由其他的算法在可视化的图上查找“山谷”来发现簇，因此其性能直接受这些算法的约束。
OPTICS将数据以密度的形式排序并展示，不同的山谷就是不同密度大小的簇。（来源：https://en.wikipedia.org/wiki/OPTICS_algorithm）
另外SNN采用一种基于KNN（最近邻）来算相似度的方法来改进DBSCAN。对于每个点，我们在空间内找出离其最近的k个点（称为k近邻点）。两个点之间相似度就是数这两个点共享了多少个k近邻点。如果这两个点没有共享k近邻点或者这两个点都不是对方的k近邻点，那么这两个点相似度就是0。然后我们把DBSCAN里面的距离公式替换成SNN相似度，重新算每个点的邻域和密度，就可以发现不同密度的簇了。SNN的核心就是，把原始的密度计算替换成基于每对点之间共享的邻域的范围，而忽略其真实的密度分布。SNN的缺点就是必须定义最近邻个数k, 而且其性能对k的大小很敏感。下图展示了SNN计算相似度的方法。
i 点和 j 点共享4个近邻点，所以它们相似度为4
2014年Science杂志刊登了一种基于密度峰值的算法DP（Clustering by fast search and find of density peaks），也是采用可视化的方法来帮助查找不同密度的簇。其思想为每个簇都有个最大密度点为簇中心，每个簇中心都吸引并连接其周围密度较低的点，且不同的簇中心点都相对较远。为实现这个思想，它首先计算每个点的密度大小（也是数多少点在邻域eps-neigbourhood内），然后再计算每个点到其最近的且比它密度高的点的距离。这样对每个点我们都有两个属性值，一个是其本身密度值，一个是其到比它密度高的最近点的距离值。对这两个属性我们可以生成一个2维图表（决策图），那么在右上角的几个点就可以代表不同的簇的中心了，即密度高且离其他簇中心较远。然后我们可以把其他的点逐步连接到离其最近的且比它密度高的点，直到最后连到某个簇中心点为止。这样所有共享一个簇中心的点都属于一个簇，而离其他点较远且密度很低的点就是异常点了。由于这个方法是基于相对距离和相对密度来连接点的，所以其可以发现不同密度的簇。DP的缺陷就在于每个簇必须有个最大密度点作为簇中心点，如果一个簇的密度分布均与或者一个簇有多个密度高的点，其就会把某些簇分开成几个子簇。另外DP需要用户指定有多少个簇，在实际操作的时候需要不断尝试调整。下图展示了一个DP生成的决策图。
左图为5个簇的分布，右图为DP生成的决策图，其右上角5个点就是左图五个簇的中心点。（来源：http://science.sciencemag.org/content/344/6191/1492）
除此之外，还可以用密度比估计（Density-ratio estimation）来克服DBSCAN无法发现不同密度簇的缺陷。密度比的核心思想就是对每个点，计算其密度与其邻域密度的比率，然后用密度比计算替换DBSCAN的密度计算来发现核心点Core point，而其他过程和DBSCAN不变。这样一来，每个局部高密度点就会被选出来作为核心点，从而发现不同密度的簇。基于这个思想，我们还可以把原始数据按其密度分布进行标准化（ReScale），即把密度高的区域进行扩张，密度低的区域继续收缩。这样以来，不同密度的簇就可以变成密度相近的簇了，我们再在标准化后的数据上直接跑DBSCAN就搞定了。这种方法需要用户设置邻域范围来计算密度比，下图展示了标准化前后的数据分布对比。
不同密度的簇在（ReScale）标准化后，变成密度相近的簇，进而DBSCAN可以用全局阈值发现不同的簇
4、讨论
基于密度的聚类是一种非常直观的聚类方法，即把临近的密度高的区域练成一片形成簇。该方法可以找到各种大小各种形状的簇，并且具有一定的抗噪音特性。在日常应用中，可以用不同的索引方法或用基于网格的方法来加速密度估计，提高聚类的速度。基于密度的聚类也可以用在流数据和分布式数据中，关于其他方向的应用，详见（Aggarwal 2013）.
5、源码下载 (Matlab)
DP: https://au.mathworks.com/matlabcentral/fileexchange/53922-densityclust
DBSCAN, SNN, OPTICS 和 Density-ratio: https://sourceforge.net/projects/density-ratio/
三、算法缺点：
1. DBScan不能很好反映高维数据。
2. DBScan不能很好反映数据集以变化的密度。
3.由于DBSCAN算法直接对整个数据集进行操作，并且在聚类之前需要建立相应的R*树，并绘制k-dist图，因此算法所需的内存空间和I/O消耗都相当可观。在计算资源有限而数据量又非常庞大的情况下，DBSCAN算法的效率将受到很大影响。（DBSCAN算法将区域查询得到的所有未被处理过的点都作为种子点，留待下一步扩展处理。对于大规模数据集中的较大类而言，这种策略会使种子点的数目不断膨胀，算法所需的内存空间也会快速增加。）
4.由于DBSCAN算法使用了全局性表征密度的参数，因此当各个类的密度不均匀，或类间的距离相差很大时，聚类的质量较差。(当各个类的密度不均匀、或类间的距离相差很大时，如果根据密度较高的类选取较小的Eps值，那么密度相对较低的类中的对象Eps 邻域中的点数将小Minpts，则这些点将会被错当成边界点，从而不被用于所在类的进一步扩展，因此导致密度较低的类被划分成多个性质相似的类。与此相反，如果根据密度较低的类来选取较大的Eps值，则会导致离得较近而密度较大的类被合并，而它们之间的差异被忽略。所以在上述情况下，很难选取一个合适的全局Eps值来获得比较准确的聚类结果。)
5.DBSCAN不是完全确定的，边界点从不同的簇中获得，可以使不同簇的一部分，取决于数据处理。
6.DBSCAN的质量取决于regionQuery(P,Eps)函数中距离的测量。最常用的距离度量是欧式距离，尤其是在高维数据中，由于所谓的维数灾难，这种度量基本上是无用的，很难为E找到一个恰当的值。虽然目前有一些基于欧式距离的算法，但是如果不能对数据和规模有很好的了解，也很难找一个有意义的距离阈值E。
7.当密度差异大时，由于选取的MinPts-Eps组合不能同时适合所有的簇，DBSACN不能很好的进行数据聚类。（缺点4）
8.输入参数敏感,确定参数Eps , MinPts困难 ,若选取不当 ,将造成聚类质量下降。
9.由于经典的DBSCAN算法中参数Eps和MinPts在聚类过程中是不变的，使得该算法难以适应密度不均匀的数据集．