Andrew Y. Ng式ResNet在MIT-BIH上的Inter-Patient分类实现(4)

结果分析

     话不多说,直接上结果。由于网络本身具有随机性,因此每次的结果也会有些许差异。根据我的实验,一般测试准确率会维持在85%左右,好的时候可以到86%,87%以上。这里我选择了一个整体表现较好的模型(myNet.h5可直接载入),总体准确率为86.41%,混淆矩阵如下:

除此之外,论文中也习惯用各类的敏感度(Se)和正预测率(P+)来衡量表现。汇总如下:

N:

  Se = 0.9065372829417774

  P+ = 0.9358523725834798

V:

  Se = 0.8869209809264306

  P+ = 0.75

S:

  Se = 0.389937106918239

  P+ = 0.42660550458715596

F:

  Se = 0.423728813559322

  P+ = 0.6329113924050633

Q:

  Se = 0.0

  P+ = 0.0

       可以看到,对于Q类型,模型不能区分。在我读过的绝大部分文献中,Q类样本基本上均不能区分。有的文献准确率超过了90%,但是对类别的平衡性不好。例如,在文献[Li T, Zhou M. ECG classification using wavelet packet entropy and random forests[J]. Entropy, 2016, 18(8): 285.]中,准确率达到了94.61%,但S类Se仅20%,P+仅有0.16%。F类P+仅有0.52%;文献[Chen S, Hua W, Li Z, et al. Heartbeat classification using projected and dynamic features of ECG signal[J]. Biomedical Signal Processing and Control, 2017, 31: 165-173.]的准确率达到了93%左右,但5类中F,Q类均不能区分,V的Se仅70.8%,S的Se和P+分别为29.5%和38.4%,具体混淆矩阵为:

        可以看到,这两个工作的类别平衡性都不太好,虽然准确率很高,但由于类别不平衡,对于其中一些类别的识别能力很弱。下面举两个比较均衡的例子,一个是[Ye C, Kumar B V K V, Coimbra M T. Heartbeat classification using morphological and dynamic features of ECG signals[J]. IEEE Transactions on Biomedical Engineering, 2012, 59(10): 2930-2941.],总体准确率为86.4%,其混淆矩阵为:

        相比起我们这里做的模型,这个算法对S类的Se更好,但对V类的Se则不如我们的模型。同样,这个算法也无法区分Q类。另外一个例子比较新,为[Sellami A, Hwang H. A robust deep convolutional neural network with batch-weighted loss for heartbeat classification[J]. Expert Systems with Applications, 2019, 122: 75-84.]。这篇文章提出了一种动态的,基于batch的加权loss,可有效缓解类别不平衡带来的影响,而且作者所采用的深度网络与吴恩达式的ResNet很类似,总体准确率达到了88.34%,具体混淆矩阵为:

       可以看到对各类的区分度都还不错。不过这里作者对网络的输入做了一定程度的改进,并非是输入单个心拍,而是会一次性输入相邻的两个心拍,作者分析说这样做会提高信息的完整度,并提升模型的性能。

       以上这些例子均为基于心拍的分类,而我们这里是以一个任意片段为研究对象,个人认为其难度高于心拍分类。因为任意片段的样本复杂性相比一个单心拍提高了,没有了QRS波检测算法的定位辅助,有用信息的位置和内涵全要靠网络自己学习。但正如我们前面所说,基于任意切片的方式可以让网络摆脱与QRS波检测算法的耦合,使信号诊断在过程上更加简单和一般化,虽然也可能存在标签难确定的问题,但总体上说利大于弊。而网络在没有进行结构性创新和改动的情况下,效果上可以达到目前的主流水平,也可以说吴恩达式的ResNet在架构上具有一定的优势。

       当然,上述的效果还存在很大的改进空间,并且在稳定性上还有所欠缺,这一点也是inter-patient划分导致训练集和测试集差异明显,以及样本的内在极不平衡所引起的,尽管我们做了一定的处理来缓解该问题。个人认为在样本处理方式以及双导联融合方面还可以继续探究,理论上还可以提高性能。

所有代码可见github:https://github.com/Aiwiscal/MIT_Scheme

喜欢请点赞和github给star哦~~~

 

祝顺利。

发布了30 篇原创文章 · 获赞 205 · 访问量 9万+

猜你喜欢

转载自blog.csdn.net/qq_15746879/article/details/88698979
今日推荐