Oracle 隐含参数_asm_hbeatiowait引起的ASM磁盘组DISMOUNT
-
（1）恒生电子资管云HOMS系统B区2015年3月6日上午故障现象：【数据库服务器无法连接】
-
（2）恒生电子资管云HOMS系统B区2015年3月9日下午故障现象：【数据库服务器无法连接】
-
图1-1 事故现场截图
- 根据应用层返回错误结合ASM日志和告警日志文件信息分析。错误出现原因分析如下图。
图 1-2 应用层返回错误原因
-
采取措施1：查看集群资源状态:crsctl status res -t
系统返回1：集群资源状态无法获取，错误监听不存在【TNS-12541:TNS:NO LISTENER】
采取措施2：检查OCR以及Voting DISK状态:ocr check
系统返回2：OCR与voting DISK状态无法获取，错误监听不存在【TNS-12541:TNS:NO LISTENER】初步判断：监听程序已经失败。
验证措施1：srvctl status listener
返回错误1：监听程序不存在。=>确定监听已经失败。
查看监听进程：ps -ef|grep lsnr
验证结果：监听框架已经启动，监听进程存在。
进一步判断：监听没有工作，框架内任务失败。
查看集群件跟踪文件：
/u01/app/grid/oradiag_grid/diag/clients/user_grid/host_1874443374_80/trace
发现DATA磁盘组失败，导致监听程序无法访问OCR,引起监听资源异常。具体如下：
图 1-3 0309下午库监听初次失败时间
图 1-4 trace文件显示ASM磁盘组DATA dismount之后的connect failed -
诊断：存储OCR和voting DISK的ASM 磁盘组DATA 发生故障，导致DATA磁盘组OFFLINE,由此引发监听无法工作，因为RAC监听作为资源注册到了OCR，此时OCR不可访问。
图 1-5 错误后RAC系统行为
诊断：Oracle 集群件不断尝试重新mount DATA,但是可能因为文件句柄等内部错误而失败。DATA磁盘组内磁盘文件头可能发生逻辑损坏。没有理由冗余的2个镜像都发生读取失败（两个磁盘都坏掉的几率还是比较小的），如下图由ASM日志发现DATA两个镜像MIRROR都发生了读取失败： -
该日志告诉我们在两个镜像数据文件的偏移量为724992的位置发生错误，I/O请求失败，可能发生数据块的物理损坏或者逻辑错误。可以发现，网络传输的请求能够准确到达内核层面，但是内部或I/O处理出现错误。重要的是故障发生时刻的进程状态与磁盘文件头状态信息，是否发生不一致导致磁盘组DISMOUNT。 -
仔细查看ASM日志，发现该问题在2014年就已经出现过DATA磁盘组的dismount问题，具体截图如下所示：（其实该问题的征兆早就已经出现）
-
图 1-7 查看ASM历史日志
这是什么情况？？？貌似这个时间就已经有ASM磁盘组DATA的问题了。
-
图 1-8 DATA错误一例
图 1-9 ASM磁盘组历史故障记录一例
图 1-10 ASM磁盘组历史故障记录一例
图 1-11 ASM磁盘组历史故障记录一例