惊心动魄的EMC存储性能问题

这几天为了全行年终决算环境搭建和灾备中心搬迁,采取了如下方案:
1.对灾备的存储根据主机Lun划分方式进行Lun的划分;
2.生产系统的存储(EMC CX500)通过Mirror View/A连接灾备存储(EMC CX500)进行数据同步;
3.所有系统数据同步完成后,断开Mirror View/A,主机去识别磁盘阵列;
4.varyonvg,启动数据库和应用。

进行过程中出现问题:1.2.3步骤一切正常,执行4时,数据库启动非常慢。用topas监控性能,发现磁盘的写速度很慢,cpu用到100%。数据库启动非常慢,但是对数据表操作速度正常。

排查步骤:
1.查看是否主机故障:测试其他系统主机,都有同样问题。
2.查看存储:log没有任何额错误信息,发现昨天进行充电操作,不过一切正常,write cache也在enable状态;
3.存储光纤线:把主机连接存储交换机的光纤线换了,还是不行。
4.控制器故障:SPA和SPB都不行,不可能双点出现故障。
5.磁盘损坏:存储没有显示磁盘错误,不过主机报磁盘错误。不过,所有RAID组都有同样问题,不是磁盘损坏。
6.扩展柜(DAE2P):两个环路上的RAID组都存在问题,排出扩展柜问题。
7.存储交换机(MDS 9216i):两台存储交换机,连接控制器SPA和SPB,将主机全部连接到另一个存储交换机模块,测试数据库启动一切正常。

原因分析:
可能存储在搬迁过程中受到震荡,加之设备已使用4年,设备存在老化,导致9216i发生硬件故障。

猜你喜欢

转载自lawrence20.iteye.com/blog/538730