一些经典的运维问题: 1.配置文件中有空格,导致服务端下发的域名出现问题 2.修改数据库没有备份 3.修改dnspod问题,指向了错误的IP地址 4.时间不一致,需要重新设定时区 5.启动程序必须是最新版本,如:ps -ef|grep sdk-speech-1.1.1.jar 有可能没有杀死老版本的程序 6.ssl证书更换(cdn,slb,nginx,tomcat,haproxy,upyun,qiniu) 7.域名解析,经过通用高防以后无法获取客户端的真实IP地址,获取的全部是高防的IP地址 8.每个业务应用都需要至少双实例(避免单点问题) slb,nginx,jar,redis,mysql 9.域名证书到期时间监控 10.网络问题 4G网络连接系统没有问题,发现wifi出现连接失败的问题 原因是wifi上有vpn,连接到了国外的服务器,同样的域名只是dnspod解析的地区不同分国内国外(国外服务器又没有添加cp的信息,导致认证失败) 11.mysql数据库utf8mb4编码,innodb数据库引擎,还有连接数,文件句柄 12.slb的安全ip添加 13.关键的域名需要判断是否解析到了正常的城市和国家(分国内、国外、港澳台线路,或者移动,联通线路等) elk,hadoop集群的安全性,root密码,服务器权限 es的9200端口,9300端口 qps需要注意是否达到瓶颈 磁盘的吞吐量 # sar -n DEV 2 5 Linux 2.6.32-431.11.29.el6.ucloud.x86_64 (rdp02_confluent) 12/26/2017 _x86_64_ (16 CPU) 11:17:44 PM IFACE rxpck/s txpck/s rxkB/s txkB/s rxcmp/s txcmp/s rxmcst/s 11:17:46 PM lo 41508.12 41508.12 7543.42 7543.42 0.00 0.00 0.00 11:17:46 PM eth0 3872.08 1309.64 5181.46 183.86 0.00 0.00 0.00 IO监控分以下几个级别: 1、系统级别 ,iostat vmstat dstat 2、进程级别 iotop pidstat 3、业务级别 ioprofile 4、文件级别 lsof 基本上可以完全定位到IO问题了 运维的原则: 列出计划方案并发出评审(具体实施方案,失败的回滚方案) 中间实施时的通知,并且在业务低峰进行 事后的观察(流量、资源使用),日志是否报错等 监控系统: zabbix监控 阿里云监控 ucloud监控 资源监控 阿里云 ucloud 机房 报警通知人管理(不同级别报警人不一样,报警的方式短信,邮件,微信等) 每个服务都需要使用双份 使用阿里云和ucloud云监控报警 1.服务器硬件(cpu,磁盘,memory使用率) 2.带宽使用率 3.数据库rds使用率iops,connection,cpu,内存,空间 1.默认都安装zabbix系统硬件监控包括: cpu 平均负载,idel小于10%报警 磁盘占用率 主机密码是否修改 是否重启、关机 内存小于10%,触发重启java的voice服务 haiwai 1.tcp端口监控 nmap aya3.chinasoft.com -p 6666 | grep -c open 2.响应时间 3.端口监控(nmap监控tcp或者udp端口) 流量告警,通过aliyun监控平台 ecs_InternetOutRateNew 4.对tcp连接数的监控 established个数大于8W established个数小于100 5.对关键进程的个数监控如voice 6.对http服务的监控(阿里云和ucloud) 7.对集群状态的监控 8.对关键进程监控,进程挂掉重新启动 java出现内存溢出的监控 UserParameter=java_error,sudo /bin/find /home/chinasoft -name hs_err_pid*.log -o -name java_pid*.hprof -o -name jvm.log -o -name core.*|wc -l 9.redis的qps和cpu使用率内存使用率 mysql的磁盘空间,cpu,内存使用率,连接数使用率 10.监控log日志 # cat /usr/local/zabbix-agent/scripts/esb_status.sh #!/bin/bash # 日志文件目录 path=/home/chinasoft/log/esbE001 # 找到最新的日志文件名 ls -t 按照时间排序,最新的在上面 esb_file=`ls -t "${path}" | head -1` fail_count=`tail -n 500 $path/${esb_file} |grep 'failure'|wc -l` echo $fail_count 11.关键的接口监控,如 12.dnspod解析监控(是否解析到了国内或者国外,需要判断) 13.数据库,redis还有应用是否在同一机房同一个局域网(如果跨机房影响性能,高并发可能会引发问题) 14.写脚本自动删除、清理日志、是否需要切割日志,统计日志等 关于终端自动触发执行action的配置: Defaults:jenkins !requiretty Defaults:zabbix !requiretty zabbix ALL=(ALL) NOPASSWD: ALL EnableRemoteCommands = 1 UserParameter=java_error,sudo /bin/find /data/chinasoft -name hs_err_pid*.log -o -name java_pid*.hprof -o -name jvm.log|wc -l UserParameter=check_web1,curl -I -m 10 -o /dev/null -s -w %{http_code}"\n" http://yuyin.chinasoft.com:9999/check UserParameter=check_port,nmap aya3.chinasoft.com -p 6666 | grep -c open # 每分钟超时的次数 UserParameter=check_baidu,grep -a `date +%H:%M` /home/chinasoft/chinasoft-speech2/logs/all.log | grep '30000' | wc -l UserParameter=check_port0,/usr/bin/python /usr/local/zabbix-agent/scripts/check_port.py [root@u04mix03 ~]# cat /usr/local/zabbix-agent/scripts/check_port.py #!/usr/bin/python #coding=utf-8 import types import urllib2 import json import socket html=urllib2.urlopen(r"http://u01.f.chinasoft.com/config_route?name=CT_ROOM&no=123") hjson = json.loads(html.read()) #print hjson ip = hjson["outside"] port = hjson["port"] #print ip #print port sk = socket.socket(socket.AF_INET, socket.SOCK_STREAM) sk.settimeout(10) try: sk.connect((ip,port)) print 1 except Exception: print 2 sk.close() # python脚本,agentd.conf要配置Timeout = 30 #encodig:utf-8 import requests import json try: r = requests.get('http://api.chinasoft.com:8199/api3?appId=100000&method=queryOnlineUser&roomId=100000&version=2&appKey=10d5aea05bef4f4ed988e1278b53ab5c', timeout = 10) r_json = json.loads(r.content) res = r_json.get('result',0) print res except Exception as e: print 500 ********** 监控语音超时,超过30000ms UserParameter=check_log,grep "30000ms" /home/chinasoft/chinasoft-speech2/logs/all.log | wc -l # 删除日志脚本 find /home/chinasoft/chinasoft_script_sdk/logs/bi -name "*.log.gz" -mtime +3 -exec rm -f {} \; #!/bin/bash path1=/home/proxy/rtmpclient/Bin64/log if [ -d $path1 ];then for file1 in `ls ${path}`; do if [ "${file1##*.}" == "log" ];then echo /dev/null >$path1/$file1 fi done fi path2=/home/proxy/rtmpclient/Bin64/log if [ -d $path2 ];then for file2 in `ls ${path2}`; do if [ "${file2##*.}" == "log" ];then echo /dev/null >$path2/$file2 fi done fi path3=/home/proxy/chatroom/Bin64/log if [ -d $path3 ];then for file3 in `ls ${path3}`; do if [ "${file3##*.}" == "log" ];then echo /dev/null >$path3/$file3 fi done fi java的溢出文件jvm.log,触发脚本重启java服务 #!/bin/bash for i in {/data/chinasoft/sdk_translator_speech,/data/chinasoft/chinasoft-speech2,/data/chinasoft/chinasoft-text2audio};do if [ -f $i/jvm.log ];then rm -f $i/jvm.log ps -ef|grep $i|grep -v grep|awk '{print $2}'|xargs kill -9 sleep 2 cd $i && /bin/bash start.sh start fi done
zabbix在运维方面的监控方法小结
猜你喜欢
转载自www.cnblogs.com/reblue520/p/9123316.html
今日推荐
周排行