Detailed explanation of NameNode JVM configuration

Detailed explanation of NameNode JVM configuration

The online NameNode JVM is as follows

/home/hadoop/java-current/bin/java

-Dhadoop.log.dir=/mnt/dfs/5/hdfs/logs
-Dhadoop.log.file=hadoop.log
-Dhadoop.home.dir=/home/hadoop/hdfs-2.7.3
-Dhadoop.id.str=root
-Dhadoop.root.logger=INFO,console
-Djava.library.path=/home/hadoop/hdfs-2.7.3/lib/native
-Dhadoop.policy.file=hadoop-policy.xml
-Dhadoop.log.dir=/mnt/dfs/5/hdfs/logs
-Dhadoop.log.file=hadoop-root-namenode-hadoop278.lt.163.org.log
-Dhadoop.root.logger=INFO,RFA
-Dcom.netease.appname=NameNode
-Dhadoop.security.logger=INFO,DRFAS
-Dhdfs.audit.logger=INFO,RFAAUDIT

-Dproc_namenode
-Djava.net.preferIPv4Stack=true
-verbose:gc
-XX:+PrintGCDetails
-XX:+PrintGCDateStamps
-XX:+PrintTenuringDistribution
-XX:-DisableExplicitGC
-Xloggc:/home/hadoop/yarn/gclog/namenode.gc.log.2018-01-24
-XX:+UseGCLogFileRotation
-XX:NumberOfGCLogFiles=3
-XX:GCLogFileSize=512M
-server
-Xmx5120m
-Xmx350g
-Xms350g
-Xmn30g
-XX:SurvivorRatio=8
-Xss256k
-XX:PermSize=128m
-XX:MaxPermSize=128m
-XX:+UseParNewGC
-XX:MaxTenuringThreshold=15
-XX:+UseConcMarkSweepGC
-XX:+CMSParallelRemarkEnabled
-XX:+UseCMSCompactAtFullCollection
-XX:+CMSClassUnloadingEnabled
-XX:+UseCMSInitiatingOccupancyOnly
-XX:CMSInitiatingOccupancyFraction=75

-XX:+UnlockDiagnosticVMOptions
-XX:ParGCCardsPerStrideChunk=4096
-XX:-UseBiasedLocking

-XX:+PrintTenuringDistribution
org.apache.hadoop.hdfs.server.namenode.NameNode

[TODO] Detailed explanation of JVM configuration

jstat command learning

jstat -class 34262
Loaded  Bytes  Unloaded  Bytes     Time
540  1091.7        0     0.0       0.12

Loaded:加载class的数量
Bytes:所占用空间大小
Unloaded:未加载数量
Bytes:未加载占用空间
Time:时间


➜  ~ jstat -compiler 34262
Compiled Failed Invalid   Time   FailedType FailedMethod
21      0       0     0.02          0   

Compiled:编译数量。
Failed:失败数量
Invalid:不可用数量
Time:时间
FailedType:失败类型
FailedMethod:失败的方法

➜  ~ jstat -gcutil 34262
  S0     S1     E      O      M     CCS    YGC     YGCT    FGC    FGCT     GCT
  0.00   0.00   0.00  97.91  68.00  71.24 308653  158.470 62460  272.840  431.310
S0:幸存1区当前使用比例
S1:幸存2区当前使用比例
E:伊甸园区使用比例
O:老年代使用比例
M:元数据区使用比例
CCS:压缩使用比例
YGC:年轻代垃圾回收次数
FGC:老年代垃圾回收次数
FGCT:老年代垃圾回收消耗时间


➜  ~ jstat -gc 34262
 S0C    S1C    S0U    S1U      EC       EU        OC         OU       MC     MU    CCSC   CCSU   YGC     YGCT    FGC    FGCT     GCT
1536.0 1536.0  0.0    0.0   12800.0  11973.2    512.0      501.3    4864.0 3307.3 512.0  364.7   52750   31.692 52748  230.775  262.467
S0C:第一个幸存区的大小
S1C:第二个幸存区的大小
S0U:第一个幸存区的使用大小
S1U:第二个幸存区的使用大小
EC:伊甸园区的大小
EU:伊甸园区的使用大小
OC:老年代大小
OU:老年代使用大小
MC:方法区大小
MU:方法区使用大小
CCSC:压缩类空间大小
CCSU:压缩类空间使用大小
YGC:年轻代垃圾回收次数
YGCT:年轻代垃圾回收消耗时间
FGC:老年代垃圾回收次数
FGCT:老年代垃圾回收消耗时间
GCT:垃圾回收消耗总时间


➜  ~ jstat -gcnew 34262
 S0C    S1C    S0U    S1U   TT MTT  DSS      EC       EU     YGC     YGCT
1536.0 1536.0    0.0    0.0  7  15 1536.0  12800.0   2048.0  58822   35.288
S0C:第一个幸存区大小
S1C:第二个幸存区的大小
S0U:第一个幸存区的使用大小
S1U:第二个幸存区的使用大小
TT:对象在新生代存活的次数
MTT:对象在新生代存活的最大次数
DSS:期望的幸存区大小
EC:伊甸园区的大小
EU:伊甸园区的使用大小
YGC:年轻代垃圾回收次数
YGCT:年轻代垃圾回收消耗时间

➜  ~ jstat -gcold  34262
MC       MU      CCSC     CCSU       OC          OU       YGC    FGC    FGCT     GCT
4864.0   3307.6    512.0    364.7       512.0       501.3 217997 62460  272.840  386.883
MC:方法区大小
MU:方法区使用大小
CCSC:压缩类空间大小
CCSU:压缩类空间使用大小
OC:老年代大小
OU:老年代使用大小
YGC:年轻代垃圾回收次数
FGC:老年代垃圾回收次数
FGCT:老年代垃圾回收消耗时间
GCT:垃圾回收消耗总时间  

➜  ~ jstat -gccapacity 34262
 NGCMN    NGCMX     NGC     S0C   S1C       EC      OGCMN      OGCMX       OGC         OC       MCMN     MCMX      MC     CCSMN    CCSMX     CCSC    YGC    FGC
 15872.0  15872.0  15872.0  512.0  512.0  14848.0      512.0      512.0      512.0      512.0      0.0 1056768.0   4864.0      0.0 1048576.0    512.0 146536 62460

NGCMN:新生代最小容量
NGCMX:新生代最大容量
NGC:当前新生代容量
S0C:第一个幸存区大小
S1C:第二个幸存区的大小
EC:伊甸园区的大小
OGCMN:老年代最小容量
OGCMX:老年代最大容量
OGC:当前老年代大小
OC:当前老年代大小
MCMN:最小元数据容量
MCMX:最大元数据容量
MC:当前元数据空间大小
CCSMN:最小压缩类空间大小
CCSMX:最大压缩类空间大小
CCSC:当前压缩类空间大小
YGC:年轻代gc次数
FGC:老年代GC次数

➜  ~ jstat -gcnewcapacity 34262
NGCMN      NGCMX       NGC      S0CMX     S0C     S1CMX     S1C       ECMX        EC      YGC   FGC
15872.0    15872.0    15872.0   5120.0    512.0   5120.0    512.0    14848.0    14848.0 199312 62460

NGCMN:新生代最小容量
NGCMX:新生代最大容量
NGC:当前新生代容量
S0CMX:最大幸存1区大小
S0C:当前幸存1区大小
S1CMX:最大幸存2区大小
S1C:当前幸存2区大小
ECMX:最大伊甸园区大小
EC:当前伊甸园区大小
YGC:年轻代垃圾回收次数
FGC:老年代回收次数  

➜  ~ jstat -gcoldcapacity 34262
   OGCMN       OGCMX        OGC         OC       YGC   FGC    FGCT     GCT
      512.0       512.0       512.0       512.0 261210 62460  272.840  408.160
OGCMN:老年代最小容量
OGCMX:老年代最大容量
OGC:当前老年代大小
OC:老年代大小
YGC:年轻代垃圾回收次数
FGC:老年代垃圾回收次数
FGCT:老年代垃圾回收消耗时间
GCT:垃圾回收消耗总时间

➜  ~ jstat -gcmetacapacity 34262
   MCMN       MCMX        MC       CCSMN      CCSMX       CCSC     YGC   FGC    FGCT     GCT
       0.0  1056768.0     4864.0        0.0  1048576.0      512.0 277965 62460  272.840  416.401
MCMN: 最小元数据容量
MCMX:最大元数据容量
MC:当前元数据空间大小
CCSMN:最小压缩类空间大小
CCSMX:最大压缩类空间大小
CCSC:当前压缩类空间大小
YGC:年轻代垃圾回收次数
FGC:老年代垃圾回收次数
FGCT:老年代垃圾回收消耗时间
GCT:垃圾回收消耗总时间       


jmap -heap 123
-heap:format=b
-histo

Guess you like

Origin http://43.154.161.224:23101/article/api/json?id=324574336&siteId=291194637