阿里云环境搭建Oracle 11G RAC详细文档

1、概述

        本文档为基于阿里云环境ECS搭建Oracle 11g RAC，适用于公有云和专有云环境，使用了阿里ECS、弹性网卡、SSD共享云盘等组件。

2、环境准备

2.1 环境及注意事项如下：

①资源准备：需要阿里云账号开通HAVIP、共享块存储、弹性网卡功能
②VPC环境部署2个不同网段的vswtich，一个作为rac的公网，一个作为私有网络
③申请云主机，包括2个RAC节点、申请主机时需要配置2块网卡申请SSD共享云盘
④3~5个havip，2个对应rac的vip，1~3个scan-ip
组播配置
⑤Oracle的HAIP功能所用的169.254网段改为私有网段

2.2 环境配置

        申请完资源后对ECS进行配置（安全组，用户名密码等），给ECS挂载弹性网卡，给ECS挂载共享块存储，注意共享块存储的挂载顺序要一致

3、配置组播

        Oracle RAC在11.2.0.2版本后引入了组播功能，此次搭建的是11.2.0.4版本，需要通过阿里云组播工具配置组播。
①阿里云组播帮助文档链接：

https://help.aliyun.com/document_detail/73698.html?spm=5176.11065259.1996646101.searchclickresult.6492169aqCCIt2

②下载地址

https://github.com/aliyun/multicast_proxy

③安装

#rpm -qa | grep kernel-devel-`uname -r`
#rpm -qa | grep rpm-build
#yum install kernel-devel-`uname -r` -y 
#yum install rpm-build -y

下载完后，选择multicast_kernel目录
分别生成server端和client端
sh tmcc_client_auto_rpm.sh;
sh tmcc_server_auto_rpm.sh;

注意：
        如果执行报错，不能安装对应内核版本的kernel-devel包，无法生成rpm包，就找其他服务器（大版本对应）能生成的2个rpm包安装，就不需要安装kernel-devel了。
④配置组播

进行安装
rpm -Uvh multi_server-1.1-1.x86_64.rpm
rpm -Uvh multi_client-1.1-1.x86_64.rpm
配置启动
chkconfig multis on --level 2345
chkconfig multis off --level 016
chkconfig multic on --level 2345
chkconfig multic off --level 016
service multis start
service multic start
配置组播服务端
---node1
/usr/local/sbin/multis_admin -A -m 224.0.0.251 -j 10.1.1.131  //节点2的privip
/usr/local/sbin/multis_admin -A -m 230.0.1.0 -j 10.1.1.131
---node2
/usr/local/sbin/multis_admin -A -m 224.0.0.251 -j 10.1.1.130  //节点1的privip
/usr/local/sbin/multis_admin -A -m 230.0.1.0 -j 10.1.1.130
配置组播客户端
--node1
/usr/local/sbin/multic_admin -A -i 10.1.1.131 -p 42424 -m 224.0.0.251 //节点2的privip
/usr/local/sbin/multic_admin -A -i 10.1.1.131 -p 42424 -m 230.0.1.0    
---node2
/usr/local/sbin/multic_admin -A -i 10.1.1.130 -p 42424 -m 224.0.0.251  //节点1的privip
/usr/local/sbin/multic_admin -A -i 10.1.1.130 -p 42424 -m 230.0.1.0
查看配置情况
multis_admin -L -m 224.0.0.251
multis_admin -L -m 230.0.1.0
multic_admin -L
配置完重启组播：
service multis restart
service multic restart
也可以查看配置文件是否配置正确：
cat /usr/local/etc/multi_server_startup_config
cat /usr/local/etc/multi_server_running_config 

cat /usr/local/etc/multi_client_startup_config
cat /usr/local/etc/multi_client_running_config 

检查组播：
node1上抓 sudo tcpdump -i eth0 -nnvv host 10.1.1.131 and udp  //节点2的ip-priv
node2上抓 sudo tcpdump -i eth0 -nnvv host 10.1.1.130 and udp  //节点1的ip-priv

解压mcasttest.tgz工具（grid用户）：
cd /u01/software/mcasttest
vi mcasttest.pl(修改端口为42422[42424])     搜索port
执行./mcasttest.pl -n node1,node2 -i eth0,eth1
//执行结果可能是failed，ip是priv，对应相应的网卡

4、架构拓扑图

RAC ON ECS 拓扑

5、RAC资源

6、RAC安装准备

6.1 修改主机名

#vi /etc/sysconfig/network
节点1
NETWORKING=yes
HOSTNAME=rac1pub
NETWORKING_IPV6=no
PEERNTP=no
NOZEROCONF=yes
节点2
NETWORKING=yes
HOSTNAME=rac2pub
NETWORKING_IPV6=no
PEERNTP=no
NOZEROCONF=yes

6.2 修改/etc/hosts

节点1
10.1.1.130 rac1pub
10.1.1.131 rac2pub
10.1.0.200 rac1priv
10.1.0.201 rac2priv
10.1.1.202 rac1-vip
10.1.1.203 rac2-vip
10.1.1.204 scan-ip
节点2
10.1.1.130 rac1pub
10.1.1.131 rac2pub
10.1.0.200 rac1priv
10.1.0.201 rac2priv
10.1.1.202 rac1-vip
10.1.1.203 rac2-vip
10.1.1.204 scan-ip

6.3 修改内核参数

#vi /etc/sysctl.conf
fs.aio-max-nr = 1048576
fs.file-max = 6815744
kernel.shmall = 8388608  //内存超过4G的需要修改，例如 16G 内存，16*1024*1024*1024*90% = 15461882265，shmall 的大小为 15461882265/4k(getconf PAGESIZE可得到) = 3774873
kernel.shmmax = 33669890047
kernel.shmmni = 4096
kernel.sem = 250 32000 100 128
net.ipv4.ip_local_port_range = 9000 65500
net.core.rmem_default = 262144
net.core.rmem_max = 4194304
net.core.wmem_default = 262144
net.core.wmem_max = 1048586

#sysctl –p 

6.4 配置NTP

#oracle rac必须进行时钟同步，如果没有时钟同步，按照下面的方式配置，让oracle自身来解决
/sbin/service ntpd stop
chkconfig ntpd off
mv /etc/ntp.conf /etc/ntp.conf.org

6.5关闭防火墙

chkconfig --list iptables
chkconfig iptables off
chkconfig --list iptables
service iptables stop
service network restart
关闭selinux
/etc/selinux/config
disable

6.6 修改用户限制

#vi /etc/security/limits.conf
oracle           soft    nofile          4096
oracle           hard   nofile          65536
oracle           soft    nproc          2047
oracle           hard   nproc          16384
oracle           soft   stack          10240
grid           soft    nofile          4096
grid            hard   nofile          65536
grid            soft    nproc          2047
grid            hard   nproc          16384
grid            soft   stack          10240
*           soft   memlock         18874368
*           hard   memlock          18874368
#以上memlock<ram的大小 单位为k

6.7修改/etc/pam.d/login文件

echo "session    required     pam_limits.so" >>/etc/pam.d/login

6.8 安装OS软件包

rpm -q binutils \
compat-libstdc++-33 \
elfutils-libelf \
elfutils-libelf-devel \
gcc \
gcc-c++ \
glibc \
glibc-common \
glibc-devel \
glibc-headers \
ksh \
libaio \
libaio-devel \
libgcc \
libstdc++ \
libstdc++-devel \
libXp \
make \
numactl-devel \
sysstat \
unixODBC \
unixODBC-devel \
compat-libcap1.x86_64 \
libcap.x86_64|grep not

#把检查出来的包用yum安装

6.9 配置asm磁盘

本次使用裸设备的方式进行配置

vi /etc/udev/rules.d/60-raw.rules
ACTION=="add", ENV{MAJOR}=="252",ENV{MINOR}=="16",RUN+="/bin/raw /dev/raw/raw1 %M %m"
ACTION=="add", ENV{MAJOR}=="252",ENV{MINOR}=="32",RUN+="/bin/raw /dev/raw/raw2 %M %m"
ACTION=="add", ENV{MAJOR}=="252",ENV{MINOR}=="48",RUN+="/bin/raw /dev/raw/raw3 %M %m"
ACTION=="add", ENV{MAJOR}=="252",ENV{MINOR}=="64",RUN+="/bin/raw /dev/raw/raw4 %M %m"
ACTION=="add", ENV{MAJOR}=="252",ENV{MINOR}=="80",RUN+="/bin/raw /dev/raw/raw5 %M %m"
ACTION=="add", ENV{MAJOR}=="252",ENV{MINOR}=="96",RUN+="/bin/raw /dev/raw/raw6 %M %m"
ACTION=="add", ENV{MAJOR}=="252",ENV{MINOR}=="112",RUN+="/bin/raw /dev/raw/raw7 %M %m"
KERNEL=="raw[1-7]", OWNER="grid", GROUP="asmadmin", MODE="660"

注：
①ENV{MAJOR}=="252"中的252代表的是ll /dev/vdb*查看出来的磁盘信息

②需要在2台ecs分表操作
③操作完毕后执行start_udev，ll /dev/raw/raw* 会显示11个文件，如下图所示：

方法二（asmlib安装）：

①下载对应的包（对应内核版本）
oracleasmlib-2.0.4-1.el6.x86_64.rpm
oracleasm-support-2.1.8-1.el6.x86_64.rpm
②安装依赖包
yum install kmod
yum install oracleasm
yum install nasm
yum install oracleasmlib

/usr/sbin/oracleasm configure -i   #两个节点
/etc/init.d/oracleasm enable #两个节点
/etc/init.d/oracleasm start  #两个节点
/usr/sbin/oracleasm listdisks   //createdisk创建完可以显示
/usr/sbin/oracleasm querydisks
/usr/sbin/oracleasm createdisk NAME /path
/usr/sbin/oracleasm scandisks  #一个节点创建磁盘后，另一个节点扫描磁盘即可

/etc/init.d/oracleasm createdisk VOLCRS01 /dev/vdb1
/etc/init.d/oracleasm createdisk VOLCRS02 /dev/vdc1
/etc/init.d/oracleasm createdisk VOLCRS03 /dev/vdd1

/etc/init.d/oracleasm createdisk VOLDATA01 /dev/vde1
/etc/init.d/oracleasm createdisk VOLDATA02 /dev/vdf1
/etc/init.d/oracleasm createdisk VOLDATA03 /dev/vdg1

/etc/init.d/oracleasm createdisk VOLARCH03 /dev/vdh1

cd /dev/oracleasm/disks/    //可以看到创建的磁盘信息
[root@gjjrac1 disks]# ll
total 0
brw-rw---- 1 grid dba 253, 129 Oct 18 09:37 VOLARCH01
brw-rw---- 1 grid dba 253, 145 Oct 17 19:43 VOLARCH02
brw-rw---- 1 grid dba 253,  17 Oct 18 09:37 VOLCRS01
brw-rw---- 1 grid dba 253,  33 Oct 18 09:37 VOLCRS02
brw-rw---- 1 grid dba 253,  49 Oct 18 09:37 VOLCRS03
brw-rw---- 1 grid dba 253,  65 Oct 18 09:37 VOLDATA01
brw-rw---- 1 grid dba 253,  81 Oct 18 09:36 VOLDATA02
brw-rw---- 1 grid dba 253,  97 Oct 18 09:37 VOLDATA03

6.10 创建grid、oracle用户

groupadd -g 500 oinstall  
groupadd -g 501 asmadmin
groupadd -g 502 asmdba
groupadd -g 503 asmoper
groupadd -g 504 dba
groupadd -g 505 oper
useradd -g oinstall -G asmadmin,asmdba,asmoper,dba -u 500 grid
useradd -g oinstall -G asmdba,dba,oper -u 501 oracle
passwd oracle
passwd grid

#配置环境变量
#Grid
Vi .bash_profile
umask 022
ORACLE_BASE=/u01/app/grid_base
ORACLE_HOME=/u01/app/grid_home
ORACLE_SID=+ASM1  //第二个节点+ASM2
PATH=$ORACLE_HOME/bin:$PATH
export ORACLE_BASE ORACLE_HOME ORACLE_SID PATH
#Oracle
umask 022
ORACLE_BASE=/u01/app/oracle
ORACLE_HOME=$ORACLE_BASE/product/11.2.0/db_1
ORACLE_SID=orcl1
PATH=$ORACLE_HOME/bin:$PATH
export ORACLE_BASE ORACLE_HOME ORACLE_SID PATH
#export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:$ORACLE_HOME/lib:/usr/lib
#export CLASSPATH=$ORACLE_HOME/JRE:$ORACLE_HOME/jlib:$ORACLE_HOME/rdbms/jlib
export TNS_ADMIN=$ORACLE_HOME/network/admin

#export NLS_LANG="simplified chinese"_china.al32utf8
#export NLS_DATE_FORMAT='YYYY-MM-DD HH24:MI:SS'
#export NLS_TIMESTAMP_FORMAT='YYYY-MM-DD HH24:MI:SSXFF'
#export NLS_TIMESTAMP_TZ_FORMAT='YYYY-MM-DD HH24:MI:SSXFF TZR'
#alias sqlplus='rlwrap sqlplus'
#alias rman='rlwrap rman'

6.11 创建安装目录

mkdir -p /u01/app/oracle/product/11.2.0/db_1
mkdir -p /u01/app/grid_base
mkdir -p /u01/app/grid_home
chmod -R 775 /u01
chown -R oracle:oinstall /u01
chown -R grid:oinstall /u01/app/grid_base
chown -R grid:oinstall /u01/app/grid_home

7、安装GRID

7.1 准备软件

软件上传至/u01/software并解压，解压顺序p-1,p-2,p-3
p13390677_112040_Linux-x86-64_2of7.zip   //oracle
p13390677_112040_Linux-x86-64_1of7.zip   //oracle
p13390677_112040_Linux-x86-64_3of7.zip   //grid

7.2 配置对等性

使用grid和database两个安装包中ssh工具sshUserSetup.sh进行配置
/u01/software/grid/sshsetup/sshUserSetup.sh -user grid -hosts "rac1pub rac2pub" - noPromptPassphrase -confirm -advanced   //grid用户执行

/u01/software/database/sshsetup/sshUserSetup.sh -user oracle -hosts "rac1pub rac2pub" - noPromptPassphrase -confirm -advanced   //oracle用户执行
配置完检查():
ssh rac1pub date
ssh rac2pub date
ssh rac1priv date
ssh rac2priv date

7.3 安装预检查

#su - grid
$/u01/software/grid/runcluvfy.sh stage -pre crsinst -n rac1pub,rac2pub -verbose

7.4 准备响应文件

cd /u01/software/grid/response
cat grid_install.rsp | grep -v ^# | grep -v ^$ >> grid.rsp
vi grid.rsp
oracle.install.responseFileVersion=/oracle/install/rspfmt_crsinstall_response_schema_v11_2_0
ORACLE_HOSTNAME=iZ4du05yn20iopyiaiqamdZ
INVENTORY_LOCATION=/u01/app/oraInventory
SELECTED_LANGUAGES=en
oracle.install.option=CRS_CONFIG
ORACLE_BASE=/u01/app/grid_base
ORACLE_HOME=/u01/app/grid_home
oracle.install.asm.OSDBA=asmdba
oracle.install.asm.OSOPER=asmoper
oracle.install.asm.OSASM=asmadmin
oracle.install.crs.config.gpnp.scanName=scan-ip
oracle.install.crs.config.gpnp.scanPort=1521
oracle.install.crs.config.clusterName=zwy-cluster
oracle.install.crs.config.gpnp.configureGNS=false
oracle.install.crs.config.gpnp.gnsSubDomain=
oracle.install.crs.config.gpnp.gnsVIPAddress=
oracle.install.crs.config.autoConfigureClusterNodeVIP=false
oracle.install.crs.config.clusterNodes=rac1pub:rac1-vip,rac2pub:rac2-vip
oracle.install.crs.config.networkInterfaceList=eth0:10.1.1.0:1,eth1:10.1.0.0:2
oracle.install.crs.config.storageOption=ASM_STORAGE
oracle.install.crs.config.sharedFileSystemStorage.diskDriveMapping=
oracle.install.crs.config.sharedFileSystemStorage.votingDiskLocations=
oracle.install.crs.config.sharedFileSystemStorage.votingDiskRedundancy=NORMAL
oracle.install.crs.config.sharedFileSystemStorage.ocrLocations=
oracle.install.crs.config.sharedFileSystemStorage.ocrRedundancy=NORMAL
oracle.install.crs.config.useIPMI=false
oracle.install.crs.config.ipmi.bmcUsername=
oracle.install.crs.config.ipmi.bmcPassword=
oracle.install.asm.SYSASMPassword=sysasmp
oracle.install.asm.diskGroup.name=CRS
oracle.install.asm.diskGroup.redundancy=NORMAL
oracle.install.asm.diskGroup.AUSize=4
oracle.install.asm.diskGroup.disks=/dev/raw/raw1,/dev/raw/raw2,/dev/raw/raw3
oracle.install.asm.diskGroup.diskDiscoveryString=/dev/raw/raw*
oracle.install.asm.monitorPassword=Dtgrid123#
oracle.install.crs.upgrade.clusterNodes=
oracle.install.asm.upgradeASM=false
oracle.installer.autoupdates.option=SKIP_UPDATES
oracle.installer.autoupdates.downloadUpdatesLoc=
AUTOUPDATES_MYORACLESUPPORT_USERNAME=
AUTOUPDATES_MYORACLESUPPORT_PASSWORD=
PROXY_HOST=
PROXY_PORT=0
PROXY_USER=
PROXY_PWD=
PROXY_REALM=

7.5 安装grid

./runInstaller -responseFile /u01/software/grid/response/grid.rsp -silent -ignorePrereq -ignoreSysPrereqs -showProgress
等待一段时间后，会提示在两个节点分别用root用户执行：
/u01/app/oraInventory/orainstRoot.sh  //节点1先执行，节点2在执行
/u01/app/grid_home/11.2.0/root.sh     //上面的脚本执行完毕后在执行，顺序一致，需要看下面的注意
注意：禁用haip
第二个节点先不执行root.sh 先修改心跳参数
su - grid //节点一上执行
sqlplus / as sysasm
create pfile='/home/grid/asmpfile.txt' from spfile;--备份一下asm的参数文件
alter system set cluster_interconnects = '10.1.0.200' scope=spfile sid='+ASM1' ;
alter system set cluster_interconnects = '10.1.0.201' scope=spfile sid='+ASM2' ;
配置完需要重启asm：
  grid用户执行：
crsctl stop resource -all
crsctl start resource -all
crsctl stat res -t  //重启之后检查资源的状态
由于stop资源较慢，可以执行：
su - grid
su root
crsctl stop resource -all
crsctl start resource -all

Grid安装完成后的检查工作

crsctl check crs
crsctl stat res -t
olsnodes -n
srvctl status asm -a
ocrcheck
crsctl query css votedisk

注意：
        Centos7.2安装grid响应文件完成后，节点一执行root.sh脚本时报错：ohasd failed to start，因为RHEL 7使用systemd而不是initd运行进程和重启进程，而root.sh通过传统的initd运行ohasd进程。
解决方法：
        在Centos 7中ohasd需要被设置为一个服务，在运行脚本root.sh之前。
步骤如下：

1. 以root用户创建服务文件
#touch /usr/lib/systemd/system/ohas.service
#chmod 777 /usr/lib/systemd/system/ohas.service
2. 将以下内容添加到新创建的ohas.service文件中
[root@rac1 init.d]# cat /usr/lib/systemd/system/ohas.service
[Unit]
Description=Oracle High Availability Services
After=syslog.target

[Service]
ExecStart=/etc/init.d/init.ohasd run >/dev/null 2>&1 Type=simple
Restart=always

[Install]
WantedBy=multi-user.target
3. 以root用户运行下面的命令
systemctl daemon-reload
systemctl enable ohas.service
systemctl start ohas.service
4、清除之前执行root.sh脚本的痕迹
/u01/app/grid_home/crs/install/rootcrs.pl -verbose -deconfig -force 
/u01/app/grid_home/crs/install/roothas.pl -deconfig -force -verbose    //删除
如果执行过程中报错：
Can't locate Env.pm in @INC (@INC contains: /usr/local/lib64/perl5 /usr/local/share/perl5 /usr/lib64/perl5/vendor_perlusr/share/perl5/vendor_perl /usr/lib64/perl5 /usr/share/perl5 . /u01/app/11.2.0/grid/crs/install) at /u01/app/11.2.0/gd/crs/install/crsconfig_lib.pm line 703.
解决方法：
cp -p /u01/app/11.2.0/grid/perl/lib/5.10.0/Env.pm /usr/lib64/perl5/vendor_perl/
重新执行清除脚本。

节点二执行过程类似，先执行root.sh，，修改ohasd配置文件，报错执行roothas.pl 脚本，重新执行。

7.6 创建磁盘组

#su – grid
$asmca
或者使用命令行
$ asmca -silent -createDiskGroup -sysAsmPassword Dtgrid123# -diskString '/dev/raw/*' -diskGroupName DATA -diskList '/dev/raw/raw4,/dev/raw/raw5' -redundancy EXTERNAL -compatible.asm 11.2 -compatible.rdbms 11.2
$ asmca -silent -createDiskGroup -sysAsmPassword Dtgrid123# -diskString '/dev/raw/*' -diskGroupName ARCH -diskList '/dev/raw/raw6,/dev/raw/raw7' -redundancy EXTERNAL -compatible.asm 11.2 -compatible.rdbms 11.2

注：
如果创建失败，可以通过登录asm实例进行创建，命令如下：
create diskgroup DATA normal redundancy failgroup DATA_0000 disk '/dev/raw/raw4' failgroup DATA_0001 disk '/dev/raw/raw5';
create diskgroup ARCH normal redundancy failgroup ARCH_0000 disk '/dev/raw/raw6' failgroup ARCH_0001 disk '/dev/raw/raw7';

8、安装Database

8.1 注册产品列表

        可能在安装database时识别不了RAC环境，在inventory.xml中添加 CRS=“true”

vi /u01/app/oraInventory/ContentsXML/inventory.xml
<HOME NAME="Ora11g_gridinfrahome1" LOC="/u01/app/grid_home" TYPE="O" IDX="1" CRS="true">

8.2 准备响应文件

cat db_install.rsp | grep -v ^# | grep -v ^$ >> oracle.rsp
vi oracle.rsp
oracle.install.responseFileVersion=/oracle/install/rspfmt_dbinstall_response_schema_v11_2_0
oracle.install.option=INSTALL_DB_SWONLY
ORACLE_HOSTNAME=rac1pub
UNIX_GROUP_NAME=oinstall
INVENTORY_LOCATION=/u01/app/oraInventory
SELECTED_LANGUAGES=en
ORACLE_HOME=/u01/app/oracle/product/11.2.0/db_1
ORACLE_BASE=/u01/app/oracle
oracle.install.db.InstallEdition=EE
oracle.install.db.EEOptionsSelection=false
oracle.install.db.optionalComponents=oracle.rdbms.partitioning:11.2.0.4.0,oracle.oraolap:11.2.0.4.0,oracle.rdbms.dm:11.2.0.4.0,oracle.rdbms.dv:11.2.0.4.0,oracle.rdbms.lbac:11.2.0.4.0,oracle.rdbms.rat:11.2.0.4.0
oracle.install.db.DBA_GROUP=dba
oracle.install.db.OPER_GROUP=oinstall
oracle.install.db.CLUSTER_NODES=rac1pub,rac2pub
oracle.install.db.isRACOneInstall=
oracle.install.db.racOneServiceName=
oracle.install.db.config.starterdb.type=
oracle.install.db.config.starterdb.globalDBName=
oracle.install.db.config.starterdb.SID=
oracle.install.db.config.starterdb.characterSet=ZHS16GBK
oracle.install.db.config.starterdb.memoryOption=true
oracle.install.db.config.starterdb.memoryLimit=
oracle.install.db.config.starterdb.installExampleSchemas=false
oracle.install.db.config.starterdb.enableSecuritySettings=true
oracle.install.db.config.starterdb.password.ALL=
oracle.install.db.config.starterdb.password.SYS=
oracle.install.db.config.starterdb.password.SYSTEM=
oracle.install.db.config.starterdb.password.SYSMAN=
oracle.install.db.config.starterdb.password.DBSNMP=
oracle.install.db.config.starterdb.control=DB_CONTROL
oracle.install.db.config.starterdb.gridcontrol.gridControlServiceURL=
oracle.install.db.config.starterdb.automatedBackup.enable=false
oracle.install.db.config.starterdb.automatedBackup.osuid=
oracle.install.db.config.starterdb.automatedBackup.ospwd=
oracle.install.db.config.starterdb.storageType=
oracle.install.db.config.starterdb.fileSystemStorage.dataLocation=
oracle.install.db.config.starterdb.fileSystemStorage.recoveryLocation=
oracle.install.db.config.asm.diskGroup=
oracle.install.db.config.asm.ASMSNMPPassword=
MYORACLESUPPORT_USERNAME=
MYORACLESUPPORT_PASSWORD=
SECURITY_UPDATES_VIA_MYORACLESUPPORT=
DECLINE_SECURITY_UPDATES=true
PROXY_HOST=
PROXY_PORT=
PROXY_USER=
PROXY_PWD=
PROXY_REALM=
COLLECTOR_SUPPORTHUB_URL=
oracle.installer.autoupdates.option=
oracle.installer.autoupdates.downloadUpdatesLoc=
AUTOUPDATES_MYORACLESUPPORT_USERNAME=
AUTOUPDATES_MYORACLESUPPORT_PASSWORD=

8.3 安装

./runInstaller -silent -ignoreSysPrereqs -ignorePrereq -responseFile /u01/software/database/response/oracle.rsp
运行完成后执行脚本(顺序和grid执行脚本一致)：
/u01/grid/oraInventory/orainstRoot.sh
/u01/oracle/11.2.0/root.sh

9、创建数据库

        创建数据库可以使用dbca交互界面，也可以使用静默创建方式。

9.1 准备响应文件

/u01/soft/oracle/database/response/dbca_orcl.rsp
GDBNAME = "orcl"
SID = "orcl"
NODELIST=rac1pub,rac2pub
SYSPASSWORD = "sys"
SYSTEMPASSWORD = "system"
STORAGETYPE=ASM
DISKGROUPNAME=DATA
RECOVERYGROUPNAME=DATA
CHARACTERSET = "ZHS16GBK"

9.2 创建数据库

--准备监听(grid用户执行)
netca -silent -responsefile /u01/app/grid_home/assistants/netca/netca.rsp
--创建数据库(oracle用户执行)
dbca -silent -createDatabase -templateName New_Database.dbt -gdbname orcl -sid orcl -sysPassword sys -systemPassword system -datafileDestination 'DATA/' -storageType ASM -asmsnmpPassword asmsnmp -diskGroupName 'DATA' -responseFile NO_VALUE -characterset ZHS16GBK -sampleSchema true -automaticMemoryManagement true -nodeinfo rac1pub,rac2pub

数据库创建完成后检查资源情况：

grid执行：
crsctl stat res -t
如果发现节点二上数据库起不来，在节点一上执行：
alter system set cluster_interconnects = '10.1.0.200' scope=spfile sid='orcl1' ;
alter system set cluster_interconnects = '10.1.0.201' scope=spfile sid='orcl2' ;
修改之后需要重启数据库：
grid用户执行：
srvctl stop database -d orcl
srvctl start database -d orcl
crsctl stat res -t  //重启之后查看资源的状态

至此，配置完毕！