RHEL6.7 x64双节点安装Oracle 11g r2 RAC

Posted 2020-08-14

基础环境

　　使用两台HP DL580服务器作为RAC节点，存储使用IBM V7000。具体环境如下：

设备	用途	IP地址	磁盘空间
HP DL580	RAC节点01	RAC01-pub：116.1.1.57 RAC01-priv：4.4.4.35 RAC01-vip：116.1.1.59 RAC02-pub：16.1.1.58 RAC02-priv：4.4.4.36 RAC02-vip：116.1.1.60 RAC-scan：116.1.1.61	300G
HP DL580	RAC节点02		300G
IBM V7000	共享存储		OCR:30G FRA:450G DATA1:600G DATA2:600G DATA3:600G

 

 

 

 

 

 

 

 

 

 

　　

　　前期的网络配置（两组双网卡绑定，分别配置pub ip和priv ip）、共享存储连接和yum源配置等工作已经完成。Oracle版本：11.2.0.4，存储多路径软件为Redhat自带的multipath。

实施步骤

　　准备工作

　　HOSTS和主机名配置（所有节点）

　　编辑/etc/sysconfig/network文件配置主机名（重启生效）：

#所有节点均执行
[[email protected]:~]#cat /etc/sysconfig/network      
NETWORKING=yes
HOSTNAME=cheastrac01

[[email protected]:~]#cat /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=cheastrac02

　　编辑/etc/hosts配置hosts：

#所有节点均执行
[[email protected]:~]$cat /etc/hosts        
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6

#rac
116.1.1.57      cheastrac01
116.1.1.58      cheastrac02
116.1.1.59      cheastrac01-vip
116.1.1.60      cheastrac02-vip
4.4.4.35        cheastrac01-priv
4.4.4.36        cheastrac02-priv
116.1.1.61      cheastrac-scan

　　防火墙、SELinux和NTP禁用（所有节点）

　　关闭服务器防火墙：

所有节点均执行
[[email protected]:~]$service iptables stop      
[[email protected]:~]$chkconfig iptables off

　　禁用SELinux：

#所有节点均执行
[[email protected]:~]$sed -i ‘s/SELINUX=enforcing/SELINUX=disabled/g‘ /etc/selinux/config    

　　禁用NTP并删除其配置文件：（禁用ntp并删除配置文件后，rac的grid安装时会自动使用其自带的CTSS进行时间管理）

#所有节点均执行
[[email protected]:~]$service ntpd stop          
[[email protected]:~]$chkconfig ntpd off
[[email protected]:~]$mv /etc/ntp.conf /etc/ntp.conf.bak

　　资源限额配置（所有节点）

　　为grid和oracle配置资源限额。

　　编辑/etc/sysctl.conf，添加以下内容：

#所有节点均执行
[[email protected]:~]$cat /etc/sysctl.conf
......
#oracle rac
fs.file-max = 6815744
kernel.sem = 250 32000 100 128
kernel.shmmni = 4096
kernel.shmall = 1073741824
kernel.shmmax = 96636764160                #依当前内存而定，通常60%-80%左右
net.core.rmem_default = 262144
net.core.rmem_max = 4194304
net.core.wmem_default = 262144
net.core.wmem_max = 1048576
fs.aio-max-nr = 1048576
net.ipv4.ip_local_port_range = 9000 65500

[11:10 [email protected]:~ 11]$sysctl -p    #令配置生效

　　编辑/etc/security/limits.conf，添加以下内容：

#所有节点均执行
[[email protected]:~]$cat /etc/security/limits.conf    
......
#oracle rac
grid soft nofile 1024
grid hard nofile 65536
grid soft nproc 2047
grid hard nproc 16384
grid soft stack 10240
grid hard stack 32768
oracle soft nofile 1024
oracle hard nofile 65536
oracle soft nproc 2047
oracle hard nproc 16384
oracle soft stack 10240
oracle hard stack 32768

 　　编辑/etc/pam.d/login，添加以下内容：

#所有节点均执行
[[email protected]:~]$echo　"session required pam_limits.so"　>> /etc/pam.d/login   

　　调整tmpfs大小

　　如果内存较大，sga target不能超过tmpfs大小，因此需要将tmpfs调整到一个大于sga target的值。编辑/etc/fstab，修改tmpfs行：

#所有节点均执行
tmpfs                   /dev/shm                tmpfs   defaults,size=102400m        0 0     #如服务器内存128GB，sga target为90GB，则可设置tmpfs为100GB

　　重新mount并查看tmpfs设置是否生效：

#所有节点均执行
[[email protected]:~]$mount -o remount /dev/shm  
[[email protected]:~]$df -h

　　用户和组配置（所有节点）

　　新建grid和oracle相关用户和组。

#所有节点均执行，且需保证所有节点对应的组和用户id相同
[[email protected]:~]$groupadd -g 4321 oinstall   
[[email protected]:~]$groupadd -g 4322 dba
[[email protected]:~]$groupadd -g 4323 oper
[[email protected]:~]$groupadd -g 4324 asmdba
[[email protected]:~]$groupadd -g 4325 asmadmin
[[email protected]:~]$groupadd -g 4326 asmoper
[[email protected]:~]$useradd -u 4321 -g oinstall -G asmadmin,asmdba,asmoper,dba -d /home/grid -s /bin/bash -c "Grid Infrastructure Owner" grid 
[[email protected]:~]$useradd -u 4322 -g oinstall -G asmadmin,asmdba,dba,oper  -d /home/oracle -s /bin/bash -c "Oracle Software Owner" oracle
[[email protected]:~]$echo "grid" | passwd --stdin grid       #为grid和oracle用户设置密码
[[email protected]:~]$echo "oracle" | passwd --stdin oracle

　　新建grid和oracle安装目录

#所有节点均执行
[[email protected]:~]$mkdir -p /u01/grid/product/grid11g   
[[email protected]:~]$mkdir -p /u01/oracle/product/db11g
[[email protected]:~]$chown -R grid:oinstall /u01
[[email protected]:~]$chown -R oracle:oinstall /u01/oracle
[[email protected]:~]$chmod -R 775 /u01

　　配置grid和oracle用户环境变量

　　grid环境变量：编辑/home/grid/.bash_profile文件，添加以下内容：

#所有节点均执行
[[email protected]:~]$cat /home/grid/.bash_profile  
export PATH
export TMP=/tmp
export TMPDIR=$TMP
export ORACLE_BASE=/u01/grid
export ORACLE_HOME=$ORACLE_BASE/product/grid11g
export ORACLE_SID=+ASM1  #节点1为+ASM1，节点2为+ASM2，以此类推
export PATH=$HOME/bin:$ORACLE_HOME/bin:/usr/bin:/bin:/usr/bin/X11:/usr/local/bin:$ORACLE_BASE/common/oracle/bin:$PATH
export LD_LIBRARY_PATH=$ORACLE_HOME/lib:$ORACLE_HOME/oracm/lib:/usr/lib:/usr/local/lib
export CLASSPATH=$ORACLE_HOME/JRE:$ORACLE_HOME/jlib:$ORACLE_HOME/rdbms/jlib:$ORACLE_HOME/network/jlib:$ORACLE_HOME/oracm/lib

　　oracle环境变量：编辑/home/oracle/.bash_profile文件，添加以下内容：

#所有节点均执行
[[email protected]:~]$cat /home/oracle/.bash_profile  
export PATH
export TMP=/tmp
export TMPDIR=$TMP
export ORACLE_BASE=/u01/oracle
export ORACLE_HOME=$ORACLE_BASE/product/db11g
export ORACLE_SID=CRRDW    #此处指定oracle实例名。单实例情况下可指定ORACLE_SID，多实例情况下建议不指定
export PATH=/usr/sbin:$PATH
export PATH=$ORACLE_HOME/bin:$PATH
export LD_LIBRARY_PATH=$ORACLE_HOME/lib:/lib:/usr/lib
export CLASSPATH=$ORACLE_HOME/JRE:$ORACLE_HOME/jlib:$ORACLE_HOME/rdbms/jlib

　　SSH互信配置（所有节点）

　　配置所有节点间ssh无密码登录，保证节点间文件互传。需要分别配置grid和oracle用户的ssh互信，root用户可配可不配。本项目只有两个节点：cheastrac01, cheastrac02。以配置grid用户的ssh互信为例：

　　在所有节点上登录到grid用户，执行以下命令：

#所有节点均执行
[[email protected]:~]$rm -rf ~/.ssh    
[[email protected]:~]$mkdir ~/.ssh
[[email protected]:~]$chmod 700 ~/.ssh
[[email protected]:~]$/usr/bin/ssh-keygen -t rsa     #提示输入时一路回车即可

　　在节点1上执行以下命令：

#仅节点1执行
[[email protected]:~]$ssh cheastrac01 cat ~/.ssh/id_rsa.pub>>~/.ssh/authorized_keys  
[[email protected]:~]$ssh cheastrac02 cat ~/.ssh/id_rsa.pub>>~/.ssh/authorized_keys
[[email protected]:~]$scp ~/.ssh/authorized_keys cheastrac02:.ssh/authorized_keys

　　在节点2上执行以下命令：

#仅节点2执行
[[email protected]:~]$chmod 600 ~/.ssh/authorized_keys

　　测试ssh互信是否配置成功：

#所有节点均执行，以下命令第一次执行需要输入密码，以后则不需要，表示配置成功
[[email protected]:~]$ssh cheastrac01 date
[[email protected]:~]$ssh cheastrac02 date
[[email protected]:~]$ssh cheastrac01 date
[[email protected]:~]$ssh cheastrac02 date

　　登录到oracle账号下，重复以上操作。

　　编辑/etc/ssh/sshd_config, 将#LoginGraceTime 2m 改为LoginGraceTime 0，使ssh认证不超时。