如何修改集群的公网信息（包括 VIP）

Posted 2020-11-23 muzisanshi

详细信息

情况1.   修改公网对应的主机名

集群公网对应的主机名是在安装时输入的，并且被记录在 OCR 中。这个主机名在安装之后是不能修改的。唯一的修改方法是删除节点，修改主机名，之后将节点重新添加到集群，或者直接重新安装集群软件，并完成后续的克隆配置。

 

情况2.  只修改公网 IP或者VIP， 但是不修改网卡、子网或网络掩码信息，或者只是修改MAC地址，而不需要修改其他信息

如果只需要修改公网 IP 地址或者VIP，而且新的地址仍然在相同的子网和相同的网络接口上，或者只是修改公网IP的MAC地址，IP/interface/subnet/netmask仍旧保持不变，集群层面不需要做任何修改，所有需要的修改是在 OS 层面反映 IP 地址的变化。

1. 关闭 Oracle 集群管理软件
2. 在网络层面，DNS 和 /etc/hosts 文件中修改 IP 地址，或者直接修改MAC地址
3. 重新启动 Oracle 集群管理软件

以上的修改可以使用滚动的方式完成，例如：每次修改一个节点。

 

情况3. 修改公网网卡，子网或网络掩码信息

如果修改涉及到了不同的子网（网络掩码）或者网卡，需要将 OCR 中已经存在的网卡信息删除并重新添加新的信息。在以下的示例中子网从 10.2.156.0 被修改为 10.2.166.0，需要执行两个步骤 –首先‘delif’，接下来 ‘setif’：

% $CRS_HOME/bin/oifcfg/oifcfg delif -global <if_name>[/<subnet>]
% $CRS_HOME/bin/oifcfg/oifcfg setif -global <if_name>/<subnet>:public

例如:
% $CRS_HOME/bin/oifcfg delif -global eth0/10.X.156.0 
% $CRS_HOME/bin/oifcfg setif -global eth0/10.X.166.0:public

然后，在操作系统层面进行修改。除非 OS 层面的修改需要重新启动节点，否则不需要重启 Oracle 集群管理软件。修改可以使用滚动的方式完成。

一旦公网信息被修改，与其相关的 VIP 和 SCAN VIP 也需要修改，请参考情况4和情况5。

注意：对于11gR2，上面命令要求集群在所有节点运行，否则报错PRIF-33 和 PRIF-32，比如：
[grid@racnode1 bin]$ ./oifcfg delif -global <if_name>/192.168.1.0
PRIF-33: Failed to set or delete interface because hosts could not be discovered
CRS-02307: No GPnP services on requested remote hosts.
PRIF-32: Error in checking for profile availability for host <nodename>2
CRS-02306: GPnP service on host "<nodename>2" not found.

 

情况4. 修改 VIP 相关的公网信息

准备修改VIP

一般而言，只有 10.2.0.3 之前的版本需要完全的停机。从 10.2.0.3 开始，ASM 和数据库实例对 VIP 资源的依赖关系已经被删除，所以修改 VIP 不需要停止 ASM 和数据库实例，只有当修改 VIP 时产生的客户端连接会受影响。如果修改只涉及到特定的节点，那么只有连接到对应节点的客户端链接在修改时会受影响。

首先，请参考情况3以确保公网信息被修改。如果在 OS 层面的网络修改后发生了节点或者集群管理软件重启，VIP 将不会被启动，请跳到步骤“修改 VIP 和相关属性”。

获得当前的 VIP 配置

1. 获取当前设置
对于版本 10g 和 11gR1, 使用 Oracle 集群管理软件的拥有者执行下面的命令：

$ srvctl config nodeapps -n <nodename> -a

例如：
$ srvctl config nodeapps -n <nodename>1 -a
VIP exists.: /<nodename>1-vip/101.XX.XX.184/255.255.254.0/<if_name>

对于版本 11gR2, 使用 Grid Infrastructure 的拥有者执行下面的命令：

$ srvctl config nodeapps -a

例如：
$ srvctl config nodeapps -a
Network exists: 1/101.17.80.0/255.255.254.0/<if_name>, type static
VIP exists: /racnode1-vip/101.17.XX.184/101.17.80.0/255.255.254.0/<if_name>, hosting node <nodename>1
VIP exists: /racnode2-vip/101.17.XX.186/101.17.80.0/255.255.254.0/<if_name>, hosting node <nodename>2

2. 验证 VIP 状态

版本 10.2 和 11.1：
$ crs_stat -t 

版本 11.2：
$ crsctl stat res -t
- 以上命令应该显示 VIPs 状态为 ONLINE

$ ifconfig -a
(HP 平台请使用 netstat –in, Windows 平台请使用 ipconfig /all)
- VIP 逻辑网卡对应公网网卡

 

停止资源

3. 停止 nodeapps 资源 (如果有必要的话，停止存在依赖关系的 ASM 和数据库资源):

对于版本 10g 和 11gR1, 使用 Oracle 集群管理软件的拥有者执行下面的命令：

$ srvctl stop instance -d <db_name> -i <inst_name>   (对于 10.2.0.3 及以上版本，可以忽略)
$ srvctl stop asm -n <node_name>                     (对于 10.2.0.3 及以上版本，可以忽略)
$ srvctl stop nodeapps -n <node_name>

例如： 
$ srvctl stop instance -d <DBNAME> -i <INSTANCENAME>1
$ srvctl stop asm -n <nodename>1
$ srvctl stop nodeapps -n <nodename>1

对于版本 11gR2, 使用 Grid Infrastructure 的拥有者执行下面的命令：

$ srvctl stop instance -d <db_name> -n <node_name>   (可以忽略)
$ srvctl stop vip -n <node_name> -f

例如：
$ srvctl stop instance -d <DBNAME> -n <nodename>1
$ srvctl stop vip -n <nodename>1 -f

 

注意1: 对于版本 11gR2，需要使用 -f 选项停止 listener 资源，否则会报以下错误：
PRCR-1014 : Failed to stop resource ora.<nodename>1.vip
PRCR-1065 : Failed to stop resource ora.<nodename>1.vip
CRS-2529: Unable to act on ‘ora.<nodename>1.vip‘ because that would require stopping or relocating ‘ora.LISTENER.lsnr‘, but the force option was not specified
...

4. 验证 VIP 现在处于 OFFLINE 状态，并且 VIP 不再绑定到公网网卡

$ crs_stat -t (对于版本 11gR2，使用命令 $ crsctl stat res –t)

$ ifconfig -a
(HP 平台请使用 netstat –in, Windows 平台请使用 ipconfig /all)

 

修改 VIP 和相关属性

5. 确定新的 VIP 地址/子网/网络掩码或者 VIP 对应的主机名，在 OS 层面修改网络配置信息，确认新的 VIP 地址应经注册到 DNS 或者确认 /etc/hosts 文件（Unix/Linux 平台），WINDOWSSystem32driversetchosts 文件（Windows平台）已经被修改。如果网卡信息被修改，确认在修改之前新的网卡在服务器上已经可用。

例如：
新VIP 地址：110.XX.XX.11 <nodename>1-nvip
新子网信息：110.11.70.0
新网络掩码：255.255.255.0
新网卡：<if_name>

6. 使用 root 用户修改 VIP 资源：

# srvctl modify nodeapps -n <node> -A <new_vip_address or new_vip_hostname>/<netmask>/<[if1[if2...]]>

例如：
# srvctl modify nodeapps -n <nodename>1 -A <nodename>1-nvip/255.255.255.0/<if_name>

 

注意 1：从版本 11.2 开始，VIP 依赖于 network 资源(ora.net1.network)，OCR 只记录 VIP 主机名或者 VIP 资源相关的 IP 地址。集群公网的属性（子网/网络掩码）通过网络资源记录。当 nodeapps 资源被修改后，network资源(ora.net1.network)相关的属性也会随之被修改。

从 11.2.0.2 开始，如果只修改子网/网络掩码信息，网络资源可以通过以下的 srvctl modify network 命令直接修改。

使用 root 用户：
# srvctl modify network -k <network_number>] [-S <subnet>/<netmask>[/if1[|if2...]]

例如：
# srvctl modify network -k 1 -S 110.XX.XX.0/255.255.255.0/<if_name>

如果其他属性没有变化，不需要修改 VIP 或 SCAN VIP。

注意 2：在12.1.0.1的版本上由于Bug 16608577 - CANNOT ADD SECOND PUBLIC INTERFACE IN ORACLE 12.1 ,srvctl modify network 的命令会失败并提示：

# srvctl modify network -k 1 -S 110.XX.XX.0/255.255.255.0/<if_name>
PRCT-1305 : The specified interface name "<if_name>2" does not match the existing network interface name "<if_name>1"

需要通过以下workaround来解决：

# srvctl modify network -k 1 -S 110.XX.XX.0/255.255.255.0
# srvctl modify network -k 1 -S 110.XX.XX.0/255.255.255.0/<if_name>2

 

* 一个 11gR2 修改 VIP 主机名，但是不修改 IP 地址的例子。

例如：只把 VIP 主机名从 <nodename>1-vip 修改为 <nodename>1-nvip，IP 地址和其他属性保持不变。

如果 IP 地址保持不变，以上的命令将不会改变命令‘crsctl stat res ora.<nodename>1.vip -p’的输出中项目 USR_ORA_VIP 的值。请使用下面的命令：
# crsctl modify res ora.<nodename>1.vip -attr USR_ORA_VIP=<nodename>1-nvip

验证项目 USR_ORA_VIP 的改变：
# crsctl stat res ora.<nodename>1.vip -p |grep USR_ORA_VIP

 

注意：对于 Windows 平台，如果网卡名中包含了空格，那么网卡名需要包含在双引号(")中。例如：
使用管理员用户或者软件安装用户：
> srvctl modify nodeapps -n <nodename>1 -A 110.XX.XX.11/255.255.255.0/"Local Area Connection 1"

 
7. 验证改变

$ srvctl config nodeapps -n <node> -a (10g and 11gR1)
$ srvctl config nodeapps -a (11gR2)

例如：
$ srvctl config nodeapps -n <nodename>1 -a
VIP exists.: /<nodename>1-nvip/110.11.70.11/255.255.255.0/<if_name>2

 

重新启动资源

8. 启动 nodeapps 和其它资源

对于版本 10g 和 11gR1, 使用 Oracle 集群管理软件的拥有者执行下面的命令：

$ srvctl start nodeapps -n <node_name>       
$ srvctl start asm -n <node_name>               (对于 10.2.0.3 及以上版本，可以忽略)
$ srvctl start instance -d <dbanme> -i <inst>   (对于 10.2.0.3 及以上版本，可以忽略)

例如：
$ srvctl start nodeapps -n <nodename>1
$ srvctl start asm -n <nodename>1
$ srvctl start instance -d <DBNAME> -i <INSTANCE_NAME>1

对于版本 11gR2, 使用 Grid Infrastructure 的拥有者执行下面的命令：

$ srvctl start vip -n <node_name> 
$ srvctl start listener -n <node_name>
$ srvctl start instance -d <db_name> -n <node_name> (可以忽略)

例如：

$ srvctl start vip -n <nodename>1 
$ srvctl start listener -n <nodename>1
$ srvctl start instance -d <DBNAME> -n <nodename>1

注意:如果网络的属性做了修改，比如netmask 等做了修改，需要重新启动nodeapps

 

9. 验证新的 VIP 状态为 ONLINE 并且已经绑定到集群公网网卡

$ crs_stat -t (对于版本 11gR2，使用命令 $ crsctl stat res –t)

$ ifconfig -a
(HP 平台请使用 netstat –in, Windows 平台请使用 ipconfig /all)

10. 如果集群中的其它节点也需要类似的改变，请重复同样的步骤。

其它

11. 如果需要，修改 listener.ora, tnsnames.ora 和 LOCAL_LISTENER/REMOTE_LISTENER 参数反应 VIP 的改变。

注意： ASM和DB实例的LOCAL_LISTENER参数，是GI自动设置的。VIP的改变，LOCAL_LISTENER会自动识别，并生效。但是由于Bug 22824602，一些特定情况下。 LOCAL_LISTENER参数没有反应 VIP 的改变。workaround解决方法是重启受影响的节点的集群软件。

 

情况5：修改 SCAN VIP 相关的公网信息

对于 11gR2 Grid Infrastructure，客户端可以通过 SCAN 和 SCAN VIP 连接数据库。请参考下面的 Note 修改 SCAN VIP。

Note 952903.1 How to update the IP address of the SCAN VIP resources (ora.scan<n>.vip) 
Note 972500.1 How to Modify SCAN Setting or SCAN Listener Port after Installation

注意：如果需要回退修改，那么用原始值替换新值，然后重新运行命令。