♦ RHCS 정보

OS : RHEL 6.5
NODE : 2 NODE
Resource : Oracle11g R2 , nas4free iSCSI externel Storage(2 Volume), VIP(192.168.0.43)
Fence Device : Supermicro mainboard IPMI Port

♦ 호스트 정보

[root@csnode01 ~]# cat /etc/hosts
192.168.0.41 csnode01
192.168.0.42 csnode02
192.168.0.43 vip
192.168.10.41 hb01
192.168.10.42 hb02
192.168.10.11 fence01
192.168.10.12 fence02
192.168.0.29 nas4free

♦ cluster.conf 설정 값

 

♦ 문제 일으키기

양쪽 노드에서 핫빗 NIC를 내려서 핫빗 체크 및 IPMI Fence 장치로 reboot 신호를 보내지 못하게 만들어 fencing을 할 수 없는 상황으로 만들었 때 Split Brain(핑퐁 치는 현상)을 구현한다.

1) 양쪽 노드에서 핫빗 NIC (eth2)를 일부러 죽인다.

2) 핫빗 체크 및 IPMI Fence 장치로 reboot 신호를 보내지 못하게 되는, 즉 fencing을 할 수 없는 상황으로 된다.

3) 각 노드가 자신이 master node 임을 인지하고 fencing 모드에 돌입한다.

4) 무한 반복으로 fencing을 친다.

-> 이런 현상의 NIC 고장외의 이유는 이 포스팅의 '메뉴얼 펜싱' 부분을 살펴본다.

 

♦ 해결하기

그리고 해결을 위해 아래와 같이 진행한다. – 아래와 같은 절차를 안 밟으면 rgmanager, cman 이 내려가지 않는다.

1) 서비스가 구동 중이었던 csnode01에서 오라클을 내리기 -> VIP 회수 -> 외장 스토리지 볼륨 umount

2) 각 노드에서 메뉴얼 펜싱

3) 각 노드에서 rgmanager stop

4) 각 노드에서 cman stop –> 아래 동영상에서는 여기까지만 진행

5) 각 노드에서 eth2 장치 올리기

6) 각 노드에서 cman, rgmanager 시작하기

 

아래는 위 과정을 나타낸 gif 동영상이다. (아래 이미지를 클릭하면 움직이는 그림이 출력된다.)

RHCS-SplitBrain

RHCS – Split Brain 현상 구현

댓글 남기기

이메일은 공개되지 않습니다. 필수 입력창은 * 로 표시되어 있습니다