pacemake代管galera集群的问题

admin

pacemaker可以管理galera集群，当节点数据库被kill掉，或者无故宕机重启之后，可以被拉起来
0 j. x9 v2 T# `0 R# O; }但是如果第一个节点被弄宕机之后，是不会被拉起来的，
只能重新启动集群的方式启动数据库
这时问题就来了，第一个节点再次被启动之后，其他两个节点的数据不会和该节点数据一致；使用lsof -i:4567就会发现：
[root@controller1 ~]# ps -ef |grep mysql
root      6111  2807  3 17:52 pts/1    00:00:00 /usr/libexec/mysqld --wsrep-new-cluster --user=root
root      6162  2807  0 17:52 pts/1    00:00:00 grep --color=auto mysql
[root@controller1 ~]# lsof -i:4567
COMMAND  PID USER   FD   TYPE  DEVICE SIZE/OFF NODE NAME
mysqld  6111 root   11u  IPv4 4596223      0t0  TCP *:tram (LISTEN)
3 x  s2 L8 F* p0 r& @8 |0 y! I0 x( V[root@controller1 ~]# crm_mon -i1 -f
Connection to the CIB terminated
[root@controller1 ~]# lsof -i:4567
COMMAND  PID USER   FD   TYPE  DEVICE SIZE/OFF NODE NAME
7 i; z8 P$ M2 Y. C; [& }% T( Gmysqld  6111 root   11u  IPv4 4596223      0t0  TCP *:tram (LISTEN)
) }3 M( }& C* S! _7 V* t) imysqld  6111 root   25u  IPv4 4609115      0t0  TCP controller1:tram->controller2:47986 (ESTABLISHED)
mysqld  6111 root   51u  IPv4 4599863      0t0  TCP controller1:tram->controller3:46132 (ESTABLISHED)
* `3 m$ s/ W) ]! f  b3 p: T

: {9 _& o7 u1 W
/ @' n' Q! N) o! a, W* k2 {. X" _第二个节点的状态如下：
[root@controller2 noarch]# ps -ef |grep mysql
mysql    29028     1  1 17:43 ?        00:00:06 /usr/libexec/mysqld --basedir=/usr
root     29400  4880  0 17:49 pts/0    00:00:00 grep --color=auto mysql
[root@controller2 noarch]# ps -ef |grep mysql
9 Z% F; ~- ]# Lmysql    29028     1  1 17:43 ?        00:00:06 /usr/libexec/mysqld --basedir=/usr
9 A, b9 {- G# Uroot     29402  4880  0 17:49 pts/0    00:00:00 grep --color=auto mysql
7 m1 O7 v* t; C- L# [1 }[root@controller2 noarch]# lsof -i:4567
6 }+ z+ Z' J. G, @COMMAND   PID  USER   FD   TYPE  DEVICE SIZE/OFF NODE NAME
mysqld  29028 mysql   11u  IPv4 4495884      0t0  TCP *:tram (LISTEN)
mysqld  29028 mysql   12u  IPv4 4504890      0t0  TCP controller2:tram->controller3:55332 (ESTABLISHED)
[root@controller2 noarch]# lsof -i:4567
COMMAND   PID  USER   FD   TYPE  DEVICE SIZE/OFF NODE NAME
mysqld  29028 mysql   11u  IPv4 4495884      0t0  TCP *:tram (LISTEN)
: Z* x' m/ u7 H8 u7 Tmysqld  29028 mysql   12u  IPv4 4504890      0t0  TCP controller2:tram->controller3:55332 (ESTABLISHED)
/ p5 d/ @$ x! w" X6 f  ?# K[root@controller2 noarch]# lsof -i:4567
COMMAND   PID  USER   FD   TYPE  DEVICE SIZE/OFF NODE NAME
mysqld  29028 mysql   11u  IPv4 4495884      0t0  TCP *:tram (LISTEN)
mysqld  29028 mysql   12u  IPv4 4504890      0t0  TCP controller2:tram->controller3:55332 (ESTABLISHED)
4 R8 N! }" c6 L+ i[root@controller2 noarch]# lsof -i:4567
COMMAND   PID  USER   FD   TYPE  DEVICE SIZE/OFF NODE NAME
1 f) }& T$ I3 ?) y9 Qmysqld  29028 mysql   11u  IPv4 4495884      0t0  TCP *:tram (LISTEN)
* y+ E* k0 H/ `" ^mysqld  29028 mysql   12u  IPv4 4504890      0t0  TCP controller2:tram->controller3:55332 (ESTABLISHED)
[root@controller2 noarch]# lsof -i:4567
COMMAND   PID  USER   FD   TYPE  DEVICE SIZE/OFF NODE NAME
mysqld  29028 mysql   11u  IPv4 4495884      0t0  TCP *:tram (LISTEN)
mysqld  29028 mysql   12u  IPv4 4504890      0t0  TCP controller2:tram->controller3:55332 (ESTABLISHED)
[root@controller2 noarch]# lsof -i:4567
& I8 M5 B+ z0 P3 ICOMMAND   PID  USER   FD   TYPE  DEVICE SIZE/OFF NODE NAME
  k& t; U+ ]1 T0 p1 wmysqld  29028 mysql   11u  IPv4 4495884      0t0  TCP *:tram (LISTEN)
mysqld  29028 mysql   12u  IPv4 4504890      0t0  TCP controller2:tram->controller3:55332 (ESTABLISHED)
! Z2 N9 C9 I9 e3 I9 k! L[root@controller2 noarch]# lsof -i:4567
COMMAND   PID  USER   FD   TYPE  DEVICE SIZE/OFF NODE NAME
mysqld  29028 mysql   11u  IPv4 4495884      0t0  TCP *:tram (LISTEN)
% c1 N4 ^0 q4 t6 kmysqld  29028 mysql   12u  IPv4 4504890      0t0  TCP controller2:tram->controller3:55332 (ESTABLISHED)
[root@controller2 noarch]# lsof -i:4567
6 o# d! I" _: i/ uCOMMAND   PID  USER   FD   TYPE  DEVICE SIZE/OFF NODE NAME
  h! N: q: W5 C4 \8 E# ^9 v5 kmysqld  29028 mysql   11u  IPv4 4495884      0t0  TCP *:tram (LISTEN)
7 `2 ]# a, @* h9 ymysqld  29028 mysql   12u  IPv4 4504890      0t0  TCP controller2:tram->controller3:55332 (ESTABLISHED)
- A! k+ d  Q1 D4 K' u6 O- I! a! a3 f" I[root@controller2 noarch]# lsof -i:4567
6 y" M/ F2 t5 nCOMMAND   PID  USER   FD   TYPE  DEVICE SIZE/OFF NODE NAME
mysqld  29028 mysql   11u  IPv4 4495884      0t0  TCP *:tram (LISTEN)
mysqld  29028 mysql   12u  IPv4 4504890      0t0  TCP controller2:tram->controller3:55332 (ESTABLISHED)
[root@controller2 noarch]# ps -ef |grep mysql
mysql    29028     1  1 17:43 ?        00:00:10 /usr/libexec/mysqld --basedir=/usr
root     29544  4880  0 17:54 pts/0    00:00:00 grep --color=auto mysql
[root@controller2 noarch]# kill -9 29028
- C# F9 D1 l. B, M$ [5 k; o( C( P[root@controller2 noarch]# ps -ef |grep mysql
- h$ @- G1 |+ x5 `  p; J5 e  L% Ymysql    29632     1  1 17:54 ?        00:00:00 /usr/libexec/mysqld --basedir=/usr
root     29641  4880  0 17:55 pts/0    00:00:00 grep --color=auto mysql
# M4 ^% l) }# x1 ^# V* L# d; A[root@controller2 noarch]# lsof -i:4567
. p8 W9 J. j" [: |4 Q! |COMMAND   PID  USER   FD   TYPE  DEVICE SIZE/OFF NODE NAME
9 e. ^5 t$ P% V' u, N8 Qmysqld  29632 mysql   11u  IPv4 4513297      0t0  TCP *:tram (LISTEN)
1 P% m  @$ H  z# fmysqld  29632 mysql   12u  IPv4 4513641      0t0  TCP controller2:tram->controller3:40324 (ESTABLISHED)
( ^) @- [# l. K0 V6 Xmysqld  29632 mysql   13u  IPv4 4513720      0t0  TCP controller2:tram->controller1:40644 (ESTABLISHED)
[root@controller2 noarch]# ps -ef |grep mysql
6 k7 y6 ?: O8 [mysql    29632     1  1 17:54 ?        00:00:06 /usr/libexec/mysqld --basedir=/usr
root     29953  4880  0 18:01 pts/0    00:00:00 grep --color=auto mysql

; p) Q! c( E- `) ^9 r* x
第三个节点：
" J  u3 @4 U; r. O7 v' u[root@controller3 noarch]# ps -ef |grep mysql
9 L7 \7 ?& w; l: V& l& p; q# O, zmysql    28955     1  1 17:55 ?        00:00:07 /usr/libexec/mysqld --basedir=/usr
# J! b0 W* n; j: Q' z  rroot     29396  4824  0 18:02 pts/0    00:00:00 grep --color=auto mysql
+ D$ {7 s+ n8 k1 A( u1 c[root@controller3 noarch]# kill -9 28955
. H. N9 ~, s6 z) I[root@controller3 noarch]# ps -ef |grep mysql
+ ^  {0 H) c0 u" L6 ?- Nroot     29426  4824  0 18:02 pts/0    00:00:00 grep --color=auto mysql
2 N6 K# [. l9 V% R, u( J[root@controller3 noarch]# lsof -i:4567
+ d3 Y2 n5 _7 I* O2 M# {8 P" `4 p+ Q[root@controller3 noarch]# lsof -i:4567
) V! p9 a+ P1 i$ k[root@controller3 noarch]# lsof -i:4567
$ ~7 S3 ?; T! G, PCOMMAND   PID  USER   FD   TYPE  DEVICE SIZE/OFF NODE NAME
0 h; [/ g5 P( @0 w$ n: q6 K6 U- ]mysqld  29487 mysql   11u  IPv4 4519472      0t0  TCP *:tram (LISTEN)
& ?9 L& Y- C) c4 L9 b2 Q; V  r[root@controller3 noarch]# lsof -i:4567
COMMAND   PID  USER   FD   TYPE  DEVICE SIZE/OFF NODE NAME
: @8 F* Z) s/ {mysqld  29487 mysql   11u  IPv4 4519472      0t0  TCP *:tram (LISTEN)
[root@controller3 noarch]# lsof -i:4567
1 T0 c% j* @/ Z! V0 E. l1 U+ QCOMMAND   PID  USER   FD   TYPE  DEVICE SIZE/OFF NODE NAME
mysqld  29487 mysql   11u  IPv4 4519472      0t0  TCP *:tram (LISTEN)
6 G, H3 y# `) p- f* K; [+ K' Amysqld  29487 mysql   12u  IPv4 4519587      0t0  TCP controller3:36394->controller1:tram (ESTABLISHED)
[root@controller3 noarch]# lsof -i:4567
5 m5 x% M0 J0 \- l$ aCOMMAND   PID  USER   FD   TYPE  DEVICE SIZE/OFF NODE NAME
mysqld  29487 mysql   11u  IPv4 4519472      0t0  TCP *:tram (LISTEN)
6 d6 c: b- Q* pmysqld  29487 mysql   12u  IPv4 4519587      0t0  TCP controller3:36394->controller1:tram (ESTABLISHED)
mysqld  29487 mysql   13u  IPv4 4519625      0t0  TCP controller3:58954->controller2:tram (ESTABLISHED)
* T% [& J8 O8 W4 K% `( Z& z# h[root@controller3 noarch]# lsof -i:4567
COMMAND   PID  USER   FD   TYPE  DEVICE SIZE/OFF NODE NAME
mysqld  29487 mysql   11u  IPv4 4519472      0t0  TCP *:tram (LISTEN)
mysqld  29487 mysql   12u  IPv4 4519587      0t0  TCP controller3:36394->controller1:tram (ESTABLISHED)
" @* c2 U+ ^9 N' f- lmysqld  29487 mysql   13u  IPv4 4519625      0t0  TCP controller3:58954->controller2:tram (ESTABLISHED)
: I/ Q6 M% @: Q+ m3 ^. B* b% V8 e[root@controller3 noarch]# lsof -i:4567
  I6 x9 d/ ^. S+ ~/ g0 gCOMMAND   PID  USER   FD   TYPE  DEVICE SIZE/OFF NODE NAME
mysqld  29487 mysql   11u  IPv4 4519472      0t0  TCP *:tram (LISTEN)
mysqld  29487 mysql   12u  IPv4 4519587      0t0  TCP controller3:36394->controller1:tram (ESTABLISHED)
3 J" D* i3 r+ A1 t) U: Omysqld  29487 mysql   13u  IPv4 4519625      0t0  TCP controller3:58954->controller2:tram (ESTABLISHED)
! `1 B7 m2 q8 ]  P[root@controller3 noarch]# lsof -i:4567
- @$ T; W$ o$ ~1 q5 @; T; MCOMMAND   PID  USER   FD   TYPE  DEVICE SIZE/OFF NODE NAME
mysqld  29487 mysql   11u  IPv4 4519472      0t0  TCP *:tram (LISTEN)
  {2 R; ^3 f! J, J7 L9 Kmysqld  29487 mysql   12u  IPv4 4519587      0t0  TCP controller3:36394->controller1:tram (ESTABLISHED)
8 X7 ?: `3 K- `mysqld  29487 mysql   13u  IPv4 4519625      0t0  TCP controller3:58954->controller2:tram (ESTABLISHED)
[root@controller3 noarch]# lsof -i:4567
COMMAND   PID  USER   FD   TYPE  DEVICE SIZE/OFF NODE NAME
5 {  Y8 Q/ k3 }) M& t1 s2 wmysqld  29487 mysql   11u  IPv4 4519472      0t0  TCP *:tram (LISTEN)
6 x' J2 G* Y! P! r" ?! y5 wmysqld  29487 mysql   12u  IPv4 4519587      0t0  TCP controller3:36394->controller1:tram (ESTABLISHED)
mysqld  29487 mysql   13u  IPv4 4519625      0t0  TCP controller3:58954->controller2:tram (ESTABLISHED)
  O2 D" A* z. f9 t% d
0 @: o' y4 C4 T8 [1 g

也就是说，在第一个节点宕机之后，启动集群之后，第二三两个节点也必须kill掉，mysql的4567端口数据才会一致，否者就会出现第一个节点是一个状态，第二三个节点是另一个状态，就是我们说的脑裂现象。
+ M/ R) K9 _+ o1 u8 q