pacemake代管galera集群的问题

admin

pacemaker可以管理galera集群，当节点数据库被kill掉，或者无故宕机重启之后，可以被拉起来
但是如果第一个节点被弄宕机之后，是不会被拉起来的，
  E$ S4 _4 G& M, a1 k只能重新启动集群的方式启动数据库
这时问题就来了，第一个节点再次被启动之后，其他两个节点的数据不会和该节点数据一致；使用lsof -i:4567就会发现：
[root@controller1 ~]# ps -ef |grep mysql
root      6111  2807  3 17:52 pts/1    00:00:00 /usr/libexec/mysqld --wsrep-new-cluster --user=root
# `+ k. t6 F4 e% U; [root      6162  2807  0 17:52 pts/1    00:00:00 grep --color=auto mysql
[root@controller1 ~]# lsof -i:4567
* R5 Y7 Y# [9 W1 n! K! @COMMAND  PID USER   FD   TYPE  DEVICE SIZE/OFF NODE NAME
# y! y) {) ~& u2 L" fmysqld  6111 root   11u  IPv4 4596223      0t0  TCP *:tram (LISTEN)
[root@controller1 ~]# crm_mon -i1 -f
Connection to the CIB terminated
[root@controller1 ~]# lsof -i:4567
COMMAND  PID USER   FD   TYPE  DEVICE SIZE/OFF NODE NAME
mysqld  6111 root   11u  IPv4 4596223      0t0  TCP *:tram (LISTEN)
, u: p5 h/ |! U8 Tmysqld  6111 root   25u  IPv4 4609115      0t0  TCP controller1:tram->controller2:47986 (ESTABLISHED)
mysqld  6111 root   51u  IPv4 4599863      0t0  TCP controller1:tram->controller3:46132 (ESTABLISHED)


) K1 x4 y; }6 `8 Q
4 |3 e! _, t) x& F- b" U* x5 m第二个节点的状态如下：
[root@controller2 noarch]# ps -ef |grep mysql
& M, h0 \5 x! t% ]" a# Qmysql    29028     1  1 17:43 ?        00:00:06 /usr/libexec/mysqld --basedir=/usr
root     29400  4880  0 17:49 pts/0    00:00:00 grep --color=auto mysql
[root@controller2 noarch]# ps -ef |grep mysql
7 s% t5 T* a5 X$ q* h4 u. gmysql    29028     1  1 17:43 ?        00:00:06 /usr/libexec/mysqld --basedir=/usr
6 Y# h# @2 v5 D; J8 w1 d2 m# vroot     29402  4880  0 17:49 pts/0    00:00:00 grep --color=auto mysql
, E8 g% v- x! e* K' `0 x[root@controller2 noarch]# lsof -i:4567
5 r7 T. R/ _* ~: kCOMMAND   PID  USER   FD   TYPE  DEVICE SIZE/OFF NODE NAME
& n! R7 j4 E+ C5 }* [mysqld  29028 mysql   11u  IPv4 4495884      0t0  TCP *:tram (LISTEN)
' N/ r5 _$ _$ S& [, X* omysqld  29028 mysql   12u  IPv4 4504890      0t0  TCP controller2:tram->controller3:55332 (ESTABLISHED)
[root@controller2 noarch]# lsof -i:4567
/ m, F* t. {7 [& F1 ?- s+ U* PCOMMAND   PID  USER   FD   TYPE  DEVICE SIZE/OFF NODE NAME
1 R. m2 D/ G3 W! o$ ?# Z' s- Bmysqld  29028 mysql   11u  IPv4 4495884      0t0  TCP *:tram (LISTEN)
mysqld  29028 mysql   12u  IPv4 4504890      0t0  TCP controller2:tram->controller3:55332 (ESTABLISHED)
[root@controller2 noarch]# lsof -i:4567
% F& b! M7 s( N( x* ECOMMAND   PID  USER   FD   TYPE  DEVICE SIZE/OFF NODE NAME
4 Z7 s0 F* G9 U! hmysqld  29028 mysql   11u  IPv4 4495884      0t0  TCP *:tram (LISTEN)
mysqld  29028 mysql   12u  IPv4 4504890      0t0  TCP controller2:tram->controller3:55332 (ESTABLISHED)
[root@controller2 noarch]# lsof -i:4567
3 Y- h; ~  |% C( {) w# sCOMMAND   PID  USER   FD   TYPE  DEVICE SIZE/OFF NODE NAME
- B( V  s8 I: S  i! u) o& xmysqld  29028 mysql   11u  IPv4 4495884      0t0  TCP *:tram (LISTEN)
/ G5 x: Y# o' R8 k, ~8 ?$ T& @) X/ ?3 Cmysqld  29028 mysql   12u  IPv4 4504890      0t0  TCP controller2:tram->controller3:55332 (ESTABLISHED)
8 V. m6 z8 Q; t$ M% ]( m- v[root@controller2 noarch]# lsof -i:4567
COMMAND   PID  USER   FD   TYPE  DEVICE SIZE/OFF NODE NAME
mysqld  29028 mysql   11u  IPv4 4495884      0t0  TCP *:tram (LISTEN)
mysqld  29028 mysql   12u  IPv4 4504890      0t0  TCP controller2:tram->controller3:55332 (ESTABLISHED)
! Q1 z9 V0 L  Q[root@controller2 noarch]# lsof -i:4567
6 Q8 D5 ^% R2 Z+ p8 J) aCOMMAND   PID  USER   FD   TYPE  DEVICE SIZE/OFF NODE NAME
mysqld  29028 mysql   11u  IPv4 4495884      0t0  TCP *:tram (LISTEN)
mysqld  29028 mysql   12u  IPv4 4504890      0t0  TCP controller2:tram->controller3:55332 (ESTABLISHED)
[root@controller2 noarch]# lsof -i:4567
COMMAND   PID  USER   FD   TYPE  DEVICE SIZE/OFF NODE NAME
mysqld  29028 mysql   11u  IPv4 4495884      0t0  TCP *:tram (LISTEN)
mysqld  29028 mysql   12u  IPv4 4504890      0t0  TCP controller2:tram->controller3:55332 (ESTABLISHED)
[root@controller2 noarch]# lsof -i:4567
COMMAND   PID  USER   FD   TYPE  DEVICE SIZE/OFF NODE NAME
mysqld  29028 mysql   11u  IPv4 4495884      0t0  TCP *:tram (LISTEN)
2 K% M& I! H$ I6 V' l, n) Qmysqld  29028 mysql   12u  IPv4 4504890      0t0  TCP controller2:tram->controller3:55332 (ESTABLISHED)
+ F, C  K' D, ^% _[root@controller2 noarch]# lsof -i:4567
COMMAND   PID  USER   FD   TYPE  DEVICE SIZE/OFF NODE NAME
" {% ?9 S; m6 N2 h4 l6 ~, Vmysqld  29028 mysql   11u  IPv4 4495884      0t0  TCP *:tram (LISTEN)
mysqld  29028 mysql   12u  IPv4 4504890      0t0  TCP controller2:tram->controller3:55332 (ESTABLISHED)
[root@controller2 noarch]# ps -ef |grep mysql
1 R* ]1 [' y; I8 r3 ^$ Q2 Omysql    29028     1  1 17:43 ?        00:00:10 /usr/libexec/mysqld --basedir=/usr
! p( V7 \' }5 R4 w/ A$ |root     29544  4880  0 17:54 pts/0    00:00:00 grep --color=auto mysql
[root@controller2 noarch]# kill -9 29028
[root@controller2 noarch]# ps -ef |grep mysql
mysql    29632     1  1 17:54 ?        00:00:00 /usr/libexec/mysqld --basedir=/usr
! O! A- v  `* g* Sroot     29641  4880  0 17:55 pts/0    00:00:00 grep --color=auto mysql
[root@controller2 noarch]# lsof -i:4567
3 t& m5 C+ y! f6 Q2 `! \1 O: E( oCOMMAND   PID  USER   FD   TYPE  DEVICE SIZE/OFF NODE NAME
mysqld  29632 mysql   11u  IPv4 4513297      0t0  TCP *:tram (LISTEN)
' C9 W9 G# ~" t+ j; Y+ a, Z. |mysqld  29632 mysql   12u  IPv4 4513641      0t0  TCP controller2:tram->controller3:40324 (ESTABLISHED)
( `6 \( F0 c# m9 Z! _$ m/ Umysqld  29632 mysql   13u  IPv4 4513720      0t0  TCP controller2:tram->controller1:40644 (ESTABLISHED)
[root@controller2 noarch]# ps -ef |grep mysql
mysql    29632     1  1 17:54 ?        00:00:06 /usr/libexec/mysqld --basedir=/usr
root     29953  4880  0 18:01 pts/0    00:00:00 grep --color=auto mysql
0 k; W. l. N. ^
, U+ y2 Q; t* A+ x
, ~3 _; J3 }9 b+ P- z: S, j! U第三个节点：
[root@controller3 noarch]# ps -ef |grep mysql
mysql    28955     1  1 17:55 ?        00:00:07 /usr/libexec/mysqld --basedir=/usr
root     29396  4824  0 18:02 pts/0    00:00:00 grep --color=auto mysql
5 J& b' ~4 s8 e- j[root@controller3 noarch]# kill -9 28955
! b) p( B0 v9 z7 ][root@controller3 noarch]# ps -ef |grep mysql
1 e5 y& b. F* I/ j+ l  |8 Mroot     29426  4824  0 18:02 pts/0    00:00:00 grep --color=auto mysql
6 F# G) m' l2 i. ~) q[root@controller3 noarch]# lsof -i:4567
9 [' O8 }5 X3 E[root@controller3 noarch]# lsof -i:4567
[root@controller3 noarch]# lsof -i:4567
7 x' @8 n+ \4 H) f6 \COMMAND   PID  USER   FD   TYPE  DEVICE SIZE/OFF NODE NAME
. s' d4 a) t; `% J" C0 m3 t* Y; zmysqld  29487 mysql   11u  IPv4 4519472      0t0  TCP *:tram (LISTEN)
[root@controller3 noarch]# lsof -i:4567
COMMAND   PID  USER   FD   TYPE  DEVICE SIZE/OFF NODE NAME
mysqld  29487 mysql   11u  IPv4 4519472      0t0  TCP *:tram (LISTEN)
[root@controller3 noarch]# lsof -i:4567
, f" k2 `# e$ ?! K0 oCOMMAND   PID  USER   FD   TYPE  DEVICE SIZE/OFF NODE NAME
: H9 ~: v8 v, ]# tmysqld  29487 mysql   11u  IPv4 4519472      0t0  TCP *:tram (LISTEN)
$ k/ i% _/ C$ Z# O5 o( e" \3 q. Lmysqld  29487 mysql   12u  IPv4 4519587      0t0  TCP controller3:36394->controller1:tram (ESTABLISHED)
[root@controller3 noarch]# lsof -i:4567
COMMAND   PID  USER   FD   TYPE  DEVICE SIZE/OFF NODE NAME
$ D3 G& K  s/ J- [  W  {mysqld  29487 mysql   11u  IPv4 4519472      0t0  TCP *:tram (LISTEN)
mysqld  29487 mysql   12u  IPv4 4519587      0t0  TCP controller3:36394->controller1:tram (ESTABLISHED)
mysqld  29487 mysql   13u  IPv4 4519625      0t0  TCP controller3:58954->controller2:tram (ESTABLISHED)
( m; q+ T/ ~* g0 A+ F9 P9 c9 `0 d0 o[root@controller3 noarch]# lsof -i:4567
COMMAND   PID  USER   FD   TYPE  DEVICE SIZE/OFF NODE NAME
7 P0 Q% M7 S' R. g9 t+ y8 ymysqld  29487 mysql   11u  IPv4 4519472      0t0  TCP *:tram (LISTEN)
mysqld  29487 mysql   12u  IPv4 4519587      0t0  TCP controller3:36394->controller1:tram (ESTABLISHED)
mysqld  29487 mysql   13u  IPv4 4519625      0t0  TCP controller3:58954->controller2:tram (ESTABLISHED)
) g9 C: U$ _9 ~. V[root@controller3 noarch]# lsof -i:4567
- @. Q  a( {) u  f1 a7 ]4 jCOMMAND   PID  USER   FD   TYPE  DEVICE SIZE/OFF NODE NAME
) s0 {. o: d- ~5 m3 j2 w6 Zmysqld  29487 mysql   11u  IPv4 4519472      0t0  TCP *:tram (LISTEN)
mysqld  29487 mysql   12u  IPv4 4519587      0t0  TCP controller3:36394->controller1:tram (ESTABLISHED)
mysqld  29487 mysql   13u  IPv4 4519625      0t0  TCP controller3:58954->controller2:tram (ESTABLISHED)
# I0 L' a+ }" V& U- H5 @6 G[root@controller3 noarch]# lsof -i:4567
* X: @. K3 O4 @# D0 X: ^# o1 ACOMMAND   PID  USER   FD   TYPE  DEVICE SIZE/OFF NODE NAME
mysqld  29487 mysql   11u  IPv4 4519472      0t0  TCP *:tram (LISTEN)
! f& \: c9 ?( a" g8 M6 `) [mysqld  29487 mysql   12u  IPv4 4519587      0t0  TCP controller3:36394->controller1:tram (ESTABLISHED)
) X( V; h- q& F; o- ^; bmysqld  29487 mysql   13u  IPv4 4519625      0t0  TCP controller3:58954->controller2:tram (ESTABLISHED)
4 c8 ~! k! a8 z- [1 \- u( v[root@controller3 noarch]# lsof -i:4567
COMMAND   PID  USER   FD   TYPE  DEVICE SIZE/OFF NODE NAME
; R0 \' \. G" j1 q% Umysqld  29487 mysql   11u  IPv4 4519472      0t0  TCP *:tram (LISTEN)
mysqld  29487 mysql   12u  IPv4 4519587      0t0  TCP controller3:36394->controller1:tram (ESTABLISHED)
+ k4 x+ B5 D3 v5 fmysqld  29487 mysql   13u  IPv4 4519625      0t0  TCP controller3:58954->controller2:tram (ESTABLISHED)

$ X: K$ o' h: e1 j" ~0 j

也就是说，在第一个节点宕机之后，启动集群之后，第二三两个节点也必须kill掉，mysql的4567端口数据才会一致，否者就会出现第一个节点是一个状态，第二三个节点是另一个状态，就是我们说的脑裂现象。
* I: b8 C0 A- h) y, m