ceph 15版本中速率设置max_backfills和osd_recovery_max_active详解

admin

[root@ceph1 ~]# ceph-conf --show-config | egrep "osd_recovery_max_active|osd_recovery_op_priority|osd_max_backfills"
  ^; w& ?5 u  q1 ]  B+ `% `2 xosd_max_backfills = 1
osd_recovery_max_active = 0
osd_recovery_max_active_hdd = 3
0 H. p) O* G( [: w& m; fosd_recovery_max_active_ssd = 10
osd_recovery_op_priority = 3
[root@ceph1 ~]# ceph tell 'osd.*' injectargs --osd-max-backfills=2 --osd-recovery-max-active=6
osd.0: osd_max_backfills = '2' osd_recovery_max_active = '6' (not observed, change may require restart)
osd.0: {}
: h$ C8 d& y; [' z8 Dosd.1: osd_max_backfills = '2' osd_recovery_max_active = '6' (not observed, change may require restart)
osd.1: {}
  Z+ U1 ~( F( [0 e, L6 {osd.2: osd_max_backfills = '2' osd_recovery_max_active = '6' (not observed, change may require restart)
2 A2 g0 k$ x  g& K* I: Cosd.2: {}
[root@ceph1 ~]# ceph-conf --show-config | egrep "osd_recovery_max_active|osd_recovery_op_priority|osd_max_backfills"
  Y6 m2 T9 x) s+ J$ Kosd_max_backfills = 1
osd_recovery_max_active = 0
0 D1 C* p8 _  W2 Y" x3 tosd_recovery_max_active_hdd = 3
osd_recovery_max_active_ssd = 10
. [% [. y, ^, a" o' I7 l# D3 L; iosd_recovery_op_priority = 3
[root@ceph1 ~]# ceph-conf --show-config | egrep "osd_recovery_max_active|osd_recovery_op_priority|osd_max_backfills"
osd_max_backfills = 1
osd_recovery_max_active = 0
osd_recovery_max_active_hdd = 3
osd_recovery_max_active_ssd = 10
5 q; C8 X8 ~4 Xosd_recovery_op_priority = 3
[root@ceph1 ~]# ceph-conf --show-config | egrep "osd_recovery_max_active|osd_recovery_op_priority|osd_max_backfills"
osd_max_backfills = 1
: r2 G% w/ \2 p# ~osd_recovery_max_active = 0
. S- O2 `/ A* h, U  dosd_recovery_max_active_hdd = 3
7 X, b4 I% g: Q+ I! \* g  o* gosd_recovery_max_active_ssd = 10
osd_recovery_op_priority = 3
[root@ceph1 ~]# ceph-conf --show-config | egrep "osd_recovery_max_active|osd_recovery_op_priority|osd_max_backfills"
, A' s4 Z  b8 e: M) I; Bosd_max_backfills = 1
% `" {9 ^5 C' k5 }osd_recovery_max_active = 0
osd_recovery_max_active_hdd = 3
/ x" {0 {! ?+ ?7 R% C) C4 i- ]  yosd_recovery_max_active_ssd = 10
osd_recovery_op_priority = 3
1 a$ a. f* l9 C[root@ceph1 ~]# ceph-conf --show-config | egrep "osd_recovery_max_active|osd_recovery_op_priority|osd_max_backfills"
; m4 m8 T; ?2 ~# i) b# r2 B6 v7 cosd_max_backfills = 1
osd_recovery_max_active = 0
osd_recovery_max_active_hdd = 3
: Q) p4 R, Y0 F$ A2 ^& ~osd_recovery_max_active_ssd = 10
osd_recovery_op_priority = 3
1 A+ c+ O& H. O1 ^( |6 B) L3 E5 b[root@ceph1 ~]# ceph-conf --show-config | egrep "osd_recovery_max_active|osd_recovery_op_priority|osd_max_backfills"
6 t& j5 d" s7 U6 k: Oosd_max_backfills = 1
" q2 ?1 w( v7 J" k. Z3 aosd_recovery_max_active = 0
9 a* _8 @$ D( r( iosd_recovery_max_active_hdd = 3
osd_recovery_max_active_ssd = 10
! `6 I- k9 e& N. ]) t' w$ kosd_recovery_op_priority = 3
[root@ceph1 ~]# ceph-conf --show-config | egrep "osd_recovery_max_active|osd_recovery_op_priority|osd_max_backfills"
6 M& z. {9 A6 i; ^# posd_max_backfills = 1
. @( J6 T% B0 n6 c" g+ \* B. ]osd_recovery_max_active = 0
* A" l; n: d, Y$ ?9 Bosd_recovery_max_active_hdd = 3
, G9 ^+ S9 x5 k- v- kosd_recovery_max_active_ssd = 10
osd_recovery_op_priority = 3
[root@ceph1 ~]# ceph daemon osd.1 config get osd_max_backfills
admin_socket: exception getting command descriptions: [Errno 2] No such file or directory
[root@ceph1 ~]# ceph config show osd.2
NAME                            VALUE                                                                                                                                                        SOURCE    OVERRIDES  IGNORES
; ~; J* W# O0 i- O5 hcontainer_image                 quay.io/ceph/ceph:v15                                                                                                                                        mon                        
daemonize                       false                                                                                                                                                        override                    
- r" F) g4 Q" I$ O! y3 ]& T0 Ckeyring                         $osd_data/keyring                                                                                                                                            default                     
leveldb_log                                                                                                                                                                                  default                     
log_stderr_prefix               debug                                                                                                                                                        default                     
, G7 Y" v8 M, ylog_to_file                     false                                                                                                                                                        default                     
log_to_stderr                   true                                                                                                                                                         default                     
mon_host                        [v2:192.168.13.170:3300/0,v1:192.168.13.170:6789/0] [v2:192.168.13.171:3300/0,v1:192.168.13.171:6789/0] [v2:192.168.13.172:3300/0,v1:192.168.13.172:6789/0]  file                        
9 K% O% N: ^( e9 ~: Imon_warn_on_pool_no_redundancy  false                                                                                                                                                        mon                        
no_config_file                  false                                                                                                                                                        override                    
$ u# i! F$ P/ k* e  v7 tosd_max_backfills               2                                                                                                                                                            override                    
6 ]1 d1 z. a) u4 tosd_recovery_max_active         6                                                                                                                                                            override                    
rbd_default_features            61                                                                                                                                                           default                     
8 x5 U6 P3 h& w0 a* e: Ysetgroup                        ceph                                                                                                                                                         cmdline                     
setuser                         ceph                                                                                                                                                         cmdline                     
; t5 T8 `9 k5 B9 t# A0 {& u[root@ceph1 ~]# ceph-conf --show-config | egrep "osd_recovery_max_active|osd_recovery_op_priority|osd_max_backfills"
osd_max_backfills = 1
0 i9 Z$ K/ ~6 l+ G& C- Mosd_recovery_max_active = 0
osd_recovery_max_active_hdd = 3
osd_recovery_max_active_ssd = 10
; ?2 W7 }9 T4 h; L$ I4 w- Zosd_recovery_op_priority = 3
[root@ceph1 ~]# ceph tell 'osd.*' injectargs --osd-max-backfills=2 --osd-recovery-max-active=6
0 F; J9 X4 u% v4 [" G, [osd.0: {}
osd.1: {}
osd.2: {}

admin

[root@ceph1 ~]#  ceph tell 'osd.*' injectargs --osd-max-backfills=2 --osd-recovery-max-active=6
% r" V# K5 e* X" wosd.0: osd_max_backfills = '2' osd_recovery_max_active = '6' (not observed, change may require restart)
osd.0: {}
osd.1: osd_max_backfills = '2' osd_recovery_max_active = '6' (not observed, change may require restart)
/ G. u( Z  N+ X; aosd.1: {}
osd.2: osd_max_backfills = '2' osd_recovery_max_active = '6' (not observed, change may require restart)
4 y: N2 e/ z9 O! p( cosd.2: {}
[root@ceph1 ~]#  ceph-conf --show-config | egrep "osd_recovery_max_active|osd_recovery_op_priority|osd_max_backfills"
) P9 F' L5 b. Y% W4 s& Mosd_max_backfills = 1
9 c- K. b4 ?" ]4 vosd_recovery_max_active = 0
9 Z5 p/ Q$ e- F: s; h" ^" Gosd_recovery_max_active_hdd = 3
osd_recovery_max_active_ssd = 10
7 J' M+ C$ Q0 L* B0 L4 X# P/ J- qosd_recovery_op_priority = 3
[root@ceph1 ~]# ceph config show osd.2
NAME                            VALUE                                                                                                                                                        SOURCE    OVERRIDES  IGNORES
9 n2 a, B- ]2 I6 tcontainer_image                 quay.io/ceph/ceph:v15                                                                                                                                        mon                        
daemonize                       false                                                                                                                                                        override                    
keyring                         $osd_data/keyring                                                                                                                                            default                     
leveldb_log                                                                                                                                                                                  default                     
. N. l4 O0 J. j' A1 S, Xlog_stderr_prefix               debug                                                                                                                                                        default                     
log_to_file                     false                                                                                                                                                        default                     
log_to_stderr                   true                                                                                                                                                         default                     
mon_host                        [v2:192.168.13.170:3300/0,v1:192.168.13.170:6789/0] [v2:192.168.13.171:3300/0,v1:192.168.13.171:6789/0] [v2:192.168.13.172:3300/0,v1:192.168.13.172:6789/0]  file                        
mon_warn_on_pool_no_redundancy  false                                                                                                                                                        mon                        
1 ?: h  W* o# p* yno_config_file                  false                                                                                                                                                        override                    
  O/ z8 ~3 {7 p0 yosd_max_backfills               2                                                                                                                                                            override                    
osd_recovery_max_active         6                                                                                                                                                            override                    
rbd_default_features            61                                                                                                                                                           default                     
7 Y4 y4 ]* [5 F1 Z1 t! gsetgroup                        ceph                                                                                                                                                         cmdline                     
setuser                         ceph                                                                                                                                                         cmdline         


这个只是临时生效。重启集群后失效。

admin

ceph mgr module disable pg_autoscaler   关闭

admin

ceph config show osd.1 osd_recovery_max_active
% B" @, G4 Y3 K8 K[root@ceph1 ~]# ceph config show osd.1 osd_recovery_max_active
4

admin

To view the current active setting(s), on the node where the the OSD being checked is running execute for example:

+ h8 K2 L0 Q9 H: g. uceph daemon osd.<insert_id> config get osd_max_backfills

* |) a/ @, s: o+ o& q, `To set back to default:
ceph tell 'osd.*' injectargs --osd-max-backfills=1 --osd-recovery-max-active=3

With SES 6, "ceph config set" can alternatively be used:
6 H+ y  G7 K# p9 G" o" |  e3 |7 v
+ }' e% W: z& Sceph config set osd osd_max_backfills 2
ceph config set osd osd_recovery_max_active 3

- _- R2 g# ~4 T' f/ ?& {6 W. a6 MTo set back to default:

ceph config rm osd osd_recovery_max_active
ceph config rm osd osd_max_backfills

To view the current settings:
# z  ^5 ~# Q* j8 n+ {1 h1 p% D
3 W3 \. i  w2 h& b6 Y* Uceph config show osd.<insert_id>
) `5 |0 Z: W) c$ c$ ^% Q
Recovery can be monitored with "ceph -s".

After increasing the settings, should any OSDs become unstable (restarting) or clients are negatively impacted by the additional recovery overhead then reduce the values or set them back to the defaults.

; B5 j1 Q; F  A* W! [2 z! POnce the cluster is finished with recovery and back in a HEALTH_OK state, set the values back to default.

admin

ceph tell 'osd.*' injectargs --osd-max-backfills=3 --osd-recovery-max-active=9    两者按照1:3的方式匹配