马上注册，结交更多好友，享用更多功能，让你轻松玩转社区。
您需要 登录 才可以下载或查看，没有账号？开始注册
x
collectd是一个守护(daemon)进程，用来收集系统性能和提供各种存储方式来存储不同值的机制。
# W& u% x" |+ [- e, n! l5 ]influxdb 是一个时序数据库。3 b, c% \. F4 v3 ~
grafana是一个前端展示工具。 可以使用collectd 的virt插件通过Libvirtd 的API 收集虚拟机的数据，然后保存到时序数据库influxdb。最后通过grafana将influxdb中存储的数据以图标的形式展示出来。 一、部署 collectd influxdb grafana prometheus
3 j: ?; ^1 A# Q! d4 g( G% T- p! @1.修改全局配置globals.yml文件，设置部署监控相关文件。 vim /etc/kolla/globals.yml
& v$ f! c0 E! k( ?$ z' `% f+ I' J0 B2 p- `
enable_collectd: "yes"
9 A& ~2 R7 h% W+ `" ~7 Kenable_grafana: "yes"
a+ n2 Z. C% u% Ienable_influxdb: "yes" 1 r3 [4 v' i" K- g. `- o0 }$ o
enable_prometheus: "yes"
6 e) u1 f( s& Y( b$ f8 m( |3 Bprometheus_cmdline_extras: "-storage.local.retention 720h" $ l6 }0 X/ A. `; H
; y! S( h# \5 T" p6 W
prometheus-server 数据保存30天 单位d无法识别。可以附加的参数 可参考 https://blog.csdn.net/dengxiangbao3167/article/details/102365367相应的prometheus的exporter包含 #enable_prometheus_haproxy_exporter: "{{ enable_haproxy | bool }}"
& W3 S4 U. x+ q" b3 p* T" S! V#enable_prometheus_mysqld_exporter: "{{ enable_mariadb | bool }}"
, C: t& l' p2 q- z% o' y#enable_prometheus_node_exporter: "{{ enable_prometheus | bool }}" ( O/ m$ t2 w! v% A2 R e8 Q+ @, \
#enable_prometheus_cadvisor: "{{ enable_prometheus | bool }}" e+ ~$ B! d: C# e) x( `# T
#enable_prometheus_memcached: "{{ enable_prometheus | bool }}" $ Z0 E: f' q3 I! o# ~4 V# R! }& }1 H
#enable_prometheus_alertmanager: "{{ enable_prometheus | bool }}" # T7 B9 M: `; M4 D; i. v, h$ V4 Z
#enable_prometheus_ceph_mgr_exporter: "{{ enable_prometheus | bool and enable_ceph | bool }}" ( ?7 P3 ~" F( v/ D
#enable_prometheus_ openstack_exporter: "{{ enable_prometheus | bool }}" 8 }- w7 R% s& h# `8 x! e
#enable_prometheus_elasticsearch_exporter: "{{ enable_prometheus | bool and enable_elasticsearch | bool }}" ( H$ Z) |+ a, p( [/ N' B \. K
#enable_prometheus_blackbox_exporter: "{{ enable_prometheus | bool }}"
8 K2 \, E' V9 o2 o, s
3 M- n+ ^% n2 D* |+ N2.安装部署相应的容器组件 kolla-ansible deploy -i /etc/kolla/all-in-one
- L/ I4 u. h) x/ ]1: V2 {; R8 O' E, x
3.完成后查看相关组件docker容器是否部署完成 docker ps -a | grep -e collectd -e influxdb -e grafana -e prometheus
7 O4 o, A0 b8 _1 V7 R/ N8 Y, L' i1 1 y) s/ H3 K6 I2 {
二、修改相应配置文件，通过libvirt监控虚拟机
8 N$ O, n2 n' C- ]自定义的配置文件位置，该位置的配置文件会取代默认配置文件。 # The directory to merge custom config files the kolla's config files5 p& j# h; C' b# m+ `6 ?; L
node_custom_config: "/etc/kolla/config"
! j- g K% f8 O( i% \0 i V+ G& `: j
mkdir /etc/kolla/config: b7 s8 P( Q; F" R5 v; c
1
# @7 V) O9 ]" v: O使用kolla部署完成后。默认配置文件是/etc/kolla/<< service name >>/<< config file >>。, M a; c9 J+ z7 s3 y
自定义配置文件路径是/etc/kolla/config/,且自定义配置文件一旦设置，就会覆盖且替换原配置文件。# u' z7 Q' F p, T
路径可以是 /etc/kolla/config/<< config file >>,
, h' J8 {8 p! ~6 n/etc/kolla/config/<< service name >>/<< config file >>,- R' `, w) s6 w1 ~" C
/etc/kolla/config/<< service name >>/<< hostname >>/<< config file >>
# i0 V7 k! w- M, m) t6 C8 J% l. M/ B" x `) u& m& T" q
1.collectd 配置& l8 [- p3 j2 w. _) u
libvirt有不同的虚拟机库， 通过API可以访问控制虚拟机。OpenStack也是通过libvirt的API也控制底层的虚拟机的。 cp /etc/kolla/collectd/collectd.conf /etc/kolla/config/
4 S8 s, I( ~& T5 _/ r s6 Evim /etc/kolla/config/collectd.conf % U* U# j" f- J2 f5 o/ p* a/ o
1
) g0 U" \8 [# z: m* b( }6 Y8 c21 L1 o/ _5 v. u9 U/ r: e# p* F
FQDNLookup false: o) j) U* b7 s" i5 i" g4 l
LoadPlugin syslog
5 k+ a% q( P" ?1 R6 G5 W) CLoadPlugin cpu4 e W7 s$ j! ~( q
LoadPlugin interface
) W5 [/ ^' O$ q2 ~; B* l$ g+ fLoadPlugin load
8 o1 y0 P/ @" t3 i6 f" {- q4 bLoadPlugin memory LoadPlugin network LoadPlugin logfile
1 s, V5 Q. z' `3 o [) d( D- WLoadPlugin virt 7 g3 h2 m, c+ l8 j( u2 A9 s
<Plugin network> % f' g) ?7 s! i+ J" g7 n
Server "192.168.199.90" "25826" ( K0 ]8 y. b) T5 u: ?
</Plugin>
& Y9 f. a. s: o5 W( Z) Y4 i% i/ h<Plugin logfile>
/ T" [. g) D) E( s. p0 @ LogLevel info 9 T4 N5 C$ G; B2 u3 B% `- O9 N
File "/var/log/kolla/collectd/collectd.log"
& h k; E o: i+ H) z: K Timestamp true 7 x E# B# q1 Z! [$ U. [
PrintSeverity false
, H* I. Y3 W0 Q) {" F</Plugin>
4 G C2 n$ ^/ X! j6 w# I<Plugin virt>
- d) h3 N' g- z5 m Connection "qemu+tcp://192.168.199.90/system"
/ O, u3 Z4 {; t! D% U) o HostnameFormat hostname 9 F8 {3 `$ S7 Q! o4 `! {
PluginInstanceFormat uuid
/ X4 H# T: r: p% x% W- ^ BlockDeviceFormat target " r$ k6 s$ |1 u1 U* t7 e, d
InterfaceFormat name ! ~; H8 f3 s: n0 ?5 D% W
ExtraStats "cpu_util"
8 f/ u \0 ^: A</Plugin> ) L5 ^9 V) S) p7 u* K' T
' g9 L0 e& c/ |7 z! }( B6 v# p启用了插件 logfile virt network。logfile是日志插件，virt就是与libvirtd的API通信的插件，network网络插件将收集的数据通过网络发送出去。 network插件设置。 Server "192.168.199.90" "25826"
, @7 W7 K) J3 W10 _+ }: P; [7 ^
表示将数据发送到192.168.199.90主机的25826端口。就是下一步设置的influxdb收集collectd数据的主机 端口。 LoadPlugin cpu
1 c0 \3 \1 s, e0 h8 R7 T1 VLoadPlugin interface% x, ~1 ]) k1 j5 N
LoadPlugin load
& h+ U2 _' E; M/ x8 t- j* W3 ZLoadPlugin memory4 I7 j$ \- J9 |9 D ^5 |& s; F
# t- \9 k- n1 c" I1 e这四个插件是用来收集宿主机的信息的。interface可能还会监听了虚拟机虚拟网卡的信息，如果不希望通过interface插件收集虚拟网卡信息（virt插件会收集）。可以设置interface只监听想要监听的网卡名。 <Plugin "interface">
* [% }4 M# ^' ^3 W Interface "ens33"
% f8 j! `- o% b/ Q$ m Interface "ens34") y* w' @ N: i' z5 {+ S
</Plugin>
0 u3 j: k; U/ `0 {
. S: j) t6 J$ Y& T- X7 f$ rvirt 插件设置 <Plugin virt> 5 M, M7 ~1 t. r0 p& f6 C( p
Connection "qemu+tcp://192.168.199.90/system"
$ m% M0 ?; R0 ] HostnameFormat hostname 4 U! y2 ~5 R3 j3 D: I
PluginInstanceFormat uuid ' p/ U$ o/ y& I& [
BlockDeviceFormat source
5 U/ J1 w4 ]. _ BlockDeviceFormatBasename false
/ k7 Y, l! \1 S. ~% w( z InterfaceFormat name
+ D5 x# A$ q3 E& z7 g# d! e1 C5 P' i ExtraStats "cpu_util" $ t: x) v3 p ]1 p
</Plugin> ! r( z7 o9 v& t
# A# L! {$ B. r) B# Z0 \具体参数详情可以看官网
0 a! O. j8 P. d" A# Ghttps://collectd.org/documentati ... 5.shtml#plugin_virtConnection 表示连接的libvirt API服务。
+ N5 \# G. K- O. b 就像使用qemu+kvm创建虚拟机时使用virsh管理时使用virsh -c qemu+tcp://192.168.199.90:16509/system # T+ y- P" }2 t- p" ], E
即可连接到libvirtd服务控制虚拟机相关。由于16509是默认端口号，可以省略
- K! e! A9 M& d, @/ e6 m+ X' w" D1 F 由于是ALLInOne 所以collectd设置只有一个，多个主机部署时，需要每个计算节点上安装collectd指向本机的libvirt。
7 _+ ]; r+ }( Z4 a1 z: T: w' u 因此每个collectd设置文件都不相同。 HostnameFormat name|uuid|hostname|...+ g$ ~; ^! ^0 i5 V' T
当virt插件记录数据时，会根据此设置设置所收集数据的主机名。2 b# Y7 A8 G' _1 U
默认的做法是使用hypervisor提供的来宾名称，这等于设置为虚拟机name。0 R6 P5 ?" c& ~1 B( s' A8 ]
UUID 意味着使用虚拟机的UUID。如果您想跨迁移跟踪同一个客户，这是很有用的。
% ], A3 N7 j/ V3 o p hostname 意味着使用“全局主机名”设置，这本身可能并不有用，因为所有来宾似乎都有相同的名称。
: |4 U5 W7 ? @ p hostname就是宿主机名。。。这个其实挺重要的（在有多个宿主机的虚拟机数剧都保存到一个数据库时，可以通过hostname来确定不同虚拟机在哪一个主机。）
4 Y: \3 o7 j+ m5 J4 y% q. N" y 至于实例的 名称或UUID 可以使用PluginInstanceFormat来设置 PluginInstanceFormat name|uuid|none3 D* h. x' e( e/ _) R) c0 z
当virt插件记录数据时，它会根据此设置设置所收集数据的plugin_instance。默认情况是不设置plugin_instance。(只有一个宿主机时可以直接设置HostnameFormat name来代替PluginInstanceForma的设置)
: [: H9 J4 p" C3 {) _1 e# n name是指使用管理程序提供的虚拟机名称。UUID意味着使用虚拟机的UUID。( L, P( M/ [! c; }( S( Y
OpenStack中是根据uuid来管理虚拟机的，虚拟机在libvirtd中的name和OpenStack中设置的并不一致。libvirtd底层管理是自动生成的，OpenStack中创建时手动命名的。" Q0 }. S" w9 ^( B- p! o/ C
HostnameFormat和PluginInstanceFormat都可以使用多个fields。如name uuid。会同时显示名称和uuid中间使用 : 分隔。如foo:1234-1234-1234-1234 BlockDeviceFormat target|source
$ _& ~$ V! M5 c, n: G; Q; }/ E 挂载到虚拟机中的磁盘设备名设置。! `! h& U6 j* t% x9 `, I% g/ C
virsh # domblklist instance-0000000a
: v# J, Z2 L0 { Target Source
" j1 y2 L% w) k0 C6 e: E ------------------------------------------------2 B8 o7 E+ w. X6 H9 `) L
vda /var/lib/nova/instances/86862558-141c-45b7-bfcf-b4e497f91bda/disk+ i: Y1 ^: v0 T% _- [1 c
vdb /dev/sdc$ u p$ S* b% m! S0 E7 S' Y
target 是映射到实例中的磁盘名 vda vdb。即实例中可以通过lsblk看到的。
+ A7 E+ [# I, _+ a8 t# u6 G source 虚拟磁盘对应的路径及磁盘文件名。/var/lib/nova/instances/86862558-141c-45b7-bfcf-b4e497f91bda/disk /dev/sdc! H$ f u2 U3 H! K$ r1 @4 a
如果设置BlockDeviceFormatBasename设置为true，则只显示文件名 不显示前面的路径。 默认未设置BlockDeviceFormatBasename，是false即显示前面路径
6 W: r5 c0 ]; |$ Y o8 C! y9 [InterfaceFormat name|address
8 ]8 M, Q1 v, g% n+ u: m 虚拟机的网卡显示 name或者address。name网卡名，address网卡mac地址。# @9 t4 F9 S# P. y, h& g( M' u5 z
+ a; C {: S4 F8 Z' ^9 p: n6 D6 n* f
ExtraStats "cpu_util"
9 Y2 A) w) S, \: R4 _- P virt额外记录的数据。此处只设置了一个cpu_util 即CPU的利用率。6 M+ E& P& t& P6 B3 q' Q
virsh # domiflist instance-00000002 3 O4 C' H& {3 a2 a, n4 L6 W
Interface Type Source Model MAC2 e) t" r9 t7 o' \, F
-------------------------------------------------------0 j1 ]2 l: \, I) e
tap97caffeb-9a bridge qbr97caffeb-9a virtio fa:16:3e:64:5f:c00 V. K- N- M. @! e4 v! ^7 F5 P
interface就是name ，MAC就是address
) m- r+ }4 e( Y, i6 c2 t这是单个主机ALLinOne下设置配置文件的情况，如果多个计算节点，每个计算节点的collectd的配置文件是不同的，需要单独设置（主要不同就是连接的libvirtd API的IP不同）,每个计算节点需要一个collectd收集本计算节点的相应libvirt 数据。
很奇怪的一点，似乎使用kolla部署的collectd容器收集虚拟机数据时无法收集虚拟机的内存信息，只能获取虚拟机全部内存。 直接使用yum安装的collectd却可以收集used,availble 等。。。不知道原因 2.influxdb 配置' d! d' C) O7 n' r/ J4 u5 U) M
cp /etc/kolla/influxdb/influxdb.conf /etc/kolla/config/
+ Z" a. V v9 Yvim /etc/kolla/config/influxdb.conf
1 A+ {$ |* H. x U( A0 h2 @! L1. }5 M. x, g0 U$ O0 Y5 L
2
3 Z# |! Z' s; D. w& Rreporting-disabled = true
l3 X5 ^( l% j. a, Y8 ?[logging]3 p0 | l0 R( h1 v2 A- o- G& C
level = "info"
! S' T& H$ a) {$ ]7 h file = "/var/log/kolla/influxdb/influxdb.log"
# ~$ H* g. |( s( ~[meta]
4 T ^# z9 H4 }0 P2 v% t7 @" I8 ~5 _ z dir = "/var/lib/influxdb/meta") l L# H& N& m3 G% ], s( e# G
retention-autocreate = true
0 K5 R% ~+ D# }! `! v9 V logging-enabled = true; f9 [9 }+ c# J& y! E S/ Q
[data]
/ L, U, _8 W2 U, [ dir = "/var/lib/influxdb/data"
. w6 }" t1 H6 ~) l$ D" q wal-dir = "/var/lib/influxdb/wal"
5 |% h: l$ a# C& ^% t wal-logging-enabled = true
" E4 j1 z+ I# ]1 G data-logging-enabled = true
- Q0 R5 L5 Z- ^2 G/ S" w- ` index-version = "tsi1"
" M# n& W! f9 }8 D0 q& e9 \ ~6 e5 o[coordinator]
8 k' B4 m# y# c* A7 \: U- I4 g$ r write-timeout = "10s"
6 [5 D$ G6 n$ ~ max-concurrent-queries = 0) M! K/ m; Q. _) e- ?# r$ m! z
query-timeout = "0s"
5 k# H8 D3 C1 d# m1 J: t8 m/ k max-select-point = 0
+ _' G" W/ \" i8 y max-select-series = 04 j9 t" `0 g, r' K0 w+ T3 s" C
max-select-buckets = 0
& y- `0 L' _7 c[retention]
% C- C$ t* _4 i& }6 Q enabled = true3 f" o5 I" U5 I2 x
check-interval = "30m"! K' Y# j" z3 [% n/ q$ F3 }, m
[shard-precreation]
2 e& {. a" D2 V3 C8 y( w0 R5 H enabled = true( I' M1 @3 G0 J
check-interval = "10m"" |( r/ b8 q7 l' [3 e) I z
advance-period = "30m"3 k2 }# _' N$ q- e
[monitor]3 W; w# v& ]4 x8 Z" U7 h
store-enabled = true: i$ j, v% v/ [# P! O P( Z5 z
store-database = "_internal"+ |2 v' n( r. j
store-interval = "10s"
, Q0 G6 U* H6 F" s* f, s6 R' B- r[http]6 M6 s g5 Q/ j0 q
enabled = true- o2 o4 b% B$ g/ Z6 D8 H( J5 J9 i) f
bind-address = "192.168.199.90:8086"
$ o6 @/ S* @. t# y" H' n auth-enabled = false
! X1 {, U$ g* s5 R" ^ log-enabled = true
' s! N4 S5 w3 A B1 d! I# G4 l write-tracing = false
! R3 ?, I. j. J/ O6 {& Q: J pprof-enabled = false
! V' n0 q7 ^/ D https-enabled = false
5 O% `9 U$ r+ W" q+ W; @: @2 k/ S9 {[[graphite]]2 ~: o: J) B( I# v m
enabled = false: N- j2 T8 L; X0 q6 [
[[opentsdb]]* ~! K9 t" G) v+ ?9 h& \& I. M
enabled = false
# m& |1 m) E( A9 G# D[[udp]]
& X# C( I) f1 a+ ?3 f4 _ enabled = false2 K& C5 ]4 Q. F& I6 q
[continuous_queries]9 K4 N& N3 q; j, x; o2 u
log-enabled = true
& x, Q# T) O' ~# ?4 \ enabled = true [[collectd]] : Z# K _1 q, A8 W
enabled = true / T. A& i/ W' @
bind-address = "192.168.199.90:25826" 5 w* P$ Q" A2 x, M o6 `
database = "collectd" % G4 d2 T. }$ _# d* }
typesdb = "/var/lib/influxdb/types.db" ( h/ n5 h/ y j+ |4 A5 n/ A
! x7 q9 U8 @& D主要是添加了 末尾一段。influxdb是可以作为collectd的network Server，可以将collectd发送的数据保存起来。前提是有对应的type.db数据格式。
5 z( `# [- A; m9 C& mhttps://download.csdn.net/download/dandanfengyun/14989445[[collectd]]. x: E% ^$ h' @* r4 ?$ v
enabled = true+ D1 t5 x2 N" u1 J2 }
bind-address = "192.168.199.90:25826"
! t1 ]* ^3 e/ Z" w' ]" c database = "collectd"7 B' k M8 [2 R# X; U; Y
typesdb = "/var/lib/influxdb/types.db"# K M4 S8 U R( y, i3 y
4 h* D1 ?7 }8 h7 Z
bind-address = "192.168.199.90:25826"表示监听192.168.199.90主机25827端口的数据。然后保存到库collectd中。数据格式typesdb = “/var/lib/influxdb/types.db” 数据格式文件需要手动添加。部署OpenStack时，对于一些特别的需要存储数据的组件docker，都有相应的docker volume附加卷。直接映射到容器内。 influxdb容器附加卷在宿主机中对应位置 {
{9 W) b+ ?) @$ k1 @% ^3 | g' G3 v "Type": "volume",
6 ]+ Q, _; u, t; ^( m/ k: J0 U "Name": "influxdb",
! g/ Z' m- c. R- t+ V& {( Z "Source": "/var/lib/docker/volumes/influxdb/_data",
. U: t: K" c; q+ d- H( l$ E5 I "Destination": "/var/lib/influxdb",
8 u5 e0 ~8 O+ e0 [- ?. k "Driver": "local",
^( i! Y* _$ N! k- I "Mode": "rw",
) T5 F/ w. a: v' c& n% {' Y" ?1 X "RW": true,
! x$ p: E8 i) l$ r! r4 M6 v "Propagation": ""
4 L" v. Z: n9 p: A9 I }, . y& H0 j1 w4 l9 w" R
将文件types.db保存到/var/lib/docker/volumes/influxdb/_data，容器内即可在/var/lib/influxdb位置找到该文件。 docker exec collectd cat /usr/share/collectd/types.db > /var/lib/docker/volumes/influxdb/_data/types.db
! u- e; c4 ?; }) M- n13 K3 L" B& S2 r+ A5 i7 L
[root@ALLInOne-Kolla ~]# ls /var/lib/docker/volumes/influxdb/_data/
/ W% O7 j" ?% S/ L+ Edata meta types.db wal
7 G' J2 d9 ^0 b. t6 b1
. Z, Q: w. t& s$ P2$ \! o% s" v% v, V! C% k
3.加载个人配置。
+ C B& D7 O6 I5 T) \5 Wkolla-ansible reconfigure -i /etc/kolla/all-in-one $ f6 u) Y/ `9 V d; L
1
4 F7 n! L9 z1 _完成后，会使用个人配置替代默认配置。并重启相应的组件容器加载新的配置。 新配置生效之后，最好将influxdb数据库原数据清除一下，因为原数据中会包含一些不符合新配置的数据。 删除库 collectd 创建库collectd （如果有数据存入，该库会被自动创建的） curl -i -XPOST http://192.168.199.90:8086/query --data-urlencode 'q=SHOW RETENTION POLICIES ON collectd'
9 F7 F& p# ~( S( n" F" b1 8 h# s& v# e8 u" e
设置新的保存策略 30天 并设置为默认策略 curl -i -XPOST http://192.168.199.90:8086/query --data-urlencode 'q=CREATE RETENTION POLICY "train" ON "collectd" DURATION 720h REPLICATION 1 DEFAULT' e9 } M8 ]" o8 t- c. A
1
* S/ W; K* l8 h6 p- h0 X" X删除旧策略 1
) V& {; e& t3 u. Y2
- l9 u# |- G$ K4 e- O8 h4.influxdb一些其它的api。
# s- c4 g( K* p+ G) _ l- l删除数据库 curl -G 'http://192.168.199.90:8086/query?q=SHOW+DATABASES'7 a( t+ p, v; s5 ?4 Q
13 K. [; r8 J" Q7 _ j% q
查看库measurements 可以理解为表 curl -G 'http://192.168.199.90:8086/query' --data-urlencode "db=collectd" --data-urlencode 'q=show measurements'
. |+ o$ m1 v0 l2 B1+ d5 `. B C. O9 z3 ?& K U6 p
查看具体数据 curl -G 'http://192.168.199.90:8086/query' --data-urlencode "db=collectd" --data-urlencode 'q=select * from virt_rx limit 10', T& Q N. H @$ O: o2 o/ x: ]8 J
1
9 |" ]( r5 x3 Q1 L+ H& Yprometheus和grafana等暂不需额外配置文件。 不过由于直接通过libvirt的API监控虚拟机状态。没有经过OpenStack，所以虚拟机的名称无法对应。需要通过虚拟机的UUID来确定。
$ ?5 l) I; X' z连接的是libvirt，也就是计算节点的libvirt。一个collectd只能监听一个计算节点livirtd，多节点部署多个计算节点，需要在每个计算节点安装collectd连接本节点libvirtd。0 ^, I; I2 p% g! _6 v
对OpenStack的整体信息，如虚拟机数量等也无法统计。且虚拟机移除后，数据不会随之消失，只是无有新的数据统计。保存策略是永久。 所以需要配合prometheus使用。prometheus_openstack_exporter会获取OpenStack的整体信息。如vm数量，cinder数量，glance的镜像数量等。但是没有具体虚拟机的具体信息 。 用户 admin。密码可在grafana /etc/kolla/passwords.yml 中找grafana_admin_password egrep grafana /etc/kolla/passwords.yml
+ ~' ?" B; S" t4 F+ R1
% C& J4 r+ e' B登录成功后设置数据源 1.influxdb的collectd数据源 Name：collectd (这个是自定义的grafana数据源名)2 \% W/ _' S# u& K
URL ： 192.168.199.90:8086- D/ N, [: n1 [# n# E, w
Database：collectd 完成点Save & Test 即可，成功的话是 Data source is working9 d. a" |5 s }, S ]; K) p8 W/ f
失败查看一下influxdb组件docker容器是否启动，IP端口对不对等。。。 2.prometheus数据源 2 N+ W( i! e8 V: j9 Y3 D
2.设置dashboard的变量& j# m( v' x$ t& z8 ?
基本上不可能只有一个 虚拟机，且把多个虚拟机的信息一起展示也不合理。所以设置一些变量来确定当前展示的数据是哪一个虚拟机的。
4 V( y, W$ I, y) o7 X: |3 W nhost SHOW TAG VALUES WITH KEY=host
# S$ L, U7 J4 ]- ~5 Yinstance_uuid SHOW TAG VALUES WITH KEY=instance WHERE host='$host'& P O5 q+ E0 w) y: N9 ?
virt_interface SHOW TAG VALUES FROM virt_rx,virt_tx WITH KEY=type_instance WHERE instance='$instance_uuid'* ` g8 x" n. g, Y/ n: N& ]
virt_disk SHOW TAG VALUES FROM virt_read,virt_write WITH KEY=type_instance WHERE instance='$instance_uuid': }7 {; w X4 u# Q
instance_name label_values(openstack_nova_server_status{id="$instance_uuid"}, name)
! j8 t4 ~9 I7 H6 W; R* _- k# y2 M, L. @+ n8 n; O0 J& [
分别设置宿主机名 虚拟实例uuid 虚拟网卡 虚拟磁盘 以及实例名
. c& S! c# Q4 a9 s3 b7 u) }+ E( H. H宿主机变量
虚拟机实例uuid变量
! T! Y- r* O5 w虚拟网卡变量
+ ^9 q5 c! r* g( C1 y虚拟磁盘变量
实例名 ; j! g* Y ^! F8 x: l1 G j" m
host instance_uuid virt_interface virt_disk都是根据collectd库中数据查询产生 最后一个比较特殊，不应该称之为变量。而应该作为一个展示的文字。是根据host_uuid根据prometheus查询而来。（一个dashboard当然可以使用多个数据源） 由于Libvirtd 的API中显示的实例名是类似于instance-000001这种的，与OpenStack创建时设置的实例名并不一致（UUID一致），所以通过collectd收集的数据 上没有真实的OpenStack的实例名，可以通过Prometheus来获取对应uuid的实例名， 仅在此处使用一次Prometheus数据源。 因此最后一个变量并不能称为变量，实际上是根据uuid通过prometheus查询出的一个值。 3.设置panel。
8 M% ^; H: n& l3 a这个根据influxdb查询语句和grafana使用个人创建即可。 9 u5 m/ _9 R) X* C7 d
创建数据源 略。 点击import导入模板
' |8 v% e' k- t/ u, b' C选择模板文件
5 ] o4 v/ Z, W1 W; p最终导入
& P8 b7 p: \. q& b
附
' E7 z. L3 D& y, m" U: T/ ?6 x& ]如果Prometheus和influxdb中collectd数据 实例 基本一致，可以设置更多的变量信息。9 C0 v6 a# f: T8 V9 S
如 实例不同状态根据Prometheus数据库查询。, @8 ^2 ?' E. B: b
uuid也使用Prometheus 数据库根据实例状态查询。
% w9 E8 p" _. }/ ^; b6 A其他的数据根据uuid在influxdb的collectd库中查询。/ {6 I+ K8 m+ [. {+ \
一致的是，实例名依然只能作为一个展示数据，而不能作为真正变量影响数据展示。 结合了prometheus展示了虚拟机的状态，根据状态查询实例uuid，选择ACTIVE可以避免查询到已经废弃的实例，也可选择SHUTOFF查询已停止运行实例的状态 不好的是也会查到状态是BUILD的实例 不过实例状态查询 重要的就是查询最近一段时间内 活动实例 的状态，因此状态变量选择基本是ACTIVE，只用于筛选出活动的变量即可。& m6 j) p( W7 W8 X
且BUILD 状态的实例BUILD状态只会存在很短的时间，最终会转化成ACTIVE。 grafana变量设置 host 宿主机名（influxdb）
. H. [2 a$ X5 x* a; d* ~. i$ n SHOW TAG VALUES WITH KEY=host instance_status 实例状态（prometheus）
g+ q. X. Z. y. T6 `2 H label_values(openstack_nova_server_status{hypervisor_hostname="$host"}, status) instance_uuid 实例uuid（prometheus）因为此处使用prometheus查询uuid可以根据实例状态查询
' I7 ?/ R8 L6 z- M* h. I; U1 I1 O2 a label_values(openstack_nova_server_status{hypervisor_hostname="$host",status="$instance_status"}, uuid) virt_interface 实例虚拟网卡（influxdb）: C) K+ L, `/ a5 X- k8 e1 ? |: ^
SHOW TAG VALUES FROM virt_rx,virt_tx WITH KEY=type_instance WHERE instance='$instance_uuid' virt_disk 实例虚拟磁盘（influxdb）' b" q# C9 e! Y$ F0 x$ N/ e. M6 b: C
SHOW TAG VALUES FROM virt_read,virt_write WITH KEY=type_instance WHERE instance='$instance_uuid' instance_name 实例名（prometheus）9 i1 c& x0 R G4 [ [' ?
label_values(openstack_nova_server_status{id="$instance_uuid"}, name)# f/ V8 p4 C0 F j& C7 n l7 r
* ?8 Q- v: K E
panel都不用改变。。。。。。 https://download.csdn.net/download/dandanfengyun/15137036 这里有一个问题 不知道理解的对不对。。。
& Z8 ~" w* A' nprometheus和collectd都是时序数据库。$ x* X0 t, R' E# k
Prometheus记录的实例信息也是按时间存放多个的。（隔一段时间存放当时的实例状态信息） grafana变量也是和时间相关的（也就是grafana变量不仅和其他变量相关，也和时间相关）
2 |- t) N' Z8 q$ U2 \也就是说，一个实例的状态信息选择时间段不同，是可能有多个不同的变量的。
9 S4 I' X+ o3 b0 S" e如变量为实例运行状态 15分钟前关闭了该实例。假设只有两个实例，一个运行 一个15分钟前关闭。 那么选择5分钟前到现在的时间段，变量就有active和shutoff。active的实例只有一个，shutoff的实例也只有一个。 被删除的实例则没有ACTIVE或SHUT OFF状态，但是prometheus和influxdb中都记录了被删除前虚拟实例的运行状况。 但是当选择30分钟前到现在的时间段，变量就有active和shutoff。shutoff的实例还是只有一个，但是active的实例有两个（这个听起来有点那啥），只要记住 prometheus是时序数据库，不能把该变量当成真正的纯粹记录当前实例状态的布尔值。 30前到15分钟前，该实例是active的，15分钟前到现在，该实例是shutoff的，所以该实例有两个运行状态。。。 问题2 M' ]! G5 g$ c+ G$ l9 H
collectd 无法通过OpenStack获取用户等信息。如果要使用grafana展示可能要通过prometheus。3 u/ _. f" e! O7 @# f( Y* N3 Z) [" h6 q
grafana需要通过prometheus和influxdb两个数据源才能展示实例的状态信息。 collectd也无法收集实例 内空间使用占用情况。
. K5 ^: Z% Z% y3 y | 
/4 
窥视卡
雷达卡
发表于 2021-7-2 17:00:28
提升卡
置顶卡
沉默卡
喧嚣卡
变色卡
千斤顶
照妖镜
楼主
