ERROR nova.virt.block_device

admin

ERROR nova.virt.block_device [req-863b21eb-92e9-41e2-b2e2-5b666107d1c9 c735f3a03a89476f81a260ff
* S- V3 l& o# V2 h093232fb 4de61bb02dce4a619740bc2ec687ac50 - default default] [instance: 992792f9-371a-4931-94e6-16eda1209f23] Unable to call
/ n' n' U! ]/ @0 e0 wfor a driver detach of volume 1f183bb3-cfa7-4f34-be1d-750f38e50d3a due to the instance being registered to the remote host No
! L# u# R2 ~1 p$ p( h$ w5 Ine.: RescheduledException: Build of instance 992792f9-371a-4931-94e6-16eda1209f23 was re-scheduled: Secret not found: secret
1 Z/ T" ]( z* r; j2 _- p'419634e8-f5db-48c1-aba1-3887b3518fff' does not have a value
7 c/ @+ N! {! r: i, n3 `" V) v

( G4 H; B6 V1 } Error updating resources for node zxdb8.: Error: error connecting to the cluster: error code 95
& Z8 e2 H7 @" g
2 W# V4 @% a/ S" R8 n& p5 A

- V% r! G# F3 U$ B& a# d  L) }原因：1、openstack节点上nova.conf文件配置有问题。
2、检查virsh secret是否正常。根据提示删除后再添加。
重启openstack-compute服务。

重新创建虚机即可成功。
5 C0 u& ]2 |/ b# T+ @

admin

在真机上创建一台新的虚拟机，常见好后不需要安装操作系统
  m7 Z" Y( f% W#  virsh  list  --all
1
/ e4 r! t; ]& F+ v& j& s$ j2 |2.5 libvirt secret
+++++++++++++++++++++++++++++++++++++
配置libvirt secret
" a9 ~) |) Y0 ~: k# s" qKVM虚拟机需要使用librbd才可以访问ceph集群
! o/ s; ^, b# m1 D" `" `3 A$ @! }Librbd访问ceph又需要账户认证
4 |' C  @8 A' x1 \因此在这里，需要给libvirt设置账户信息
a) 编写账户信息文件（真实机操作）
* G1 ?1 w6 V8 [. ^" n( ^# vim secret.xml
<secret  ephemeral='no' private='no'>
5 J5 M8 o( t  q    <usage type='ceph'>
0 `& I% T6 K+ a  a; u/ q6 M& a            <name>client.admin  secret</name>
) N$ i0 a2 ^, I! E" G    </usage>
9 \8 n( i9 Y$ Q+ q: v8 i2 l</secret>
; m; s/ \2 V  n, X4 H/ M
b) 使用XML配置文件创建secret
: ?3 u; R& M3 @7 H# virsh secret-define  --file  secret.xml
2 b+ I0 r' j  z5 z! Y& w( E' k  e
生成 secret 342b4a54-8a03-6b79-9ffc-84a8eac89e36
//随机的UUID，这个UUID对应账户信息
注：删除secret 的方法
3 D0 v) f/ K' g$ H5 e/ B7 r# virsh secret-undefine  342b4a54-8a03-6b79-9ffc-84a8eac89e36

8 [$ K1 N8 k4 h: F" G$ cc)编写账户信息文件（真实机）
7 b0 n: [  }( \( X3 d# ceph auth get-key client.admin
8 T1 q) q# G) k' I# B
; \: I  `4 _; H# D6 n//获取client.admin的key，或者直接查看密钥文件/etc/ceph/ceph.client.admin.keyring
d)设置secret,添加账户的密钥
# virsh secret-set-value --secret 90833f12-c0a1-33f3-92ea-09d37eec3ec6
--base64 AQClRb9bvvkQHhAA0r2ihnFWR3JsBvgYJx7NAg==
        //这里secret后面是之前创建的secret的UUID
  T+ R+ n7 x( S0 @        //base64后面是client.admin账户的密码
/ V' @9 A- d7 [# v# W9 W        //现在secret中既有账户信息又有密钥信息

e) 将之前没有操作系统的虚拟机avpc的配置文件拷贝一份，进行修改
# virsh  dumpxml  avpc  >  /tmp/avpc1.xml
; \% N- w( [/ G4 g, k7 ]% v! m* t2 o
' ]; a1 U( e& r虚拟机的XML配置文件
每个虚拟机都会有一个XML配置文件，包括：
" j0 R# Y) J: ]& e— 虚拟机的名称、内存、CPU、磁盘、网卡等信息
2 d( ~& V- }6 e+ t( T修改之前：
# vim /etc/libvirt/qemu/avpc.xml
( ]  U! u! n. g! `
; R' E4 m9 c; L+ J, V
# vim /tmp/avpc1.xml

* P9 y( ^2 t+ h+ Q) q( q5 ]4 n* Z删除下图中的 uuid这一行
继续在文中修改：内容如下：
37~43行之间的内容是手动添加的，其中红色部分时需要根据实际情况进行修改
. E9 {) R# q  H( k<auth …/>
4 v7 d( h  I7 \8 xusername:
# cat /etc/ceph/ceph.client.admin.keyring（在此文件中获取）

uuid调取：
# e4 T, y: |7 P: M# virsh secret-list（之前生成的）
<source ............/>

name获取：
& k2 U$ t+ I1 o  d; x* p# rbd list
<secret type='ceph'  uuid='90833f12-c0a1-33f3-92ea-09d37eec3ec6'/>
2 Y% G6 {3 A1 x   //这里的uuid就是secret的uuid，有client.admin账户和密钥信息
$ w- I' W) |7 b# ^0 J" p<source  protocol='rbd' name='rbd/vm1-image'>
5 I2 r# }9 Q. k! O       <host name='192.168.8.51'  port='6789'/>
3 ?1 x. ?( t# S </source>
   //这里说明使用账户连接那台ceph主机和端口，访问哪个池和镜像
% Q- Y" Z+ b* A( O" n  | <target dev='vda' bus='virtio'/>
   //这里说明经获取的镜像，设置为虚拟机的vda磁盘
- t+ q* K- v9 w0 \5 A% a. |/ n
. c$ i& G% ]- |: U: T! v根据配置文件生成虚拟机
使用编辑好的虚拟配置文件/tmp/avpc1.xml 创建虚拟机
( x" M, y2 {1 `' |#virsh define /tmp/avpc1.xml

7 _' N( D. ?* R定义域 avpc1（从 /tmp/avpc1.xml）
# virsh list --all


' {# _0 W+ j9 r. i. O+ l分布式文件系统存储
- g) i+ l, W3 U" }- {( jCephFs—— 分布式文件系统（Distributed File System）是指本地文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点相连
$ ~* w# \: y. r4 k0 {CephFS使用Ceph集群提供与POSIX兼容的文件系统
9 E6 a$ ]: B5 \0 ^  t# R: n允许Linux直接将Ceph存储mount到本地
环境准备：新添一台虚拟机node4

" u& {+ B5 D4 M0 j元数据服务器
( v* M7 P- w; g8 {9 H: n9 W/ h— 任何文件系统中的数据分为数据和元数据
— 数据是值普通文件中的实际数据
— 而元数据指用来描述一个文件的特征以及文件数据快的分布信息
9 h& N2 B# d+ ~% T" ~— 比如：访问权限，文件拥有着以及文件数据块的分布信息
5 Z' i8 W& }, `; b+ k% P— 所以CephFS必须有MDSs节点
部署元数据服务器：
8 l4 I- }: x. h" I1 m0 a  m  M在node4上装ceph-mds软件包
# yum -y install ceph-mds
( r7 N1 S1 M% h; D0 }6 ]
在管理主机node1上部署节点（创建数据服务器）
# cd /root/ceph-cluster/ //此目录是在部署ceph集群时创建的
( j, j( n& o  T# ceph-deploy mds create nodex   //给node4拷贝配置文件，启动mds服务器
( K9 F! O9 ~) p+ \# ceph-deploy admin nodex   //同步配置文件个key

3 `# B! N0 R5 X' K/ C! q创建存储池
0 |8 a; C, P( N7 c# ceph osd pool create ceph_data 128    //存储数据的池
( k* I) C* l; Q2 |1 e3 ^1 X# ceph osd pool create ceph_meatedata 128 //存储元数据的池
+ |! v# j2 w, |$ q
% E$ R9 P9 ~9 T( R( O7 S; N使用前面创建的池，创建文件系统myfs1（名字可变）
# ceph fs new myfsnew ceph_meatedata  ceph_data

+ [  t2 @8 G- z2 g//先写medadata池，再写data池，默认只能创建1个池，多于会报错

7 t* O1 R2 L3 n0 y4 g- Z) V
# w! P, q: C. p3 ~, I1 {7 Z