易陆发现互联网技术论坛

 找回密码
 开始注册
查看: 4178|回复: 1
收起左侧

CentOS7 手动部署flannel并启用vxlan

[复制链接]
发表于 2018-7-17 12:57:05 | 显示全部楼层 |阅读模式

马上注册,结交更多好友,享用更多功能,让你轻松玩转社区。

您需要 登录 才可以下载或查看,没有账号?开始注册

x
本以为docker准备妥当之后,就可以直接上k8s了,结果yum install kubernetes,报错:Error: docker-ce conflicts with docker-1.9.1 .....
这才想起来,自己的docker不是从centos官方源获取的,而是用了docker的源安装docker-ce,参见上一遍docker的部署文档
centos官方源提供的k8s在版本1.2,配套docker 1.9,而我用的docker-ce在版本18.03,经查k8s的changelog,至少要到1.8才能支持到docker 17.03,然后到1.11,都未提到过docker 18;
但参考了较新的k8s部署教程,已经有k8s 1.10配套docker-ce 18.03的先例,可以一试;
' `! U1 Z2 Q" {
参考了现网已有的大部分k8s部署教程,大都太流程化,不够细致;
安装k8s通常会提到flannel,它提供容器的跨主机通信支持,已经涉及到SDN的领域,这一篇对flannel的部署及原理介绍特别值得读一下;
考虑到k8s需要用最新版,flannel也就用最新版,不通过yum安装了,于是自己动手部署了flannel,把从细节收获的信息记下来,提供一个不一样的视角;
  e* u; h" O& u! ?. `3 o+ `
----以下是正文----
依赖
flannel依赖etcd提供配置管理;为简化,我只使用了一个单点的etcd,没有组etcd集群;
部署flannel
下载flannel,从github找到最新的发布版,我下到的是0.10.0;https://github.com/coreos/flannel/releases
解压后,得到一个二进制文件flanneld,一个脚本mk-docker-opts.sh,以及一个README.md;最后这个文件忽略就行了,其它两个放到/usr/bin下;
mv flanneld /usr/binmv mk-docker-opts.sh /usr/bin

) g. |* x9 ^! j- y' ]. E+ Jflanneld服务配置
添加systemd的service管理文件:
[backcolor=rgb(245, 245, 245) !important][url=]

/ G$ O$ A6 j' h% C2 X                               
登录/注册后可看大图
[/url]

) ^! Z0 k1 [6 m' M; B2 {# cat /usr/lib/systemd/system/flanneld.service [Unit]Description=flannelBefore=docker.service[Service]ExecStart=/usr/bin/flanneld[Install]WantedBy=multi-user.targetRequiredBy=docker.service[backcolor=rgb(245, 245, 245) !important][url=]
9 @! n) V9 U9 N9 s0 b) ^6 s
                               
登录/注册后可看大图
[/url]
5 Y; E& k2 g3 F3 X1 {
( I6 ?! j/ D; T9 v/ P! y" s
flanneld环境变量配置
环境变量的管理也仿照上一篇对docker的环境变量管理,添加了一个Drop-in file
# cat /etc/systemd/system/flanneld.service.d/flannel.conf [Service]Environment="FLANNELD_ETCD_ENDPOINTS=http://xxxx:2379"Environment="FLANNELD_ETCD_PREFIX=/flannel/network"
( r+ p! Z# ^2 N
flannel的环境变量全都是参数加上“FLANNELD_”前缀,见flanneld环境变量说明
启动flanneld
查看环境变量是否生效,然后启动flanneld:
systemctl daemon-reloadsystemctl show flanneld --property Environment
, K, h- {+ G/ b7 `$ N. G( ^0 X
systemctl start flanneld
, I8 [% P. k, K5 J( C
查看启动日志:
systemctl status flanneld -l
/ Y1 p) `) G6 i9 t4 n) o
发现报错了:Couldn't fetch network config: 100: Key not found
想起来etcd里还没写入网络配置信息呢;
flanneld网络配置
docker默认用172.17.0.0/16这个段,我想换个段,以明确知道是在使用flanneld提供的网络,于是就用了172.10.0.0/16
etcdctl mk /flannel/network/config '{"Network":"172.10.0.0/16", "SubnetMin": "172.10.1.0", "SubnetMax": "172.10.254.0"}'
( f9 F' s( \4 E+ [) I% \: j
因为flannel一直在尝试从etcd读配置信息,所以不需要重启flanneld,再看启动日志,flanneld已经获取到想要的子网地址了;
此时,在/run/flannel/subnet.env位置会生成这个host所分配到的子网信息:
# cat /run/flannel/subnet.envFLANNEL_NETWORK=172.10.0.0/16FLANNEL_SUBNET=172.10.63.1/24FLANNEL_MTU=1472FLANNEL_IPMASQ=false
1 L! z- Z: F5 k
而这个文件正是mk-docker-opts.sh脚本的输入文件:
# /usr/bin/mk-docker-opts.sh -c# cat /run/docker_opts.env DOCKER_OPTS=" --bip=172.10.63.1/24 --ip-masq=true --mtu=1472"
0 `% K" f% u' H. z0 x1 Z1 R
这时看一下etcd,多了一条信息:
# etcdctl get /flannel/network/subnets/172.10.63.0-24{"PublicIP":"xxxxxx"}

& {7 f) m9 @- [6 T3 M
看一下主机网卡
# ip a |grep flannel146: flannel0: <POINTOPOINT,MULTICAST,NOARP,UP,LOWER_UP> mtu 1472 qdisc pfifo_fast state UNKNOWN qlen 500

$ W* v9 ^5 [' L2 z6 V+ f
看一下网卡详情
# ip -d link show dev flannel0147: flannel0: <POINTOPOINT,MULTICAST,NOARP,UP,LOWER_UP> mtu 1472 qdisc pfifo_fast state UNKNOWN mode DEFAULT qlen 500    link/none  promiscuity 0     tun
+ J: f) j( f+ n/ ]/ c" ^; O3 e
flanneld vxlan网络配置
推荐Kernel 3.9以上的主机启用vxlan网络(来源记不清了),CentOS7的内核已经到3.10,可以支持;
修改网络配置:
etcdctl set /flannel/network/config '{"Network":"172.10.0.0/16", "SubnetMin": "172.10.1.0", "SubnetMax": "172.10.254.0", "Backend": {"Type": "vxlan"}}'

; D$ B4 R0 V1 d5 @7 i3 m
重启flanneld:
systemctl restart flanneld
& J  p9 q) Y, @5 {( y
查看启动日志,已经能看到在使用vxlan backend了;
看一下/run/flannel/subnet.env文件,发现子网没变,但是MTU变了:
# cat /run/flannel/subnet.env FLANNEL_NETWORK=172.10.0.0/16FLANNEL_SUBNET=172.10.63.1/24FLANNEL_MTU=1450FLANNEL_IPMASQ=false
6 E( X$ M  [- A7 h
再看一下etcd
# etcdctl get /flannel/network/subnets/172.10.63.0-24{"PublicIP":"xxxx","BackendType":"vxlan","BackendData":{"VtepMAC":"e2:73:8e:db:83:56"}}
5 f; L6 ?, J, o  G8 m+ J
再看一下主机网卡
# ip a|grep flannel145: flannel.1: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1450 qdisc noqueue state UNKNOWN
3 e9 X' I: ]4 c+ X  o" Z) Q% L3 D- [
再看一下网卡详情
# ip -d link show dev flannel.1145: flannel.1: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1450 qdisc noqueue state UNKNOWN mode DEFAULT     link/ether e2:73:8e:db:83:56 brd ff:ff:ff:ff:ff:ff promiscuity 0     vxlan id 1 local 10.10.10.127 dev bond0 srcport 32768 65000 dstport 8472 nolearning ageing 300

/ K: s" x' @" u* F8 rDocker使用flannel网络
再重新生成一次docker_opts.env:
# /usr/bin/mk-docker-opts.sh -c# cat /run/docker_opts.env DOCKER_OPTS=" --bip=172.10.63.1/24 --ip-masq=true --mtu=1450"
) n3 N! z0 i" G. Q% z- v; k, B
修改/lib/systemd/system/docker.service:
EnvironmentFile=/run/docker_opts.env # 新加ExecStart=/usr/bin/dockerd $DOCKER_OPTS
" _# \: [4 c# a6 g7 O: d9 x- |8 m
重启docker服务:
systemctl daemon-reloadsystemctl restart docker
, x  z& r* i$ q
查看bridge网络的信息:
# docker network ls |grep bridged5ad3f19dc63        bridge              bridge              local# docker network inspect d5ad3f19dc63 | grep Subnet                    "Subnet": "172.10.63.1/24",
$ v+ U" |& b' J$ c! {. c0 i6 t7 W% w
这就已经是在flannel提供的网段内了;
测试
然后在另一台主机上也照做一遍,分别启动一个container,互ping一下,测试通过;
 楼主| 发表于 2018-7-17 12:58:46 | 显示全部楼层

PC上执行:

ssh -X root@VM-IP

登录以后执行:

wireshark &

* \8 n! C6 v# ]

解决方案:修改init.lua

直接运行wireshark的话会报错:

Lua: Error during loading:& d% f$ f' H: [- G1 |: g
[string "/usr/share/wireshark/init.lua"]:45: dofile has been disabled

要对其进行修改,终端运行

sudo gedit /usr/share/wireshark/init.lua  //使用 VI 编辑  Gedit没安装 。


& D: q! o3 {8 s$ `- r# j

倒数第二行原来为:dofile(DATA_DIR.."console.lua")

改为--dofile(DATA_DIR.."console.lua")

* p2 ]0 f* ]3 y- O7 Z2 f9 o

四 整合

之后在VM中运行mininet,并指定与controller相连。

sudo mn –controller=remote –ip= –port=


$ a1 _& F; d, d

这个地方  

mn  –controller=remote,ip=xxx.xxx 端口不用桥 。

, @6 c) }1 B/ j9 N' B/ F

查看PC上floodlight信息,可以发现有OpenFlow Switch与之相连。进入http://localhost:8080/ui/index.html


2 n: t3 L- x0 F& ?' Z5 c

执行如下,看看结果:

mininet>nodes

mininet>dump

mininet>net

mininet>pingall


! ^% X. c/ o4 z( x2 B0 X' \  f+ I7 P' t' {; M$ b8 b
  O8 V, N8 V# Y5 w/ r. k  j# G
& S3 c9 E/ z! M6 `( x5 D& l
4 N6 b8 S  P" J; j0 f+ [# _
(其一)
; F( }& O) l+ T- i  u* S0 e+ T
* C9 ?1 |+ [6 L/ Z0 y9 _( _% l( n! L9 k) W; [  _  k( w/ R

(((((((((((((((((((((((((((((((((((以后再看

上述命令将创建多个文件:Floodlight.launch,Floodlight_junit.launch,classpath和.project。打开Eclipse软件,可以通过下面这些来设置新的Eclipse项目。

■打开eclipse创建一个新的工程

■File -> Import -> General -> Existing Projects into Workspac ,点击下一步

■点击“Browse”。选择之前放置Floodlight的路径

■点击Floodlight

■点击“Finish”

现在就产生了一个Floodlight的Eclipse工程。由于我们是使用静态模块加载系统运行Floodlight,我们必须配置Eclipse来正确的运行Floodlight。创建Floodlight目标文件:

■点击Run->Run Configurations

■右击Java Application,选择 New

■“Name”使用“FloodlightLaunch”

■“Project”使用“Floodlight”

■“Main”使用“net.floodlightcontroller.core.Main”

■点击“Apply”

■点击“Run”,Floodlight就开始运行了

(4)运行Floodlight后可以通过登录http://localhost:8080/ui/index.html使用Floodlight提供的web管理界面查看里面的信息,包括交换机、主机等等,因为我们没有接什么设备,页面没有什么信息。

4 配置Floodlight

Floodlight提供了两个配置文件:floodlightdefault.properties和learningswitch.properties,路径都位于floodlight/src/main/resources/。通过这两个配置文件可以查看Floodlight已经加载的子模块以及控制器的侦听端口、web端口,默认的侦听端口是6633,web端口是8080。如有必要用户可以自定义加载子模块和修改侦听端口,通过vi命令修改配置文件后,在Floodlight目录下执行ant编译后重启Floodlight即可。配置参数如下两图a)、图b)所示:

                    图a)  floodlightdefault.properties配置信息

                    图b)  learningswitch.properties配置信息

5 常用Floodlight命令

Floodlight将自己的API通过Rest Api的形式向外暴露,关于Rest Api,就是将程序的API封装成为通用的http GET/PUT的形式,这样的话无需关注程序实现细节,通过发送http请求即可完成API操作。所以用户可以通过Floodlight的Restful api来向Floodlight请求各种信息,包括交换机状态、能力、拓扑等。需要注意,通过Floodlight的Restful api返回的信息以json格式封装。REST Api信息用户访问http://www.projectfloodlight.org/floodlight/来获得。

(1)请求该控制器上所有的switch的DPID,可以参考如下命令,其中localhost:8080要换成控制器的ip和port。

(2)加入流表项

(3)读取流表项

注:这种方式是通过static flow pusher来获取流表项。

(4)删除流表项

假如要删除所有的流表项,使用如下命令:

其它常见操作同Open vSwitch。

6 Floodlight可兼容交换机

下面列出了可以和Floodlight控制器兼容的交换机:

虚拟交换机

■Open vSwitch(OVS)

硬件交换机

■Arista 7050

■Brocade MLXe

■Brocade CER

■Brocade CES

■Dell S4810

■Dell Z9000

■Extreme Summit x440, x460, x670

■HP 3500, 3500yl, 5400zl, 6200yl, 6600, and 8200zl (the old-style L3 hardware match platform)

■HP V2 line cards in the 5400zl and 8200zl (the newer L2 hardware match platform)

■Huawei openflow-capable router platforms

■IBM 8264

■Juniper (MX, EX)

■NEC IP8800

■NEC PF5240

■NEC PF5820

■NetGear 7328SO

■NetGear 7352SO

■Pronto (3290, 3295, 3780) - runs the shipping pica8 software

)))))))))))))))))))))))))))))))

  R! \' o; J3 ?4 H2 l8 R# R0 S


( V$ G# Z8 j% o, E4 A2 E

- X# M) I: ~. p

5 E! _9 T$ m+ G) m" D1 ]
8 Z( R( _# e3 |- T* f; ]& o

(((((((((((((((((((((((((((((((((((以后再看

上述命令将创建多个文件:Floodlight.launch,Floodlight_junit.launch,classpath和.project。打开Eclipse软件,可以通过下面这些来设置新的Eclipse项目。

■打开eclipse创建一个新的工程

■File -> Import -> General -> Existing Projects into Workspac ,点击下一步

■点击“Browse”。选择之前放置Floodlight的路径

■点击Floodlight

■点击“Finish”

现在就产生了一个Floodlight的Eclipse工程。由于我们是使用静态模块加载系统运行Floodlight,我们必须配置Eclipse来正确的运行Floodlight。创建Floodlight目标文件:

■点击Run->Run Configurations

■右击Java Application,选择 New

■“Name”使用“FloodlightLaunch”

■“Project”使用“Floodlight”

■“Main”使用“net.floodlightcontroller.core.Main”

■点击“Apply”

■点击“Run”,Floodlight就开始运行了

(4)运行Floodlight后可以通过登录http://localhost:8080/ui/index.html使用Floodlight提供的web管理界面查看里面的信息,包括交换机、主机等等,因为我们没有接什么设备,页面没有什么信息。

4 配置Floodlight

Floodlight提供了两个配置文件:floodlightdefault.properties和learningswitch.properties,路径都位于floodlight/src/main/resources/。通过这两个配置文件可以查看Floodlight已经加载的子模块以及控制器的侦听端口、web端口,默认的侦听端口是6633,web端口是8080。如有必要用户可以自定义加载子模块和修改侦听端口,通过vi命令修改配置文件后,在Floodlight目录下执行ant编译后重启Floodlight即可。配置参数如下两图a)、图b)所示:

                    图a)  floodlightdefault.properties配置信息

                    图b)  learningswitch.properties配置信息

5 常用Floodlight命令

Floodlight将自己的API通过Rest Api的形式向外暴露,关于Rest Api,就是将程序的API封装成为通用的http GET/PUT的形式,这样的话无需关注程序实现细节,通过发送http请求即可完成API操作。所以用户可以通过Floodlight的Restful api来向Floodlight请求各种信息,包括交换机状态、能力、拓扑等。需要注意,通过Floodlight的Restful api返回的信息以json格式封装。REST Api信息用户访问http://www.projectfloodlight.org/floodlight/来获得。

(1)请求该控制器上所有的switch的DPID,可以参考如下命令,其中localhost:8080要换成控制器的ip和port。

(2)加入流表项

(3)读取流表项

注:这种方式是通过static flow pusher来获取流表项。

(4)删除流表项

假如要删除所有的流表项,使用如下命令:

其它常见操作同Open vSwitch。

6 Floodlight可兼容交换机

下面列出了可以和Floodlight控制器兼容的交换机:

虚拟交换机

■Open vSwitch(OVS)

硬件交换机

■Arista 7050

■Brocade MLXe

■Brocade CER

■Brocade CES

■Dell S4810

■Dell Z9000

■Extreme Summit x440, x460, x670

■HP 3500, 3500yl, 5400zl, 6200yl, 6600, and 8200zl (the old-style L3 hardware match platform)

■HP V2 line cards in the 5400zl and 8200zl (the newer L2 hardware match platform)

■Huawei openflow-capable router platforms

■IBM 8264

■Juniper (MX, EX)

■NEC IP8800

■NEC PF5240

■NEC PF5820

■NetGear 7328SO

■NetGear 7352SO

■Pronto (3290, 3295, 3780) - runs the shipping pica8 software

)))))))))))))))))))))))))))))))

( Y$ g7 x4 R: F  `. m; r


( h) k8 C* d2 b; }/ s0 x2 h% G" f2 h; f, o
您需要登录后才可以回帖 登录 | 开始注册

本版积分规则

关闭

站长推荐上一条 /4 下一条

北京云银创陇科技有限公司以云计算运维,代码开发

QQ|返回首页|Archiver|小黑屋|易陆发现技术论坛 点击这里给我发消息

GMT+8, 2026-4-8 15:23 , Processed in 0.053390 second(s), 22 queries .

Powered by Discuz! X3.4 Licensed

© 2012-2025 Discuz! Team.

快速回复 返回顶部 返回列表