深入理解 Neutron -- OpenStack 网络实现（1）：GRE 模式

本帖最后由 yuwenge 于 2015-5-10 15:34 编辑
问题导读
1.什么是VETH、qvb、qvo？
2.qbr的存在的作用是什么？
3.router服务的作用是什么？

如果不具有Linux网络基础，比如防火墙如何过滤ip、端口或则对openstack ovs了解不多，下面比较难懂一些。最好查看本站openstack网络基础知识。

openstack基础之防火墙：Linux防火墙iptables入门教程

 openstack集群网络必备:路由知识补充

 集群网络必备：防火墙基础知识补充

 openstack安全组（防火墙）入门1——安全组之架构篇

 OpenStack中的Security Group实现

有了这些基础下面看的更容易一些，本文最起码能够学到一些基本的概念

概述

Neutron 的设计目标是实现“网络即服务”，为了达到这一目标，在设计上遵循了基于“软件定义网络”实现网络虚拟化的原则，在实现上充分利用了 Linux 系统上的各种网络相关的技术。

理解了 Linux 系统上的这些概念将有利于快速理解 Neutron 的原理和实现。

涉及的 Linux 网络技术

bridge：网桥，Linux中用于表示一个能连接不同网络设备的虚拟设备，linux中传统实现的网桥类似一个hub设备，而ovs管理的网桥一般类似交换机。
br-int：bridge-integration，综合网桥，常用于表示实现主要内部网络功能的网桥。
br-ex：bridge-external，外部网桥，通常表示负责跟外部网络通信的网桥。
GRE：General Routing Encapsulation，一种通过封装来实现隧道的方式。在openstack中一般是基于L3的gre，即original pkt/GRE/IP/Ethernet
VETH：虚拟ethernet接口，通常以pair的方式出现，一端发出的网包，会被另一端接收，可以形成两个网桥之间的通道。
qvb：neutron veth, Linux Bridge-side
qvo：neutron veth, OVS-side
TAP设备：模拟一个二层的网络设备，可以接受和发送二层网包。
TUN设备：模拟一个三层的网络设备，可以接受和发送三层网包。
iptables：Linux 上常见的实现安全策略的防火墙软件。
Vlan：虚拟 Lan，同一个物理 Lan 下用标签实现隔离，可用标号为1-4094。
VXLAN：一套利用 UDP 协议作为底层传输协议的 Overlay 实现。一般认为作为 VLan 技术的延伸或替代者。
namespace：用来实现隔离的一套机制，不同 namespace 中的资源之间彼此不可见。

基本概念

Neutron管理下面的实体：

网络：隔离的 L2 域，可以是虚拟、逻辑或交换，同一个网络中的主机彼此 L2 可见。
子网：隔离的 L3 域，IP 地址块。其中每个机器有一个 IP，同一个子网的主机彼此 L3 可见。
端口：网络上虚拟、逻辑或交换端口。所有这些实体都是虚拟的，拥有自动生成的唯一标示id，支持CRUD功能，并在数据库中跟踪记录状态。

网络

隔离的 L2 广播域，一般是创建它的用户所有。用户可以拥有多个网络。网络是最基础的，子网和端口都需要关联到网络上。

网络上可以有多个子网。同一个网络上的主机一般可以通过交换机或路由器连通起来。

子网

隔离的 L3 域，子网代表了一组分配了 IP 的虚拟机。每个子网必须有一个 CIDR 和关联到一个网络。IP 可以从 CIDR 或者用户指定池中选取。

子网可能会有一个网关、一组 DNS 和主机路由。不同子网之间 L2 是互相不可见的，必须通过一个三层网关（即路由器）经过 L3 上进行通信。

端口

可以进出流量的接口，往往绑定上若干 MAC 地址和 IP 地址，以进行寻址。一般为虚拟交换机上的虚拟接口。

虚拟机挂载网卡到端口上，通过端口访问网络。当端口有 IP 的时候，意味着它属于某个子网。

抽象系统架构

无论哪种具体的网络虚拟化实现，在启用 DVR 特性（J 版本以后支持）之前，所有流量（东西向、南北向）都需要经过网络节点的转发；DVR 特性则允许东西向流量和带有 Floating IP 的南北向流量不经过网络节点的转发，直接从计算节点的外部网络出去。

GRE 模式

下图给出了在OpenStack中网络实现的一个简化的架构示意。

一般的，OpenStack中网络实现包括vlan、gre、vxlan 等模式，此处以gre模式为例。

在OpenStack中，所有网络有关的逻辑管理均在Network节点中实现，例如DNS、DHCP以及路由等。Compute节点上只需要对所部属的虚拟机提供基本的网络功能支持，包括隔离不同租户的虚拟机和进行一些基本的安全策略管理（即security group）。

计算节点

Compute节点上包括两台虚拟机VM1和VM2，分别经过一个网桥（如qbr-XXX）连接到 br-int 网桥上。br-int 网桥再经过 br-tun 网桥（物理网络是 GRE 实现）连接到物理主机外部网络。

对于物理网络通过vlan来隔离的情况，则一般会存在一个br-eth网桥，替代 br-tun 网桥。

qbr

在VM1中，虚拟机的网卡实际上连接到了物理机的一个TAP设备（即A，常见名称如tap-XXX）上，A则进一步通过VETH pair（A-B）连接到网桥qbr-XXX的端口vnet0（端口B）上，之后再通过VETH pair（C-D）连到br-int网桥上。一般C的名字格式为qvb-XXX，而D的名字格式为qvo-XXX。注意它们的名称除了前缀外，后面的id都是一样的，表示位于同一个虚拟机网络到物理机网络的连接上。

之所以TAP设备A没有直接连接到网桥br-int上，是因为OpenStack需要通过iptables实现security group的安全策略功能。目前openvswitch并不支持应用iptables规则的Tap设备。

因为qbr的存在主要是为了辅助iptables来实现security group功能，有时候也被称为firewall bridge。详见security group部分的分析【后面篇章会给出】。

br-int

一个典型的br-int的端口如下所示：

[mw_shl_code=shell,true]# ovs-vsctl show
Bridge br-int
Port "qvo-XXX"
      tag: 1
      Interface "qvo-XXX"
Port patch-tun
      Interface patch-tun
         type: patch
         options: {peer=patch-int}
Port br-int
      Interface br-int
         type: internal[/mw_shl_code]

其中br-int为内部端口。

端口patch-tun（即端口E，端口号为1）连接到br-tun上，实现到外部网络的隧道。端口qvo-XXX（即端口D，端口号为2）带有tag1，说明这个口是一个1号vlan的access端口。虚拟机发出的从该端口到达br-int的网包将被自动带上vlan tag 1，而其他带有vlan tag 1的网包则可以在去掉vlan tag后从该端口发出（具体请查询vlan access端口）。这个vlan tag是用来实现不同网络相互隔离的，比如租户创建一个网络（neutron net-create），则会被分配一个唯一的vlan tag。

br-int在GRE模式中作为一个NORMAL交换机使用，因此有效规则只有一条正常转发。如果两个在同一主机上的vm属于同一个tenant的（同一个vlan tag），则它们之间的通信只需要经过br-int即可。

[mw_shl_code=shell,true]# ovs-ofctl dump-flows br-int
NXST_FLOW reply (xid=0x4):
cookie=0x0, duration=10727.864s, table=0, n_packets=198, n_bytes=17288, idle_age=13, priority=1 actions=NORMAL[/mw_shl_code]

br-tun

一个典型的br-tun上的端口类似：

[mw_shl_code=shell,true]Bridge br-tun
      Port patch-int
         Interface patch-int
            type: patch
            options: {peer=patch-tun}
      Port "gre-1"
         Interface "gre-1"
            type: gre
            options: {in_key=flow, local_ip="10.0.0.101", out_key=flow, remote_ip="10.0.0.100"}
      Port br-tun
         Interface br-tun
            type: internal[/mw_shl_code]

其中patch-int（即端口F，端口号为1）是连接到br-int上的veth pair的端口，gre-1口（即端口G，端口号为2）对应vm到外面的隧道。

gre-1端口是虚拟gre端口，当网包发送到这个端口的时候，会经过内核封包，然后从10.0.0.101发送到10.0.0.100，即从本地的物理网卡（10.0.0.101）发出。

br-tun将带有vlan tag的vm跟外部通信的流量转换到对应的gre隧道，这上面要实现主要的转换逻辑，规则要复杂，一般通过多张表来实现。

典型的转发规则为：

[mw_shl_code=shell,true]# ovs-ofctl dump-flows br-tun
NXST_FLOW reply (xid=0x4):
cookie=0x0, duration=10970.064s, table=0, n_packets=189, n_bytes=16232, idle_age=16, priority=1,in_port=1 actions=resubmit(,1)
cookie=0x0, duration=10906.954s, table=0, n_packets=29, n_bytes=5736, idle_age=16, priority=1,in_port=2 actions=resubmit(,2)
cookie=0x0, duration=10969.922s, table=0, n_packets=3, n_bytes=230, idle_age=10962, priority=0 actions=drop
cookie=0x0, duration=10969.777s, table=1, n_packets=26, n_bytes=5266, idle_age=16, priority=0,dl_dst=00:00:00:00:00:00/01:00:00:00:00:00 actions=resubmit(,20)
cookie=0x0, duration=10969.631s, table=1, n_packets=163, n_bytes=10966, idle_age=21, priority=0,dl_dst=01:00:00:00:00:00/01:00:00:00:00:00 actions=resubmit(,21)
cookie=0x0, duration=688.456s, table=2, n_packets=29, n_bytes=5736, idle_age=16, priority=1,tun_id=0x1 actions=mod_vlan_vid:1,resubmit(,10)
cookie=0x0, duration=10969.488s, table=2, n_packets=0, n_bytes=0, idle_age=10969, priority=0 actions=drop
cookie=0x0, duration=10969.343s, table=3, n_packets=0, n_bytes=0, idle_age=10969, priority=0 actions=drop
cookie=0x0, duration=10969.2s, table=10, n_packets=29, n_bytes=5736, idle_age=16, priority=1 actions=learn(table=20,hard_timeout=300,priority=1,NXM_OF_VLAN_TCI[0..11],NXM_OF_ETH_DST[]=NXM_OF_ETH_SRC[],load:0->NXM_OF_VLAN_TCI[],load:NXM_NX_TUN_ID[]->NXM_NX_TUN_ID[],output:NXM_OF_IN_PORT[]),output:1
cookie=0x0, duration=682.603s, table=20, n_packets=26, n_bytes=5266, hard_timeout=300, idle_age=16, hard_age=16, priority=1,vlan_tci=0x0001/0x0fff,dl_dst=fa:16:3e:32:0d:db actions=load:0->NXM_OF_VLAN_TCI[],load:0x1->NXM_NX_TUN_ID[],output:2
cookie=0x0, duration=10969.057s, table=20, n_packets=0, n_bytes=0, idle_age=10969, priority=0 actions=resubmit(,21)
cookie=0x0, duration=688.6s, table=21, n_packets=161, n_bytes=10818, idle_age=21, priority=1,dl_vlan=1 actions=strip_vlan,set_tunnel:0x1,output:2
cookie=0x0, duration=10968.912s, table=21, n_packets=2, n_bytes=148, idle_age=689, priority=0 actions=drop[/mw_shl_code]

其中，表0中有3条规则：从端口1（即patch-int）来的，扔到表1，从端口2（即gre-1）来的，扔到表2。

[mw_shl_code=shell,true]cookie=0x0, duration=10970.064s, table=0, n_packets=189, n_bytes=16232, idle_age=16, priority=1,in_port=1 actions=resubmit(,1)
cookie=0x0, duration=10906.954s, table=0, n_packets=29, n_bytes=5736, idle_age=16, priority=1,in_port=2 actions=resubmit(,2)
cookie=0x0, duration=10969.922s, table=0, n_packets=3, n_bytes=230, idle_age=10962, priority=0 actions=drop[/mw_shl_code]

表1有2条规则：如果是单播（00:00:00:00:00:00/01:00:00:00:00:00），则扔到表20；如果是多播等（01:00:00:00:00:00/01:00:00:00:00:00），则扔到表21。

[mw_shl_code=shell,true]cookie=0x0, duration=10969.777s, table=1, n_packets=26, n_bytes=5266, idle_age=16, priority=0,dl_dst=00:00:00:00:00:00/01:00:00:00:00:00 actions=resubmit(,20)
cookie=0x0, duration=10969.631s, table=1, n_packets=163, n_bytes=10966, idle_age=21, priority=0,dl_dst=01:00:00:00:00:00/01:00:00:00:00:00 actions=resubmit(,21)[/mw_shl_code]

表2有2条规则：如果是tunnel 1的网包，则修改其vlan id为1，并扔到表10；非tunnel 1的网包，则丢弃。

[mw_shl_code=shell,true]cookie=0x0, duration=688.456s, table=2, n_packets=29, n_bytes=5736, idle_age=16, priority=1,tun_id=0x1 actions=mod_vlan_vid:1,resubmit(,10)
cookie=0x0, duration=10969.488s, table=2, n_packets=0, n_bytes=0, idle_age=10969, priority=0 actions=drop[/mw_shl_code]

表3只有1条规则：丢弃。

表10有一条规则，基于learn行动来创建反向（从gre端口抵达，且目标是到vm的网包）的规则。learn行动并非标准的openflow行动，是openvswitch自身的扩展行动，这个行动可以根据流内容动态来修改流表内容。这条规则首先创建了一条新的流（该流对应vm从br-tun的gre端口发出的规则）：其中table=20表示规则添加在表20；NXM_OF_VLAN_TCI[0..11]表示匹配包自带的vlan id；NXM_OF_ETH_DST[]=NXM_OF_ETH_SRC[]表示L2目标地址需要匹配包的L2源地址；load:0->NXM_OF_VLAN_TCI[]，去掉vlan，load:NXM_NX_TUN_ID[]->NXM_NX_TUN_ID[]，添加tunnel号为原始tunnel号；output:NXM_OF_IN_PORT[]，发出端口为原始包抵达的端口。最后规则将匹配的网包从端口1（即patch-int）发出。

[mw_shl_code=shell,true]cookie=0x0, duration=10969.2s, table=10, n_packets=29, n_bytes=5736, idle_age=16, priority=1 actions=learn(table=20,hard_timeout=300,priority=1,NXM_OF_VLAN_TCI[0..11],NXM_OF_ETH_DST[]=NXM_OF_ETH_SRC[],load:0->NXM_OF_VLAN_TCI[],load:NXM_NX_TUN_ID[]->NXM_NX_TUN_ID[],output:NXM_OF_IN_PORT[]),output:1[/mw_shl_code]

表20中有两条规则，其中第一条即表10中规则利用learn行动创建的流表项，第2条提交其他流到表21。

[mw_shl_code=shell,true]cookie=0x0, duration=682.603s, table=20, n_packets=26, n_bytes=5266, hard_timeout=300, idle_age=16, hard_age=16, priority=1,vlan_tci=0x0001/0x0fff,dl_dst=fa:16:3e:32:0d:db actions=load:0->NXM_OF_VLAN_TCI[],load:0x1->NXM_NX_TUN_ID[],output:2
cookie=0x0, duration=10969.057s, table=20, n_packets=0, n_bytes=0, idle_age=10969, priority=0 actions=resubmit(,21)[/mw_shl_code]

表21有2条规则，第一条是匹配所有目标vlan为1的网包，去掉vlan，然后从端口2（gre端口）发出。第二条是丢弃。

[mw_shl_code=shell,true]cookie=0x0, duration=688.6s, table=21, n_packets=161, n_bytes=10818, idle_age=21, priority=1,dl_vlan=1 actions=strip_vlan,set_tunnel:0x1,output:2
cookie=0x0, duration=10968.912s, table=21, n_packets=2, n_bytes=148, idle_age=689, priority=0 actions=drop[/mw_shl_code]

这些规则所组成的整体转发逻辑如下图所示。

网络节点
br-tun
[mw_shl_code=shell,true]Bridge br-tun
      Port br-tun
         Interface br-tun
            type: internal
      Port patch-int
         Interface patch-int
            type: patch
            options: {peer=patch-tun}
      Port "gre-2"
         Interface "gre-2"
            type: gre
            options: {in_key=flow, local_ip="10.0.0.100", out_key=flow, remote_ip="10.0.0.101"}[/mw_shl_code]

Compute节点上发往GRE隧道的网包最终抵达Network节点上的br-tun，该网桥的规则包括：

[mw_shl_code=bash,true]# ovs-ofctl dump-flows br-tun
NXST_FLOW reply (xid=0x4):
cookie=0x0, duration=19596.862s, table=0, n_packets=344, n_bytes=66762, idle_age=4, priority=1,in_port=1 actions=resubmit(,1)
cookie=0x0, duration=19537.588s, table=0, n_packets=625, n_bytes=125972, idle_age=4, priority=1,in_port=2 actions=resubmit(,2)
cookie=0x0, duration=19596.602s, table=0, n_packets=2, n_bytes=140, idle_age=19590, priority=0 actions=drop
cookie=0x0, duration=19596.343s, table=1, n_packets=323, n_bytes=65252, idle_age=4, priority=0,dl_dst=00:00:00:00:00:00/01:00:00:00:00:00 actions=resubmit(,20)
cookie=0x0, duration=19596.082s, table=1, n_packets=21, n_bytes=1510, idle_age=5027, priority=0,dl_dst=01:00:00:00:00:00/01:00:00:00:00:00 actions=resubmit(,21)
cookie=0x0, duration=9356.289s, table=2, n_packets=625, n_bytes=125972, idle_age=4, priority=1,tun_id=0x1 actions=mod_vlan_vid:1,resubmit(,10)
cookie=0x0, duration=19595.821s, table=2, n_packets=0, n_bytes=0, idle_age=19595, priority=0 actions=drop
cookie=0x0, duration=19595.554s, table=3, n_packets=0, n_bytes=0, idle_age=19595, priority=0 actions=drop
cookie=0x0, duration=19595.292s, table=10, n_packets=625, n_bytes=125972, idle_age=4, priority=1 actions=learn(table=20,hard_timeout=300,priority=1,NXM_OF_VLAN_TCI[0..11],NXM_OF_ETH_DST[]=NXM_OF_ETH_SRC[],load:0->NXM_OF_VLAN_TCI[],load:NXM_NX_TUN_ID[]->NXM_NX_TUN_ID[],output:NXM_OF_IN_PORT[]),output:1
cookie=0x0, duration=9314.338s, table=20, n_packets=323, n_bytes=65252, hard_timeout=300, idle_age=4, hard_age=3, priority=1,vlan_tci=0x0001/0x0fff,dl_dst=fa:16:3e:cb:11:f6 actions=load:0->NXM_OF_VLAN_TCI[],load:0x1->NXM_NX_TUN_ID[],output:2
cookie=0x0, duration=19595.026s, table=20, n_packets=0, n_bytes=0, idle_age=19595, priority=0 actions=resubmit(,21)
cookie=0x0, duration=9356.592s, table=21, n_packets=9, n_bytes=586, idle_age=5027, priority=1,dl_vlan=1 actions=strip_vlan,set_tunnel:0x1,output:2
cookie=0x0, duration=19594.759s, table=21, n_packets=12, n_bytes=924, idle_age=5057, priority=0 actions=drop[/mw_shl_code]

这些规则跟Compute节点上br-tun的规则相似，完成tunnel跟vlan之间的转换。

br-int

[mw_shl_code=bash,true]Bridge br-int
      Port "qr-ff19a58b-3d"
         tag: 1
         Interface "qr-ff19a58b-3d"
            type: internal
      Port br-int
         Interface br-int
            type: internal
      Port patch-tun
         Interface patch-tun
            type: patch
            options: {peer=patch-int}
      Port "tap4385f950-8b"
         tag: 1
         Interface "tap4385f950-8b"
            type: internal[/mw_shl_code]

该集成网桥上挂载了很多进程来提供网络服务，包括路由器、DHCP服务器等。这些进程不同的租户可能都需要，彼此的地址空间可能冲突，也可能跟物理网络的地址空间冲突，因此都运行在独立的网络名字空间中。规则跟computer节点的br-int规则一致，表现为一个正常交换机。

[mw_shl_code=bash,true]# ovs-ofctl dump-flows br-int
NXST_FLOW reply (xid=0x4):
cookie=0x0, duration=18198.244s, table=0, n_packets=849, n_bytes=164654, idle_age=43, priority=1 actions=NORMAL[/mw_shl_code]

网络名字空间

在linux中，网络名字空间可以被认为是隔离的拥有单独网络栈（网卡、路由转发表、iptables）的环境。网络名字空间经常用来隔离网络设备和服务，只有拥有同样网络名字空间的设备，才能看到彼此。可以用ip netns list命令来查看已经存在的名字空间。

[mw_shl_code=bash,true]# ip netns
qdhcp-88b1609c-68e0-49ca-a658-f1edff54a264
qrouter-2d214fde-293c-4d64-8062-797f80ae2d8f[/mw_shl_code]

qdhcp开头的名字空间是dhcp服务器使用的，qrouter开头的则是router服务使用的。可以通过 ip netns exec namespaceid command 来在指定的网络名字空间中执行网络命令，例如

[mw_shl_code=bash,true]# ip netns exec qdhcp-88b1609c-68e0-49ca-a658-f1edff54a264 ip addr
71: ns-f14c598d-98: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
link/ether fa:16:3e:10:2f:03 brd ff:ff:ff:ff:ff:ff
inet 10.1.0.3/24 brd 10.1.0.255 scope global ns-f14c598d-98
inet6 fe80::f816:3eff:fe10:2f03/64 scope link
valid_lft forever preferred_lft forever[/mw_shl_code]

可以看到，dhcp服务的网络名字空间中只有一个网络接口“ns-f14c598d-98”，它连接到br-int的tapf14c598d-98接口上。

dhcp 服务

dhcp服务是通过dnsmasq进程（轻量级服务器，可以提供dns、dhcp、tftp等服务）来实现的，该进程绑定到dhcp名字空间中的br-int的接口上。可以查看相关的进程。

[mw_shl_code=bash,true]# ps -fe | grep 88b1609c-68e0-49ca-a658-f1edff54a264
nobody 23195 1 0 Oct26 ? 00:00:00 dnsmasq --no-hosts --no-resolv --strict-order --bind-interfaces --interface=ns-f14c598d-98 --except-interface=lo --pid-file=/var/lib/neutron/dhcp/88b1609c-68e0-49ca-a658-f1edff54a264/pid --dhcp-hostsfile=/var/lib/neutron/dhcp/88b1609c-68e0-49ca-a658-f1edff54a264/host --dhcp-optsfile=/var/lib/neutron/dhcp/88b1609c-68e0-49ca-a658-f1edff54a264/opts --dhcp-script=/usr/bin/neutron-dhcp-agent-dnsmasq-lease-update --leasefile-ro --dhcp-range=tag0,10.1.0.0,static,120s --conf-file= --domain=openstacklocal
root 23196 23195 0 Oct26 ? 00:00:00 dnsmasq --no-hosts --no-resolv --strict-order --bind-interfaces --interface=ns-f14c598d-98 --except-interface=lo --pid-file=/var/lib/neutron/dhcp/88b1609c-68e0-49ca-a658-f1edff54a264/pid --dhcp-hostsfile=/var/lib/neutron/dhcp/88b1609c-68e0-49ca-a658-f1edff54a264/host --dhcp-optsfile=/var/lib/neutron/dhcp/88b1609c-68e0-49ca-a658-f1edff54a264/opts --dhcp-script=/usr/bin/neutron-dhcp-agent-dnsmasq-lease-update --leasefile-ro --dhcp-range=tag0,10.1.0.0,static,120s --conf-file= --domain=openstacklocal[/mw_shl_code]

router服务

首先，要理解什么是router，router是提供跨subnet的互联功能的。比如用户的内部网络中主机想要访问外部互联网的地址，就需要router来转发（因此，所有跟外部网络的流量都必须经过router）。目前router的实现是通过iptables进行的。同样的，router服务也运行在自己的名字空间中，可以通过如下命令查看：

[mw_shl_code=bash,true]# ip netns exec qrouter-2d214fde-293c-4d64-8062-797f80ae2d8f ip addr
66: qg-d48b49e0-aa: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
link/ether fa:16:3e:5c:a2:ac brd ff:ff:ff:ff:ff:ff
inet 172.24.4.227/28 brd 172.24.4.239 scope global qg-d48b49e0-aa
inet 172.24.4.228/32 brd 172.24.4.228 scope global qg-d48b49e0-aa
inet6 fe80::f816:3eff:fe5c:a2ac/64 scope link
valid_lft forever preferred_lft forever
68: qr-c2d7dd02-56: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
link/ether fa:16:3e:ea:64:6e brd ff:ff:ff:ff:ff:ff
inet 10.1.0.1/24 brd 10.1.0.255 scope global qr-c2d7dd02-56
inet6 fe80::f816:3eff:feea:646e/64 scope link
valid_lft forever preferred_lft forever[/mw_shl_code]

可以看出，该名字空间中包括两个网络接口。

第一个接口qg-d48b49e0-aa（即K）是外部接口（qg=q gateway），将路由器的网关指向默认网关（通过router-gateway-set命令指定），这个接口连接到br-ex上的tapd48b49e0-aa（即L）。

第二个接口qr-c2d7dd02-56（即N，qr=q bridge）跟br-int上的tapc2d7dd02-56口（即M）相连，将router进程连接到集成网桥上。

查看该名字空间中的路由表：

[mw_shl_code=bash,true]# ip netns exec qrouter-2d214fde-293c-4d64-8062-797f80ae2d8f ip route
172.24.4.224/28 dev qg-d48b49e0-aa proto kernel scope link src 172.24.4.227
10.1.0.0/24 dev qr-c2d7dd02-56 proto kernel scope link src 10.1.0.1
default via 172.24.4.225 dev qg-d48b49e0-aa[/mw_shl_code]

其中，第一条规则是将到172.24.4.224/28段的访问都从网卡qg-d48b49e0-aa（即K）发出。

第二条规则是将到10.1.0.0/24段的访问都从网卡qr-c2d7dd02-56（即N）发出。最后一条是默认路由，所有的通过qg-d48b49e0-aa网卡（即K）发出。 floating ip服务同样在路由器名字空间中实现，例如如果绑定了外部的floating ip 172.24.4.228到某个虚拟机10.1.0.2，则nat表中规则为：

[mw_shl_code=bash,true]# ip netns exec qrouter-2d214fde-293c-4d64-8062-797f80ae2d8f iptables -t nat -S
-P PREROUTING ACCEPT
-P POSTROUTING ACCEPT
-P OUTPUT ACCEPT
-N neutron-l3-agent-OUTPUT
-N neutron-l3-agent-POSTROUTING
-N neutron-l3-agent-PREROUTING
-N neutron-l3-agent-float-snat
-N neutron-l3-agent-snat
-N neutron-postrouting-bottom
-A PREROUTING -j neutron-l3-agent-PREROUTING
-A POSTROUTING -j neutron-l3-agent-POSTROUTING
-A POSTROUTING -j neutron-postrouting-bottom
-A OUTPUT -j neutron-l3-agent-OUTPUT
-A neutron-l3-agent-OUTPUT -d 172.24.4.228/32 -j DNAT --to-destination 10.1.0.2
-A neutron-l3-agent-POSTROUTING ! -i qg-d48b49e0-aa ! -o qg-d48b49e0-aa -m conntrack ! --ctstate DNAT -j ACCEPT
-A neutron-l3-agent-PREROUTING -d 169.254.169.254/32 -p tcp -m tcp --dport 80 -j REDIRECT --to-ports 9697
-A neutron-l3-agent-PREROUTING -d 172.24.4.228/32 -j DNAT --to-destination 10.1.0.2
-A neutron-l3-agent-float-snat -s 10.1.0.2/32 -j SNAT --to-source 172.24.4.228
-A neutron-l3-agent-snat -j neutron-l3-agent-float-snat
-A neutron-l3-agent-snat -s 10.1.0.0/24 -j SNAT --to-source 172.24.4.227
-A neutron-postrouting-bottom -j neutron-l3-agent-snat[/mw_shl_code]

其中SNAT和DNAT规则完成外部floating ip到内部ip的映射：

[mw_shl_code=bash,true]-A neutron-l3-agent-OUTPUT -d 172.24.4.228/32 -j DNAT --to-destination 10.1.0.2
-A neutron-l3-agent-PREROUTING -d 172.24.4.228/32 -j DNAT --to-destination 10.1.0.2
-A neutron-l3-agent-float-snat -s 10.1.0.2/32 -j SNAT --to-source 172.24.4.228[/mw_shl_code]

另外有一条SNAT规则把所有其他的内部IP出来的流量都映射到外部IP 172.24.4.227。这样即使在内部虚拟机没有外部IP的情况下，也可以发起对外网的访问。

[mw_shl_code=bash,true]-A neutron-l3-agent-snat -s 10.1.0.0/24 -j SNAT --to-source 172.24.4.227[/mw_shl_code]

br-ex

[mw_shl_code=bash,true]Bridge br-ex
      Port "eth1"
         Interface "eth1"
      Port br-ex
         Interface br-ex
            type: internal
      Port "qg-1c3627de-1b"
         Interface "qg-1c3627de-1b"
            type: internal[/mw_shl_code]

br-ex上直接连接到外部物理网络，一般情况下网关在物理网络中已经存在，则直接转发即可。

# ovs-ofctl dump-flows br-exNXST_FLOW reply (xid=0x4): cookie=0x0, duration=23431.091s, table=0, n_packets=893539, n_bytes=504805376, idle_age=0, priority=0 actions=NORMAL

如果对外部网络的网关地址配置到了br-ex（即br-ex作为一个网关）：

[mw_shl_code=bash,true]# ip addr add 172.24.4.225/28 dev br-ex[/mw_shl_code]

需要将内部虚拟机发出的流量进行SNAT，之后发出。

[mw_shl_code=bash,true]# iptables -A FORWARD -d 172.24.4.224/28 -j ACCEPT
# iptables -A FORWARD -s 172.24.4.224/28 -j ACCEPT
# iptables -t nat -I POSTROUTING 1 -s 172.24.4.224/28 -j MASQUERADE[/mw_shl_code]