ovs + kernel datapath 的分片与重组流程

Posted 2020-09-19

非VXLAN的收发包调用栈

netdev_frame_hook()

     netdev_port_receive()

          ovs_vport_receive()

               ovs_dp_process_packet()

                    (在查表失败后，对于带gso标记的大包，会分片进行upcall)

                    ovs_dp_upcall()                                                        

                    ovs_execute_actions()

                         output: do_output()

                              (通常情况下OVS_CB(skb)->mru为0，直接发送)

                              ovs_vport_send()                                             

                              (在OVS_CB(skb)->mru不为0，(即在output之前还经历了ct，且ct流程进行了分片重组。)且小于出端口的mtu的情况下，进入分片流程)

                              ovs_fragment()                                               

                                   (执行分片)

                                   ip_do_fragment(net, skb->sk, skb, ovs_vport_output);    

                                        (发包，这里代码写的比较绕)

                                        ovs_vport_output()                                 

                                             ovs_vport_send()

                         ct    : ovs_ct_execute()

                              (在进行conntrack的commit或lookup之前，会对分片进行重组，并会设置OVS_CB(skb)->mru的值不为0，为分片中最大的分片的尺寸)

                              handle_fragments()                                           

                              ovs_ct_commit() / ovs_ct_lookup()

 

          ovs_vport_send()

               vport->ops->send(skb) == dev_queue_xmit(skb) == rpl_dev_queue_xmit(skb)

                    (检查包的gso标记，需要分片的情况下进行分片，然后再递归调用dev_queue_xmit()发送分片)

                    skb_gso_segment                                                        

                    

 

总结：

     非VXLAN组网，逻辑基本如下：

          1. 收到多个分片

               1.1. datapath查表失败

                    分片各自上送至用户态，走upcall流程

               1.2. datapath查表成功，或从upcall流程下来

                    开始执行actions

                         while(1)

                              ct               会对分片进行重组，重组后的大包的OVS_CB(skb)->mru会被设置成一个非0值

                                   ovs_vport_send()

                              output           如果没有经过ct，则分片直接被转发，如果经过了ct，则大包还要进行分片操作

                                   ovs_fragment() -> ip_do_fragment() -> ovs_vport_output() -> ovs_vport_send()

                    

          2. 收到带gso标记的大包

               2.1. datapath查表失败

                    先进行分片，然后把分片各自upcall

               2.2. datapath查表成功

                    开始执行actions

                         while(1)

                              ct               直接ct，没有额外操作

                              output           由于OVS_CB(skb)->mru为0，所以直接进入ovs_vport_send()

                                   ovs_vport_send()

                                        在这里检查包的gso标记，然后进行分片，再对各个分片递归调用dev_queue_xmit()发送分片

                                        vport->ops->send == dev_queue_xmit() == rpl_dev_queue_xmit()  

 

     VXLAN组网，逻辑基本如下：

          1：首先是Kernel收到udp报文，走以下流程解封装

               udp_rcv -> __udp4_lib_rcv -> udp_queue_rcv_skb -> encap_rcv -> vxlan_rcv

          2：最终调用 netdev_port_receive -> ovs_vport_receive -> ovs_dp_process_packet

         

          也就是说，VXLAN收包终结之后，不存在分片与重组，而在终结之前的ip报文是否需要重组，则是由kernel负责，不是ovs的责任

          接下来的处理流程都与非VXLAN组网一致了，直至发包

          在VXLAN组网中，发包最终调到 ovs_vport_send() 函数时，vport->ops->send 指针实际调用的函数是 vxlan_xmit

 

          vxlan_xmit -> rpl_vxlan_xmit -> vxlan_xmit_one -> udp_tunnel_xmit_skb -> iptunnel_xmit == rpl_iptunnel_xmit -> ip_local_out == rpl_ip_local_out

          

          在 rpl_ip_local_out 中，类似于 rpl_dev_queue_xmit()，会检查gso标记，如果有gso标记，会将这个ip报文分片然后各片各自发送