计算机系统应用教程网站

网站首页 > 技术文章 正文

DPDK加速网络节点《挑战全网DPDK》

btikc 2024-11-17 07:18:37 技术文章 3 ℃ 0 评论

DPDK全称为Date planedevelopment kit,是一个用来进行数据处理加速的软件库。与传统的数据包处理相比,DPDK具有以下特点:

1) 轮询:在处理时避免中断上下文切换的开销,

2) 用户态驱动:规避不必要的内存拷贝和系统调用,便于快速迭代优化

3) 亲和性与独占:特定任务可以被指定只在某个核上工作,避免线程在不同核间频繁切换,保证更多的cache命中

4) 降低内存开销:利用内存大页HUGEPAGE降低TLB miss,利用内存多通道交错访问提高内存访问有效带宽

5) 软件调优:cache行对齐,预取数据,多元数据批量操作

DPDK框架

原型设计

针对这些问题,经过技术调研,也参考了国内外同?的已有解决方案,在过程中和 Intel 团队紧密合作,我们采用 OVS-DPDK 进?开发部署,并最终取得了不错的效果。如下是数据流模型:


数据层面的?个重要改造

1. 底层:?卡硬件相关

基于 VF 的数据流改造

借助硬件将 OverLay 的流量与宿主机的其他?络流量进?分离。通过 flow classification 命令将前者导?到 VF 上,而后者仍然是通过 PF 口到内核进行处理,保持原有处理逻辑不变。OVS- DPDK 只接管 VF ?口,?不触碰 PF 口上的非 SDN OverLay ?络流量。

这样既简化了 OVS-DPDK 的处理逻辑,同时也避免了因 OVS-DPDK 本身的稳定性,而影响其他? SDN ?络模块的稳定性。

2. 中间层:OVS 报?处理

无状态的转发功能

?前,我们对计算节点?络层面的需求,可以分为两大类:VM 流量的转发和 VM 网络的安全监控。其中后者是内部开发的,暂时略过。

针对 VM 流量转发的这个需求,?拆解为两部分:OverLay 外层头的处理和内层报文的转发。

借助 OVS-DPDK 的 flow 表实现这两部分功能。因为没有启? conntrack 功能,因此我们这部分的实现是?状态的。这个拆解,特别是无状态的特性,在热升级的时候取得了不错的效果。



OVS 单网桥

之前参考 OpenStack 的模型,我们使?了 br-int,br-tunnel 两个网桥。在这个模型里,OVS ?桥的使?方式跟传统的 Bridge 使??式差别不大,没有充分发挥 OVS ?桥的优势。

在我们的模型中,把两个网桥整合为一个网桥,将 VXLAN ?和 vhost-user 的?都放到??个网桥上。VM 发出的报?经过 OVS 转发处理后,携带外层头信息进入 VXLAN 驱动,经过 VXLAN 网口的封装后,发送给 VF 网口。

根据我们的数据模型,进入 VF ?的报?只可能是发往 VM 的 VXLAN 类型的报文。这些报文,在被剥除 VXLAN 头后,经过 VXLAN ?进?网桥,经过?桥转发到各个 VM 的 VPORT 。

降低与内核的耦合性

原有的 OVS 桥的路由和 ARP 表需要去内核查询,跟内核的耦合性很强。

我们通过 SDN 控制器下发到 OVS-DPDK,来规避直接与内核的交互。这样?方?简化了 Bridge 的配置(不用单独设置IP地址等),降低了内核的耦合性,另?方?也降低了热升级时候的复杂度。

3. 上层: vhost-user 与 VM 交互层

vhost-user增强

我们使用的是 QEMU 作为 vhost-user 的 Server 端,OVS-DPDK 进程通过 unixsocket 连接到 QEMU。QEMU 默认仅支持一个这样的连接,改造 QEMU 后,使得 QEMU 支持两个主备倒换的连接,这样热升级的时候,可以通过控制 OVS-DPDK 端的开关,轻松的在新?两个进程间切换。

内存模型采用 2M/4k。

尽量减少对现有 VM 的影响,为以后升级和迁移做准备。

方案优势



总结

详细教程资料关注+评论;资料;两个字可以免费视频领取+文档+各大厂面试题 资料内容包括:C/C++,Linux,golang,Nginx,ZeroMQ,MySQL,Redis,fastdfs,MongoDB,ZK,流媒体,CDN,P2P,K8S,Docker,TCP/IP,协程,DPDK,嵌入式 等。。

Tags:

本文暂时没有评论,来添加一个吧(●'◡'●)

欢迎 发表评论:

最近发表
标签列表