《存储IO路径》专题:块设备层多队列blk-mq架构

我们想象一下,你是一个餐厅的厨师,你要准备很多不同的菜肴,而每种菜肴需要不同的食材和烹饪时间。如果每道菜都按照需要的顺序来准备,那么你的工作效率一定会非常低。为了提高效率,你会怎么做呢?

在linux架构中,Multi-Queue Block Layer就像是一个聪明的餐厅管理员,它可以让厨师们同时处理多个订单,而不用等待前面的订单完成。这个机制在Linux内核中实现了多个I/O调度队列,每个队列处理特定类型的I/O操作。这样,当一个进程发出I/O请求时,Multi-Queue Block Layer可以将请求分配到对应的队列中,让I/O操作并行执行,大大提高了系统的性能。

在Linux中,blk-mq架构是block layer的一种改进,它通过支持多个I/O调度队列来提高系统的并发性和响应性。Multi-Queue Block Layer在内核版本3.14之后引入,并在后续版本中得到了进一步的发展和完善。

在blk-mq架构中,每个块设备都维护了多个I/O调度队列,每个队列对应于一个特定的优先级。当系统接收到I/O请求时,根据请求的优先级将其分配到对应的队列中。每个队列都采用自己的I/O调度策略,比如先进先出(FIFO)、最短作业优先(SFS)等。这种机制可以使得不同优先级的I/O请求能够得到更好的处理和响应。

下面是一个简单的示例代码,展示了Multi-Queue Block Layer的基本原理:

#include <linux/blkdev.h>  
  
/* 初始化块设备 */  
struct gendisk *disk;  
  
/* 初始化块设备分区 */  
struct hd_struct *part;  
  
/* 初始化块设备请求队列 */  
struct request_queue *queue;  
  
/* 初始化块设备I/O调度器 */  
struct elevator_type *elevator;  
  
/* 初始化I/O调度参数 */  
elevator_param_t elevator_params[];  
  
/* 初始化I/O调度队列 */  
struct blk_queue_layer queue_layer;  
  
/* 分配I/O调度队列 */  
queue_init_queue(&queue_layer, disk, part, queue, elevator, elevator_params);

在上述代码中,我们首先初始化了块设备、分区、请求队列和I/O调度器等组件。然后,我们通过调用queue_init_queue函数来初始化一个blk_queue_layer结构体,该结构体表示一个I/O调度队列层。该函数接受多个参数,包括块设备、分区、请求队列、I/O调度器和I/O调度参数等。在函数内部,会根据指定的参数创建一个新的I/O调度队列,并将其添加到对应的块设备的I/O调度队列层中。

在传统的Linux系统中,块设备层和IO调度器主要是针对HDD(hard disk drivers)设计的。由于HDD设备的随机IO性能很差,吞吐量大约是几百IOPS(IOs per second),延迟在毫秒级,所以当时IO性能的瓶颈在硬件,而不是内核。但是,随着高速SSD(Solid State Disk)的出现并展现出越来越高的性能,百万级甚至千万级IOPS的数据访问已成为一大趋势,传统的块设备层已无法满足这么高的IOPS需求,逐渐成为系统IO性能的瓶颈。为了适配现代存设备(高速SSD等)高IOPS、低延迟的IO特征,新的块设备层框架Block multi-queue(blk-mq)应运而生。

  • Multi-Queue Block Layer分为两层,Software Queues和Hardware Dispatch Queues.
  • Softeware Queues是per core的,Queue的数目与协议有关系,比如NVMe协议,可以有最多64K对 IO SQ/CQ。Software Queues层做的事情如上图标识部分。
  • Hardware Queues数目由底层设备驱动决定,可以1个或者多个。最大支持数目一般会与MSI-X中断最大数目一样,支持2K。设备驱动通过map_queue维护Software Queues和Hardware Queues之间的对接关系。
  • 需要强调一点,Hardware Queues与Software Queues的数目不一定相等,上图1:1 Mapping的情况属于最理想的情况。

在实际应用中,blk-mq架构可以显著地提高系统的并发性和响应性。通过支持多个I/O调度队列,它可以更好地处理不同优先级的I/O请求,并根据不同的I/O负载情况和系统配置进行调优和优化,以获得更好的性能和响应性。

blk-mq的映射关系是指将软件队列(software queue)映射到硬件派发队列(hardware dispatch queue)的机制。这种映射关系是通过固定的映射关系来实现的。

在blk-mq架构中,每个硬件队列都对应一个或多个软件队列,这个对应关系是在驱动初始化时通过配置来设定的。通常情况下,每个硬件队列会对应多个软件队列,这种映射关系可以避免请求队列锁竞争和远端内存访问问题,从而提高Block Layer的IOPS吞吐量。

当用例空间向块设备执行IO操作时,BLK-MQ会存储和管理这些IO请求,并在用户空间、文件系统和块设备驱动程序之间扮演中间件的角色。BLK-MQ通过软件阶段队列和硬件分配队列来实现请求的调度和管理。当请求到达块设备层时,它将会尝试最短路径,即直接发送到硬件队列。

然而,存在两种情况不会这样做:

一是存在IO调度器则不能这样做;

二是如果我们想让请求合并也不行这样做。

这两个情况下请求将会被发送到软件队列。在软件队列中的请求处理之后,它将被放到硬件队列,后面即是硬件直接访问硬件处理这些请求。

blk-mq的映射关系解决了blk-sq架构中请求队列锁竞争和远端内存访问问题,极大的提高了Block Layer的IOPS吞吐量。同时,通过将软件队列映射到硬件派发队列,可以更好地处理不同优先级的I/O请求,并根据不同的I/O负载情况和系统配置进行调优和优化,以获得更好的性能和响应性。