22.Linux-块设备驱动之框架详细分析(详解)

Posted 2020-10-10

本节目的:

　　　　通过分析块设备驱动的框架,知道如何来写驱动

---

 

1.之前我们学的都是字符设备驱动,先来回忆一下

字符设备驱动:

当我们的应用层读写(read()/write())字符设备驱动时,是按字节/字符来读写数据的,期间没有任何缓存区,因为数据量小,不能随机读取数据,例如:按键、LED、鼠标、键盘等

 

2.接下来本节开始学习块设备驱动

块设备:

块设备是i/o设备中的一类, 当我们的应用层对该设备读写时,是按扇区大小来读写数据的,若读写的数据小于扇区的大小,就会需要缓存区, 可以随机读写设备的任意位置处的数据，例如 普通文件(*.txt,*.c等),硬盘,U盘，SD卡,

 

3.块设备结构：

• 段(Segments)：由若干个块组成。是Linux内存管理机制中一个内存页或者内存页的一部分。
• 块  (Blocks)：   由Linux制定对内核或文件系统等数据处理的基本单位。通常由1个或多个扇区组成。（对Linux操作系统而言）
• 扇区(Sectors)：块设备的基本单位。通常在512字节到32768字节之间,默认512字节

 

4.我们以txt文件为例,来简要分析下块设备流程:

比如:当我们要写一个很小的数据到txt文件某个位置时, 由于块设备写的数据是按扇区为单位,但又不能破坏txt文件里其它位置,那么就引入了一个“缓存区”,将所有数据读到缓存区里,然后修改缓存数据,再将整个数据放入txt文件对应的某个扇区中,当我们对txt文件多次写入很小的数据的话，那么就会重复不断地对扇区读出,写入,这样会浪费很多时间在读/写硬盘上,所以内核提供了一个队列的机制,再没有关闭txt文件之前,会将读写请求进行优化，排序，合并等操作，从而提高访问硬盘的效率

(PS:内核中是通过elv_merge()函数实现将队列优化，排序，合并,后面会分析到)

5.接下来开始分析块设备框架

当我们对一个*.txt写入数据时,文件系统会转换为对块设备上扇区的访问,也就是调用ll_rw_block()函数,从这个函数开始就进入了设备层.

5.1先来分析ll_rw_block()函数(/fs/buffer.c):

void ll_rw_block(int rw, int nr, struct buffer_head *bhs[])
//rw:读写标志位,  nr:bhs[]长度,  bhs[]:要读写的数据数组
{
      int i; 
      for (i = 0; i < nr; i++) {
      struct buffer_head *bh = bhs[i];                 //获取nr个buffer_head
       ... ...
       if (rw == WRITE || rw == SWRITE) {
              if (test_clear_buffer_dirty(bh)) {
              ... ...
              submit_bh(WRITE, bh);                //提交WRITE写标志的buffer_head   
　　　　　　　　 continue;
              }}
       else {
              if (!buffer_uptodate(bh)) {
              ... ...
              submit_bh(rw, bh);               //提交其它标志的buffer_head
              continue;
              }}
              unlock_buffer(bh); }
}

 

其中buffer_head结构体,就是我们的缓冲区描述符,存放缓存区的各种信息,结构体如下所示:

struct buffer_head {
    unsigned long b_state; 　　　　　　　　 //缓冲区状态标志 
    struct buffer_head *b_this_page; 　　　//页面中的缓冲区 
    struct page *b_page; 　　　　　　　　　　//存储缓冲区位于哪个页面
    sector_t b_blocknr; 　　　　　　　　　　//逻辑块号
    size_t b_size; 　　　　　　　　　　　　　//块的大小
    char *b_data; 　　　　　　　　　　　　　 //页面中的缓冲区

    struct block_device *b_bdev; 　　　　//块设备,来表示一个独立的磁盘设备

    bh_end_io_t *b_end_io; 　　　　　　　　//I/O完成方法
 
    void *b_private; 　　　　　　　　　　　　//完成方法数据
 
    struct list_head b_assoc_buffers; 　　//相关映射链表

    /* mapping this buffer is associated with */
    struct address_space *b_assoc_map;   
    atomic_t b_count; 　　　　　　　　　　　　//缓冲区使用计数 
};

 

 

5.2然后进入submit_bh()中, submit_bh()函数如下：

int submit_bh(int rw, struct buffer_head * bh)
{
       struct bio *bio;                    //定义一个bio(block input output),也就是块设备i/o
       ... ...
       bio = bio_alloc(GFP_NOIO, 1);      //分配bio
      /*根据buffer_head(bh)构造bio */
       bio->bi_sector = bh->b_blocknr * (bh->b_size >> 9);      //存放逻辑块号
       bio->bi_bdev = bh->b_bdev;                              //存放对应的块设备
       bio->bi_io_vec[0].bv_page = bh->b_page;  　　　　　　　　 //存放缓冲区所在的物理页面
       bio->bi_io_vec[0].bv_len = bh->b_size;       　　　　　　 //存放扇区的大小
       bio->bi_io_vec[0].bv_offset = bh_offset(bh);            //存放扇区中以字节为单位的偏移量

       bio->bi_vcnt = 1;                               　　　　 //计数值
       bio->bi_idx = 0;                                 　　　　//索引值
       bio->bi_size = bh->b_size;                 　　　　　　　　//存放扇区的大小

       bio->bi_end_io = end_bio_bh_io_sync; 　　　　　　　　　　　　//设置i/o回调函数
       bio->bi_private = bh;                        　　　　　　 //指向哪个缓冲区
       ... ...
       submit_bio(rw, bio);            　　　　　　　　　　　　　　 //提交bio
       ... ...
}

 

submit_bh()函数就是通过bh来构造bio,然后调用submit_bio()提交bio

 

5.3 submit_bio()函数如下:

void submit_bio(int rw, struct bio *bio)
{
       ... ...
       generic_make_request(bio);        
}

 

最终调用generic_make_request(),把bio数据提交到相应块设备的请求队列中,generic_make_request()函数主要是实现对bio的提交处理

 

5.4 generic_make_request()函数如下所示:

void generic_make_request(struct bio *bio)
{
 if (current->bio_tail) {                   // current->bio_tail不为空,表示有bio正在提交
              *(current->bio_tail) = bio;     //将当前的bio放到之前的bio->bi_next里面
              bio->bi_next = NULL;    //更新bio->bi_next=0;
              current->bio_tail = &bio->bi_next; //然后将当前的bio->bi_next放到current->bio_tail里,使下次的bio就会放到当前bio->bi_next里面了

              return;    }

BUG_ON(bio->bi_next);
       do {
              current->bio_list = bio->bi_next;
              if (bio->bi_next == NULL)
                     current->bio_tail = &current->bio_list;
              else
                     bio->bi_next = NULL;

              __generic_make_request(bio);           //调用__generic_make_request()提交bio
              bio = current->bio_list;
       } while (bio);
       current->bio_tail = NULL; /* deactivate */
}  

 

从上面的注释和代码分析到,只有当第一次进入generic_make_request()时, current->bio_tail为NULL,才能调用__generic_make_request().

__generic_make_request()首先由bio对应的block_device获取申请队列q，然后要检查对应的设备是不是分区，如果是分区的话要将扇区地址进行重新计算，最后调用q的成员函数make_request_fn完成bio的递交.

5.5 __generic_make_request()函数如下所示:

 static inline void __generic_make_request(struct bio *bio)
{
request_queue_t *q;    
int ret;  
 ... ...
       do {
              q = bdev_get_queue(bio->bi_bdev);  //通过bio->bi_bdev获取申请队列q
              ... ...
              ret = q->make_request_fn(q, bio);             //提交申请队列q和bio
       } while (ret);
}

 

这个q->make_request_fn()又是什么函数？到底做了什么,我们搜索下它在哪里被初始化的

如下图,搜索make_request_fn,它在blk_queue_make_request()函数中被初始化mfn这个参数

 

继续搜索blk_queue_make_request,找到它被谁调用,赋入的mfn参数是什么

如下图,找到它在blk_init_queue_node()函数中被调用

 

最终q->make_request_fn()执行的是__make_request()函数 

 

5.6我们来看看__make_request()函数,对提交的申请队列q和bio做了什么

static int __make_request(request_queue_t *q, struct bio *bio)
{

  struct request *req;          //块设备本身的队列
  ... ...
//(1)将之前的申请队列q和传入的bio,通过排序,合并在本身的req队列中
  el_ret = elv_merge(q, &req, bio);
  ... ...

  init_request_from_bio(req, bio);        //合并失败,单独将bio放入req队列
  add_request(q, req);                  //单独将之前的申请队列q放入req队列
  ... ...
  __generic_unplug_device(q);      //(2) 执行申请队列的处理函数     
 }

1)上面的elv_merge()函数,就是内核中的电梯算法(elevator merge),它就类似我们坐的电梯,通过一个标志,向上或向下, 比如4(in),2(out),5(in),3(out),6(in),1(out),其中in:写入队列,ou:读出队列,最后执行下来,就会排序合并,先写入4,5,6,队列,再读出1,2,3队列

2) 上面的__generic_unplug_device()函数如下:

void __generic_unplug_device(request_queue_t *q)
{      if (unlikely(blk_queue_stopped(q)))
              return;
       if (!blk_remove_plug(q))
              return;
       q->request_fn(q);         
}

最终执行q的成员request_fn()函数, 执行申请队列的处理函数

     

6.本节框架分析总结,如下图所示:

 

 

7.其中q->request_fn是一个request_fn_proc结构体,如下图所示:

 

7.1那这个申请队列q->request_fn又是怎么来的？

我们参考自带的块设备驱动程序drivers\\block\\xd.c

在入口函数中发现有这么一句:

static struct request_queue *xd_queue;             //定义一个申请队列xd_queue

xd_queue = blk_init_queue(do_xd_request, &xd_lock);       //分配一个申请队列

 

其中blk_init_queue()函数原型如下所示:

request_queue *blk_init_queue(request_fn_proc *rfn, spinlock_t *lock);
//  *rfn: request_fn_proc结构体,用来执行申请队列中的处理函数
//  *lock:队列访问权限的自旋锁,该锁需要通过DEFINE_SPINLOCK()函数来声明

 

显然就是将do_xd_request()挂到xd_queue->request_fn里.然后返回这个request_queue队列

 

8.接下来我们就看看drivers\\block\\xd.c的入口函数大概流程,是如何创建块设备驱动的

static DEFINE_SPINLOCK(xd_lock);　　　  //声明一个自旋锁,用到申请队列中
static struct request_queue *xd_queue; //定义一个申请队列xd_queue

static int __init xd_init(void)          //入口函数
{
if (register_blkdev(XT_DISK_MAJOR, "xd"))  //1.创建一个块设备,保存在/proc/devices中
            goto out1;

xd_queue = blk_init_queue(do_xd_request, &xd_lock);  //2.分配一个申请队列,后面会赋给gendisk结构体的queue成员
... ...

for (i = 0; i < xd_drives; i++) {                   
  ... ...
  struct gendisk *disk = alloc_disk(64);  //3.分配一个gendisk结构体, 64:次设备号个数,也称为分区个数

/*    4.接下来设置gendisk结构体        */
  disk->major = XT_DISK_MAJOR;             //设置主设备号
  disk->first_minor = i<<6;                //设置次设备号
  disk->fops = &xd_fops;                   //设置块设备驱动的操作函数
  disk->queue = xd_queue;                  //设置queue申请队列,用于管理该设备IO申请队列
  ... ...

  xd_gendisk[i] = disk;
}

 ... ...
 for (i = 0; i < xd_drives; i++)
  add_disk(xd_gendisk[i]);                                //5.注册gendisk结构体
}

 

其中gendisk(通用磁盘)结构体是用来存储该设备的硬盘信息，包括请求队列、分区链表和块设备操作函数集等,结构体如下所示:

struct gendisk {
  int major;              　　　　　　　　  /*设备主设备号*/
  int first_minor;         　　　　　　　　 /*起始次设备号*/
  int minors;            　　　　　　　　   /*次设备号的数量，也称为分区数量，如果改值为1，表示无法分区*/
  char disk_name[32];    　　　　　　　　　 /*设备名称*/
  struct hd_struct **part;  　　　　　　　　/*分区表的信息*/
  int part_uevent_suppress;
  struct block_device_operations *fops;  /*块设备操作集合 */
  struct request_queue *queue;           /*申请队列，用于管理该设备IO申请队列的指针*/
  void *private_data;                    /*私有数据*/
  sector_t capacity;                     /*扇区数,512字节为1个扇区,描述设备容量*/
  ....
    };

 

9.所以注册一个块设备驱动,需要以下步骤:

1. 创建一个块设备
2. 分配一个申请队列
3. 分配一个gendisk结构体
4. 设置gendisk结构体的成员
5. 注册gendisk结构体

 

未完待续~ ~下节便开始写块设备驱动程序