2五、写一个USB摄像头驱动程序(有ioctrl分析)

videobuf2-core.h中的vb2_buffer,记录了v4l2_buffer ,驱动能够对vb2_buffer的v4l2_buffer进行操控,
 
vb2_buffer是v4l2框架层的代码,而v4l2_buffer也是用户空间的应用程序,能够读取的一个数据结构。

在reqbuf的时候把每一个vb2_buffer会放入vb2_queue中,经过vb2_buffer的index在数组中保存

uvc_init -> uvc_driver.cgit

    usb_register ->    //注册到usb core
        uvc_probe ->    //摄像头插入,枚举成功后被调用
            uvc_parse_control -> //解析除了四大类描述符以外的全部描述符,四大类描述符在usb枚举的时候已经解析过了.
                uvc_parse_vendor_control    //解析vendor-specific控制描述符,这里貌似只有Logitech厂商的.
                uvc_parse_standard_control ->    //包括VS, 全部的entities,好比IT,OT,PU,SU等, Unit和Terminal会添加到uvc_device的entities链表.
                    uvc_parse_streaming    -> //先解析VC HEADER,即Class-Specific VC Interface Descriptor
                    //, 里面会包含VC的总长度,当前版本,以及有几个VS, 而后循环调用uvc_parse_streaming解析VS.
                    //包括VS HEADER, frame, format等, 主要填充uvc_streaming结构体.最终被添加到uvc_device的streams链表.
                        uvc_parse_format    //解析format描述符.
            v4l2_device_register    //注册成为标准的v4l2 device,对于Camera HAL来讲,uvc和通常camera是同样的行为.
            uvc_ctrl_init_device ->    //根据前面获得的不一样的entities相关信息都放到struct uvc_control中管理.
                uvc_ctrl_init_ctrl    //从硬件获得的CTRL和代码中原先的配置和mappming作匹配,而后添加到uvc_device中.
            uvc_scan_device     -> //针对不是OT的entities建立struct uvc_video_chain并绑定起来.
                uvc_scan_chain    //entity和video chain绑定.
                list_add_tail    //添加到uvc device中管理.
            uvc_register_chains ->    根据前面获得的chain后进行注册
                uvc_register_terms ->    //只有type是UVC_TT_STREAMING的才能注册,也就是说一个stream对应注册一个video.
                    uvc_register_video ->    
                        uvc_video_init
                            uvc_queue_init    //video buffer queue初始化
                   uvc_queue_init(&stream->queue, stream->type, !uvc_no_drop_param);//设置queue的各个操做函数,会在reqsbuf时候用来分配buf
                            usb_set_interface
                 video_set_drvdata(vdev, stream);//很是重要:这里把stream和video_device真的关联起来,open的时候找到这个会根据设备号找到video_device,在找到stream,这个结构体来ioctrl中都会被用到
                            uvc_get_video_ctrl    //把设备的配置做为stream control的默认参数.
                        video_device_alloc
                        video_register_device    //注册的v4l2 device对应的ops是uvc_fops
            uvc_status_init    //USB input/urb相关内容初始化
                uvc_input_init    -> //camera是做为一个input设备存在的.
                    input_allocate_device
                    input_register_device
                usb_alloc_urb
                usb_rcvintpipe        //建立接收中断endpoint.
                usb_fill_int_urb    //urb填充

1.构造一个usb_driver
2.设置
  probe:
    2.1. 分配video_device:video_device_alloc
    2.2. 设置
      .fops
      .ioctl_ops (里面须要设置11项)
      若是要用内核提供的缓冲区操做函数,还须要构造一个videobuf_queue_ops
    2.3. 注册: video_register_device
  id_table: 表示支持哪些USB设备
3.注册: usb_register数组

注册成功后,当usb设备插入时致使hub_irq被调用,会唤醒休眠的线程,线程中执行hub_event函数,会分配设置usb_device,组成设备的时候调用总线的match函数去匹配id_table,复合时调用driver的probe函数,uvc_driver驱动在probe函数中会顶层是uvc_device结构体,里面的steams链表保存VideoStreamingInterfaces接口,entities和chains保存VideoControlInterfaces接口,二者都在uvc_parse_control(解析除了四大类描述符以外的全部描述符,四大类描述符在usb枚举的时候已经解析过了.)函数中被挂接各个结构体,chains链表上挂接uvc_video_chain结构体,其与entities中每一个entity相关联,steams链表挂接uvc_device里的streams链表上,在streams这个结构体里面有当前接口的format格式和frame以及struct uvc_video_queue queue结构体,其有个vb2_queue,里面有缓冲区地址和长度信息,还有各个函数用来分配buf(具体见上面代码分析)

(UVC规格,通常即插即用的USB摄像头都复合该规则)
UVC: USB Video Class
UVC驱动:drivers\media\video\uvc\缓存

uvc_driver.c分析:
1. usb_register(&uvc_driver.driver);
2. uvc_probe
   uvc_register_video数据结构

    uvc_video_initapp

      uvc_queue_init//初始化队列,提供操做队列的函数
    vdev = video_device_alloc();
    vdev->fops = &uvc_fops;
    video_register_device框架

在www.usb.org下载 uvc specification,
UVC 1.5 Class specification.pdf : 有详细描述
USB_Video_Example 1.5.pdf : 有示例ide

基于嵌入式Linux的视频采集系统---UVC驱动模型介绍 - BEYOND ME - BEYOND ME

经过VideoControl Interface来控制,通常只有一个
经过VideoStreaming Interface来读视频数据,通常有一个或者多个
VC里含有多个Unit/Terminal等功能模块,能够经过访问这些模块进行控制,好比调亮度函数

SU:select Unit  PU:process Unnit,还有一些其余Unit,能够从UVC 1.5 Class specification.pdf中看到this

IT:input terminal CT:Camera Terminal OT:out terminalspa

Terminal用于‘内‘’外’连接,Unit是里面的功能模块

Terminal和Unit在代码中被统称为entity

PU用于控制图像的属性
分析UVC驱动调用过程:
const struct v4l2_file_operations uvc_fops = {
  .owner = THIS_MODULE,
  .open = uvc_v4l2_open,
  .release = uvc_v4l2_release,
  .ioctl = uvc_v4l2_ioctl,
  .read = uvc_v4l2_read,
  .mmap = uvc_v4l2_mmap,
  .poll = uvc_v4l2_poll,
};

1. open:
  uvc_v4l2_open

    stream = video_drvdata(file);

      video_get_drvdata(video_devdata(file));//video_devdata(file)就是找到的video_device

        dev->p->driver_data  //返回的就是streams,p是device_private指针

(uvc_v4l2_ioctl->video_usercopy->uvc_v4l2_do_ioctl(这个函数在video_usercopy的参数中被使用))
2. VIDIOC_QUERYCAP // video->streaming->type 应该是在设备被枚举时分析描述符时设置的
  if (video->streaming->type == V4L2_BUF_TYPE_VIDEO_CAPTURE)
    cap->capabilities = V4L2_CAP_VIDEO_CAPTURE |  V4L2_CAP_STREAMING;
  else
    cap->capabilities = V4L2_CAP_VIDEO_OUTPUT | V4L2_CAP_STREAMING;
3. VIDIOC_ENUM_FMT // format数组应是在设备被枚举时设置的
  format = &video->streaming->format[fmt->index];(video->streaming能够理解为上图中的VideoStreaming Interface)
4. VIDIOC_G_FMT
  uvc_v4l2_get_format // USB摄像头支持多种格式fromat, 每种格式下有多种frame(好比分辨率)
    struct uvc_format *format = video->streaming->cur_format;(cur_format应是在设备被枚举时设置的)
    struct uvc_frame *frame = video->streaming->cur_frame;
5. VIDIOC_TRY_FMT
  uvc_v4l2_try_format
    /* Check if the hardware supports the requested format. */找到是否支持format

    /* Find the closest image size. The distance between image sizes is//找到接近的frame
    * the size in pixels of the non-overlapping regions between the
    * requested size and the frame-specified size.
    */
6. VIDIOC_S_FMT // 只是把参数保存起来,尚未发给USB摄像头
  uvc_v4l2_set_format
    uvc_v4l2_try_format
      streaming->cur_format = format;
      streaming->cur_frame = frame;
7. VIDIOC_REQBUFS //仅分配了vb2_buffer的大小,存数据的buf没有分配(应该是分配了,这里写没有分配应该是受到分析vivi时的影响,能够参考第七课咱们本身写的uvc驱动程序)

           //同时,这里会调用queue的alloc函数给全部的planes分配空间,,后面mmap会经过__find_plane_by_offset函数负责根据用户空间提供的offset来找到对应的struct vb2_buffer *vb,对于V4L2_BUF_TYPE_VIDEO_CAPTURE_MPLANE类型的视频捕获设备num_planes能够理解为缓冲buffer由多少个plane组成,其vb->v4l2_buf.length = num_planes;,视频数据应该真正存放在planes中,由vb2_buffer中的planes数组来保存,并经过__vb2_buf_mem_alloc给其分配空间,每一个planes的大小保存在vb2_queue中,而且会保存在v4l2_planes中(对于非Capture_Mplane设备,缓冲buffer的length和offset都保存在vb2_buffer中的v4l2_planes[0]中,不然每一个v4l2_buffer的m枚举变量是v4l2_plane指针,在querybuf的时候直接把v4l2_planes复制给m中的v4l2_plane指针planes)
  (非plane视频捕获设备中planes的个数能理解为1个?)

  

  ret = call_qop(q, queue_setup, q, &create->format, &num_buffers,&num_planes, q->plane_sizes, q->alloc_ctx);在该函数中调用队列的queue_setup来设置num_buffers、num_planesplane_sizes

    if (*nbuffers > UVC_MAX_VIDEO_BUFFERS)
      *nbuffers = UVC_MAX_VIDEO_BUFFERS;

    *nplanes = 1;

    sizes[0] = stream->ctrl.dwMaxVideoFrameSize;

    //及每一个buf大小为一帧数据组成,每一个buf由一个plane组成

 

  ret = __vb2_queue_alloc(q, create->memory, num_buffers,num_planes);

    for (buffer = 0; buffer < num_buffers; ++buffer)

      vb->vb2_queue = q;
      vb->num_planes = num_planes;
      vb->v4l2_buf.index = q->num_buffers + buffer;
      vb->v4l2_buf.type = q->type;
      vb->v4l2_buf.memory = memory;

      ret = __vb2_buf_mem_alloc(vb);

        for (plane = 0; plane < vb->num_planes; ++plane) {
          mem_priv = call_memop(q, alloc, q->alloc_ctx[plane],q->plane_sizes[plane]);

          /* Associate allocator private data with this plane */
          vb->planes[plane].mem_priv = mem_priv;
          vb->v4l2_planes[plane].length = q->plane_sizes[plane];
        }

      q->bufs[q->num_buffers + buffer] = vb;//vb2_queue(q)的vb2_buffer(bufs)里面保存视频数据,地址在vb2_buffer的planes.mem_priv

vb2_queue结构体的plane_sizes[0]保存有buf的大小

    


    for (; nbuffers > 0; --nbuffers) {
      mem = vmalloc_32(nbuffers * bufsize);
      if (mem != NULL)
        break;
      }
8. VIDIOC_QUERYBUF
    uvc_query_buffer
      __uvc_query_buffer
      memcpy(v4l2_buf, &buf->buf, sizeof *v4l2_buf); // 复制参数
9. mmap
  uvc_v4l2_mmap(3.4.2的内核在vb2的planes[plane].mem_priv中指定buf大小,mmap的时候已经将内核数据地址映射到用户空间,因此数据不用拷贝会去,可是若是视频数据是压缩格式,其每一帧的长度不同,在dqbuf的时候须要把buf拷贝回去,里面有长度等信息)

  (有效数据存在哪里?
解码前的和解码后的,都在vb->planes[plane].mem_priv里面,这个mem_priv是struct vb2_dc_buf ,里面记录了这块DMA内存的虚拟地址和物理地址,都是在vidioc_reqbufs----vb2_reqbufs----__vb2_queue_alloc(挂到q->bufs)---__vb2_buf_mem_alloc---- call_memop(q, alloc, q->alloc_ctx[plane]---------vb2_dma_contig_alloc的时候记录好的,经过buf->vaddr = dma_alloc_coherent)

//__find_plane_by_offset函数负责根据用户空间提供的offset来找到对应的struct vb2_buffer *vb,而后直接调用remap_vmalloc_range函数,将vmalloc空间的内存直接映射到用户空间中去,用户空间的地址范围在(vma->vm_start,vma->vm_end)。

10. VIDIOC_QBUF
  uvc_queue_buffer
    list_add_tail(&buf->stream, &queue->mainqueue);
    list_add_tail(&buf->queue, &queue->irqqueue);

  3.4.2的内核中

  uvc_queue_buffer

    vb2_qbuf

      vb = q->bufs[b->index];//根据index取出vb2_buffer

      __buf_prepare

        uvc_buffer_prepare

      list_add_tail(&vb->queued_entry, &q->queued_list); 

      另一个done_list在urb的传输完成函数uvc_video_complete中调用,及有数据的时候才将buf放入done_list队列

      uvc_video_complete  //这个函数是在streamOn的时候注册的回调函数

        stream->decode(urb, stream, buf);//就是uvc_video_decode_isoc(实时端点)/uvc_video_encode_bulk

              uvc_video_decode_isoc

            uvc_video_decode_data//把urb里面的数据复制到uvc_buffer结构体中的vb2_buffer中的v4l2_buffer中

            uvc_queue_next_buffer//把vb2_buffer根据其内done_entry链表固然到vb2_queue的done_list中

              vb2_buffer_done

                list_add_tail(&vb->done_entry, &q->done_list);  

                wake_up(&q->done_wq); 

11. VIDIOC_STREAMON//驱动中,会将以前经过协商设置的参数(图像格式(yuv,mjpeg,h264等),宽,高,帧率等)经过commit命令(VS_COMMIT_CONTROL )发送到设备,让其生效,并开始工做。在分配和初始bulk/iso 的urb后(包括设置urb的完成回调函数,回调函数在收到完整urb包的时候会被调用,对于实时端点,一个urb包包含多个iso包),最后调用usb_submit_urb函数,将这个urb提交到usb hcd驱动核心的urb传输队列中。这样urb就能够开始收usb控制器接收到的视频数据料。

/* 1. 向USB摄像头设置参数: 好比使用哪一个format, 使用这个format下的哪一个frame(分辨率) 
* 参考: uvc_set_video_ctrl / uvc_get_video_ctrl
* 1.1 根据一个结构体uvc_streaming_control设置数据包: 能够手工uvc_set_video_ctrl 设置,也能够uvc_get_video_ctrl读出后再修改
* 1.2 调用usb_control_msg发出数据包

说明:,usb 2.0规范里面指出,全部的usb设备都会响应主机的一些请求,这些请求必须来自主机,经过设备的默认控制管道发出.(即0号端点所对应的那个管道)这些请求,或者说这些request,是经过控制传输来实现的,请求以及请求所需的参数都是经过setup packet来发送的.主机负责创建好这个setup packet.(也就是我们刚才的那个usb_ctrlrequest,后来的setup_packet.)每一个setup packet包含8个bytes

usb_ctrlrequest分析:

 byte0: bmRequestType

  D7: 控制传输数据传输的方向,0表示方向为主机到设备,1表示方向为设备到主机.(有时控制传输除了发命令阶段之外,可能还有数据传输阶段,此处表示的是在数据传输那个阶段的传输方向.)

  D6...5: 请求的类型,0称为标准类型(Standard),1称为Class,2称为Vendor,3则是保留的,不能使用.

  D4...0: 接收者,0表示设备,1表示接口,2表示端点,3表示其它,4...31都是保留的,不能使用

  byte1: bRequest,1个byte,指定了是哪一个请求.每个请求都有一个编号,我们这里是GET MAX LUN,其编号是FEh.

  byte2...3: wValue,2个bytes,不一样请求有不一样的值,我们这里刚才已经说了,必须为0.

  byte4...5: wIndex,2个bytes,不一样请求有不一样的值,我们这里要求被设置为是interface number.

  byte6...7: wLength,2个bytes,若是接下来有数据传输阶段,则这个值表征了数据传输阶段传输多少个bytes

 

控制信号的数据data其实就是uvc_streaming_control结构体

/


  uvc_video_enable(video, 1) // 把所设置的参数发给硬件,而后启动摄像头,经过dev的端点0与uvc设备通信
    /* Commit the streaming parameters. */
    uvc_commit_video
      uvc_set_video_ctrl /* 设置格式fromat, frame,这些帧格式都是经过与VS通信设置的,控制信号使用usb_fill_control_urb来填充,其中cmd是usb_ctrlrequest结构体其,只有图像的亮度等属性是与VC通信设置,先try,仅设置部分参数,发给USB设备后,其若是支持就会补齐剩下的参数(但在组织urb的时候那个cmd仍是要完整),接着get,最后set */
        ret = __uvc_query_ctrl(video->dev /* 哪个USB设备 */, SET_CUR, 0,
                   video->streaming->intfnum /* 哪个接口: VideoStreaming ,intfnum 的值在probe中被赋值intf->cur_altsetting->desc.bInterfaceNumber,在咱们写的驱动中,是识别streaming的时候赋值*/,
                  probe ? VS_PROBE_CONTROL : VS_COMMIT_CONTROL, data, size,//VS_PROBE_CONTROL 表示尝试,VS_COMMIT_CONTROL表示设置
                  uvc_timeout_param);

    /* 启动:Initialize isochronous/bulk URBs and allocate transfer buffers. */
    uvc_init_video(video, GFP_KERNEL);///* d. 设置VideoStreaming Interface所使用的setting(setting值的是接口的设置,一个接口有多个设置)

                        * d.1 从myuvc_params肯定带宽,myuvc_params是在uvc_commit_video设置参数的时候传入的结构体里面dwMaxPayloadTransferSize通常在set以前会try和get,能够看咱们本身写的驱动
                        * d.2 根据setting的endpoint能传输的wMaxPacketSize
                        * 找到能知足该带宽的setting

                        代码是if (intf->num_altsetting > 1){}

                      e、分配设置URB(分配了多个urb_buffer和urb用于接受数据,urb_buffer是一帧的大小,包含多个数据包,即一帧数据是分几回传输的

                      f、提交URB以接收数据
      uvc_init_video_isoc / uvc_init_video_bulk(会初始化接受数据urb,通信端点根据描述符获取)

        //注意3.4.2的内核complete与下面分析的略有不一样,见上面qbuf中的分析
        urb->complete = uvc_video_complete; (收到数据后此函数被调用,它又执行下面代码唤醒在poll中休眠的进程

              buf = list_first_entry(&queue->irqqueue, struct uvc_buffer,queue);//从irqqueue中取出队列,数据在mainqueue中在取出,数据会保存在buf中,在咱们本身写的例子中buf的地址等于buf->buf.m.offset + buf->buf.bytesused(这个buf已经被用了多少byte,通常是0)+数据buf的首地址,也就是说数据buf在reqbuf时也分配了,那么以前的博客中说数据buf在在mmap的时候才分配,在reqbuf的时候只分配了vb2_buf是有问题的,应该是vivi虚拟摄像头中是这样作的,但咱们的真实UVC是在reqbuf时分配了数据buf的地址,3.4.2的内核数据不在queue队列中,而是在done_list中

//3.4.2的内核是stream->decode,其是在uvc_driver.c中的probe函数中的uvc_register_video下的uvc_video_init中设置的

              video->decode(urb, video, buf); ==>uvc_video_decode_isoc(实时端点)/uvc_video_encode_bulk(批量端点) =>uvc_queue_next_buffer => wake_up(&buf->wait);)

                              uvc_video_decode_isoc

                                mem = urb->transfer_buffer + urb->iso_frame_desc[i].offset;//mem是源

                                //下面两行的代码是从第七课本身写uvc驱动中复制过来的,应该在uvc_video_decode_data代码中处理目的和长度

                                dest = myuvc_queue.mem + buf->buf.m.offset + buf->buf.bytesused;

                                len = urb->iso_frame_desc[i].actual_length;

                                uvc_video_decode_start//对源数据格式进行判断

                                uvc_video_decode_data//从urb中复制数据到缓存buf中去,即从mem到dest,len应该减去head头部

              //decode在uvc_video_init中被设置

      usb_submit_urb
12. poll
  uvc_v4l2_poll
    uvc_queue_poll
      poll_wait(file, &buf->wait, wait); // 休眠等待有数据

      3.4.2的内核poll_wait(file, &q->done_wq, wait);// 休眠等待有数据,在uvc_video_complete  的时候wake_up(&q->done_wq)

13. VIDIOC_DQBUF
    uvc_dequeue_buffer
      list_del(&buf->stream);

      3.4.2的内核

      __vb2_get_done_vb

        *vb = list_first_entry(&q->done_list, struct vb2_buffer, done_entry);//vb是vb2_buffer结构体,存放有数据
        list_del(&(*vb)->done_entry);

      list_del(&vb->queued_entry);

14. VIDIOC_STREAMOFF
    uvc_video_enable(video, 0);
        usb_kill_urb(urb);
          usb_free_urb(urb);

分析设置亮度过程:
ioctl: VIDIOC_S_CTRL
    uvc_ctrl_set(设置)
    uvc_ctrl_commit(提交)
      __uvc_ctrl_commit(video, 0);
        uvc_ctrl_commit_entity(video->dev, entity, rollback);
          ret = uvc_query_ctrl(dev /* 哪个USB设备 */, SET_CUR, ctrl->entity->id /* 哪个unit/terminal */,
                    dev->intfnum /* 哪个接口: VideoControl interface */, ctrl->info->selector,
                    uvc_ctrl_data(ctrl, UVC_CTRL_DATA_CURRENT),
                    ctrl->info->size);


总结:
1. UVC设备有2个interface: VideoControl Interface, VideoStreaming Interface
2. VideoControl Interface用于控制,好比设置亮度。它内部有多个Unit/Terminal(在程序里Unit/Terminal都称为entity)
能够经过相似的函数来访问:
  ret = uvc_query_ctrl(dev /* 哪个USB设备 */, SET_CUR, ctrl->entity->id /* 哪个unit/terminal */,
      dev->intfnum /* 哪个接口: VC interface */, ctrl->info->selector,
      uvc_ctrl_data(ctrl, UVC_CTRL_DATA_CURRENT),
      ctrl->info->size);
3. VideoStreaming Interface用于得到视频数据,也能够用来选择fromat/frame(VS可能有多种format, 一个format支持多种frame, frame用来表示分辨率等信息)
能够经过相似的函数来访问:
  ret = __uvc_query_ctrl(video->dev /* 哪个USB设备 */, SET_CUR, 0,
      video->streaming->intfnum /* 哪个接口: VS */,
      probe ? VS_PROBE_CONTROL : VS_COMMIT_CONTROL, data, size,
      uvc_timeout_param);
4. 咱们在设置FORMAT时只是简单的使用video->streaming->format[fmt->index]等数据,
这些数据哪来的?
应是设备被枚举时设置的,也就是分析它的描述符时设置的。

5. UVC驱动的重点在于:
描述符的分析
属性的控制: 经过VideoControl Interface来设置
格式的选择:经过VideoStreaming Interface来设置
数据的得到:经过VideoStreaming Interface的URB来得到

相关文章
相关标签/搜索