如何在视频中的对象后面添加图像

做者|PRATEEK JOSHI 编译|VK 来源|Analytics Vidhya

概述

• 在运动物体后面添加图像是一个典型的计算机视觉项目

• 了解如何使用传统的计算机视觉技术在视频中添加logo

介绍

个人一位同事向我提出了一个挑战——创建一个计算机视觉模型，能够在视频中插入任何图像，而不会扭曲移动的物体。

如你所想，这是一个很是有趣的项目。

众所周知，处理视频是很困难的，由于它们是动态的。与图像不一样，咱们没有能够轻易识别和跟踪的静态对象。复杂性水平上升了好几个层次——这就须要咱们对图像处理技术和计算机视觉技术的把握。

我决定在背景上加个logo。我稍后将详细说明的挑战是，在任何给定视频中插入一个不会妨碍对象动态特性的logo。

我使用Python和OpenCV构建了这个计算机视觉系统，并在本文中分享了个人方法。

目录

• 理解问题陈述

• 获取此项目的数据

• 为咱们的计算机视觉项目制定蓝图

• 在Python中实现这项技术——让咱们添加logo！

理解问题陈述

这将是一个很是罕见的计算机视觉使用案例。咱们将在视频中嵌入一个logo。如今你必定在想-那有什么大不了的？咱们能够简单地把标志贴在视频上，对吧？

然而，这个标志可能只是隐藏了一些有趣的动做在视频中。若是标志妨碍了前面的移动物体怎么办？这会看起来很low。

所以，咱们必须弄清楚如何在背景中的某个地方添加logo，这样就不会阻止视频中正在进行的主要操做。

下面的视频-左半部分是原始视频，右半部分的logo出如今舞者身后的墙上：

视频：https://youtu.be/L9KsuvO0VMs

这是咱们将在本文中实现的想法。

获取此项目的数据

我从pexels.com网站，一个免费的股票视频网站。如前所述，咱们的目标是在视频中放置一个标志，使其出如今某个移动对象的后面。

因此，目前，咱们将使用OpenCV自己的标志。你可使用任何你想要的标志（也许你最喜欢的运动队？）。

你能够从这里下载视频和logo。

https://drive.google.com/file/d/1mXJtJOMTZYm-W6rQavdclbBUEuj3JL4v/view?usp=sharing

为咱们的计算机视觉项目制定蓝图

在实施这个项目以前，咱们先了解一下这个方法。要执行此任务，咱们将借助图像掩码。让我给你看一些插图来了解这项技术。

假设咱们要在图像（图2）中放置一个矩形（图1），使第二个图像中的圆出如今矩形的顶部：

因此，指望的结果应该是这样的：

然而，这并非那么简单。当咱们从图1中选取矩形并将其插入图2中时，它将出如今粉色圆圈的顶部：

这不是咱们想要的。圆圈应该在矩形的前面。因此，让咱们了解如何解决这个问题。

这些图像本质上是数组。这些数组的值是像素值，每种颜色都有本身的像素值。

所以，咱们能够将矩形的像素值设置为1，在这里它应该与圆重叠（在图5中），同时保持矩形的其他像素值不变。

在图6中，蓝色虚线包围的区域是咱们放置矩形的区域。让咱们用R来表示这个区域。咱们也将R的全部像素值设置为1。可是，咱们将保持整个粉色圆圈的像素值不变：

咱们的下一步是将矩形的像素值与R的像素值相乘。由于任何数字乘以1都会获得该数字自己，因此全部R的像素值都将被矩形的像素替换。

相似地，矩形的像素值1将被图6的像素替换。最终的结果是这样的：

这是咱们将要使用的技术，将OpenCV标志嵌入到视频中背后的原理。咱们来吧！

在Python中实现这项技术

你可使用Jupyter笔记本或任何你选择的IDE，而后继续。咱们将首先导入必要的库。

导入库

import cv2
import re
import os
import random
import numpy as np
import matplotlib.pyplot as plt
from os.path import isfile, join

注意：本教程使用的OpenCV库版本是4.0.0。

加载图像

接下来，咱们将指定保存logo和视频的工做目录的路径。请注意，你应该在下面的代码片断中指定“path”：

# 指定工做目录的路径
path = ".../"

# 读取logo图像
logo = cv2.imread(path+"opencv_logo.png")

# 阅读视频的第一帧
cap = cv2.VideoCapture(path+"Pexels Videos 2675513.mp4")
ret, frame = cap.read()

因此，咱们已经加载了logo图像和视频的第一帧。如今让咱们看看这些图像或数组的形状：

logo.shape, frame.shape

输出：((240, 195, 3), (1080, 1920, 3))

两个输出都是三维的。第一个维度是图像的高度，第二个维度是图像的宽度，第三个维度是图像中的通道数，即蓝色、绿色和红色。

如今，让咱们绘制并查看logo和视频的第一帧：

plt.imshow(logo)
plt.show()

plt.imshow(cv2.cvtColor(frame,cv2.COLOR_BGR2RGB))
plt.show()

图像掩码技术

框架尺寸比logo大得多。所以，咱们能够把logo放在许多地方。

然而，把logo放在画面的中心对我来讲彷佛是完美的，由于大部分的动做都会发生在视频中的那个区域。所以，咱们将把logo放入框架中，以下所示：

不用担忧标志中的黑色背景。咱们将在稍后的代码中将黑色区域中的像素值设置为1。如今咱们要解决的问题是处理移动物体出如今咱们放置标志的同一区域。

如前所述，咱们须要使logo容许本身被移动对象遮挡。

如今，咱们将在其中放置logo的区域具备普遍的像素值。理想状况下，此区域中的全部像素值都应相同。那咱们怎么作呢？

咱们必须使绿色虚线框包围的墙像素具备相同的值。咱们能够借助HSV（色调、饱和度、值）颜色空间来完成此操做：

咱们的图像是在RGB色彩空间。咱们将把它转换成HSV图像。下图是HSV版本：

下一步是仅查找绿色虚线框内零件的HSV值范围。结果显示框中的大多数像素的范围从[6，10，68]到[30，36，122]。它们分别是HSV的上下范围。

如今使用这个HSV值范围，咱们能够建立一个二进制掩码。此掩码只是像素值为0或255的图像。所以，在HSV值的上下范围内的像素将等于255，其他像素将为0。

下面是根据HSV图像准备的掩码。黄色区域中的全部像素的像素值为255，其他像素值为0：

如今，咱们能够根据须要轻松地将绿色虚线框内的像素值设置为1。让咱们回到代码：

# HSV的范围
lower = np.array([6,10,68])
upper = np.array([30,36,122])

# 为图像建立核
kernel = np.ones((3,3),np.uint8)

# 每次运行如下while循环时，执行下面的两行
cap = cv2.VideoCapture(path+"Pexels Videos 2675513.mp4")
cnt = 0

# 循环加载、预处理和显示帧
while(True):
    ret, f = cap.read()
    
    # 提取咱们将放置logo的区域
    # 此区域的尺寸应与logo的尺寸相匹配
    mini_frame = f[500:740,875:1070,:]
    
    # 建立 HSV 图像
    hsv = cv2.cvtColor(f, cv2.COLOR_BGR2HSV)
    
    # 建立掩码
    mask = cv2.inRange(hsv, lower, upper)
    
    dil = cv2.dilate(mask,kernel,iterations = 5)
    
    # 建立3个通道
    mini_dil = np.zeros_like(mini_frame)
    mini_dil[:,:,0] = dil[500:740,875:1070]
    mini_dil[:,:,1] = dil[500:740,875:1070]
    mini_dil[:,:,2] = dil[500:740,875:1070]
    
    # 复制logo图像
    logo_copy = logo.copy()
    
    # 当掩码的像素值为0时，将像素值设置为1
    logo_copy[mini_dil == 0] = 1
    
    # 将标识的像素值设置为1，其中标识的像素值为0
    logo_copy[logo == 0] = 1    
    
    # 当logo的像素值不为1时，将像素值设置为1
    mini_frame[logo_copy != 1] = 1
    
    # 合并图像(数组乘法)
    mini_frame = mini_frame*logo_copy
    
    # 在框架中插入logo
    f[500:740,875:1070,:] = mini_frame
    
    # 调整框架的大小(可选)
    f = cv2.resize(f, (480, 270), interpolation = cv2.INTER_AREA)

    # 显示帧
    cv2.imshow('frame', f)
    
    # 保存帧
    # cv2.imwrite(path+'frames/'+str(cnt)+'.png',f)
    cnt+= 1
    
    if cv2.waitKey(20) & 0xFF == ord('q'):
        cv2.destroyAllWindows()
        break

上面的代码片断将从视频中加载帧，对其进行预处理，并建立HSV图像和掩码，最后将logo插入到视频中。你完成了！

结尾

在本文中，咱们介绍了一个很是有趣的计算机视觉用例，并从零开始实现它。在此过程当中，咱们还学习了如何使用图像数组以及如何从这些数组建立掩码。

当你处理其余的计算机视觉任务时，这会对你有所帮助。

原文连接：https://www.analyticsvidhya.com/blog/2020/06/deep-learning-project-image-object-opencv/

欢迎关注磐创AI博客站： http://panchuang.net/

sklearn机器学习中文官方文档： http://sklearn123.com/

欢迎关注磐创博客资源汇总站： http://docs.panchuang.net/