Python音视频开发：消除抖音短视频Logo和去电视台标

☞ ░ 前往老猿Python博文目录 ░

1、引言

对于带Logo（如抖音Logo、电视台标）的视频，有三种方案进行Logo消除：

1. 直接将对应区域用对应图像替换；
2. 直接将对应区域模糊化；
3. 经过变换将要去除部分进行填充。

其中：
方法1又可使用三种方法，一是使用某固定图像替换、二是截取视频某帧的一部分图像替换、三是用每帧固定区域的图像替换当前帧的Logo区域，其中固定图像替换最简单，下面就不展开介绍；截取视频某帧的一部分图像比较简单，用每帧固定区域的图像替换当前帧的Logo区域最复杂；

方法2能够认为是方法3的特例，即填充值来源于简单计算，如Logo区域像素的均值等，咱们在此不进行介绍。

方法3是以Logo去除后根据原Logo区域附近的图像像素对Logo区域进行插值填充，以确保填充后的图像总体比较协调、完整。

2、须要解决的问题

1. 怎么确认Logo区域？固然是使用鼠标选择确认Logo区域最方便；
2. 使用图像去替换Logo区域时，在鼠标选择过程当中怎么确保替换图像大小与被替换图像大小一致？这个需有将替换图像进行裁剪或填充；
3. 经过变换将要去除部分进行填充时，怎么确保填充值与总体视频比较协调？本文采用根据Logo邻近像素进行插值填充
4. 对于抖音这种在晃动的Logo怎么修复？老猿采用屡次取样Logo区域来修复。

3、背景知识

3.一、OpenCV视频预览方法

能够经过cv2.imshow(winname, img)来显示一个图片，当读取视频文件的帧图片连续显示时就是一个无声的视频播放。其中的参数winname为一个英文字符串，显示为窗口的标题，OpenCV将其做为窗口的名字，做为识别窗口的标识，相同名字的窗口就是同一个窗口。

对于相关窗口，OpenCV提供鼠标及键盘事件处理机制。

3.二、OpenCV-Python的鼠标事件捕获

OpenCV提供了设置鼠标事件回调函数来提供鼠标事件处理的机制，设置回调函数的方法以下：
cv2.setMouseCallback(winName, OnMouseFunction, param)
其中winName为要设置鼠标回调处理的窗口名，OnMouseFunction为回调函数，用于处理鼠标响应，param为设置回调函数时传入的应用相关特定参数，能够不设置，但须要在回调函数访问设置回调函数对象属性时很是有用。

3.三、OpenCV的几何图形绘制

OpenCV提供了在图像中绘制几何图形的方法，绘制的图像包括矩形、椭圆、扇形、弧等。本文主要介绍矩形的绘制，具体调用语法以下：

rectangle(img, pt1, pt2, color, thickness=None, lineType=None, shift=None)

其中参数：

• img：要显示的图像，为numpy数组，格式为BGR格式
• pt1：左上角点的坐标
• pt2：右下角点的坐标
• color：绘制的颜色，为BGR格式的三元组，如(255,0,0)表示蓝色
• thickness：边框的厚度，若是为负数，则该矩形为实心矩形，不然为空心矩形
• linetype：线型，包括4连通、8连通以及抗锯齿线型，使用缺省值便可
• shift：坐标值的精度，为2就表示精确到小数点后2位

另外该方法还有个变种调用方式：
rectangle(img, rec, color[, thickness[, lineType[, shift]]])，其中的rec为上面pt1和pt2构建的矩形。

3.四、Moviepy的视频变换方法

fl_image方法为moviepy音视频剪辑库提供的视频剪辑类VideoClip的视频变换方法，具体请参考《moviepy音视频剪辑：视频剪辑基类VideoClip的属性及方法详解》。

3.五、Python的全局变量传值

在python中可使用全局变量，关于全局变量的使用请参考《 Python函数中的变量及做用域》的介绍。

3.六、OpenCV的图像修复方法

OpenCV中的cv2.inpaint()函数使用插值方法修复图像，调用语法以下：
dst = cv2.inpaint（src，mask, inpaintRadius，flags）
参数含义以下：

• src：输入8位1通道或3通道图像
• inpaintMask：修复掩码，8位1通道图像。非零像素表示须要修复的区域
• dst：输出与src具备相同大小和类型的图像
• inpaintRadius：算法考虑的每一个点的圆形邻域的半径
• flags：修复算法标记，其中INPAINT_NS表示基于Navier-Stokes方法，INPAINT_TELEA表示Alexandru Telea方法。具体方法在此不展开介绍

3.七、OpenCV的颜色空间转换方法

cv2.cvtColor是openCV提供的颜色空间转换函数，调用语法以下：
cvtColor(src, code, dstCn=None)
其中：

• src：要转换的图像
• code：转换代码，表示从何种类型的图像转换为什么种类型，以下面须要使用的cv2.COLOR_BGR2GRAY就是将BGR格式彩色图像转换成灰度图片
• dstCn：目标图像的通道数，若是为0表示根据源图像通道数以及转换代码自动确认

3.八、图像阈值处理

openCV图像的阈值处理又称为二值化，之因此称为二值化，是它能够将一幅图转换为感兴趣的部分（前景）和不感兴趣的部分（背景）。转换时，一般将某个值（即阈值）看成区分处理的标准，一般将超过阈值的像素做为前景。

阈值处理有2种方式，一种是固定阈值方式，又包括多种处理模式，另外一种是非固定阈值，由程序根据算法以及给出的最大阈值计算图像合适的阈值，再用这个阈值进行二值化处理，非固定阈值处理时须要在固定阈值处理基础上叠加组合标记。

调用语法：
retval, dst = cv2.threshold (src, thresh, maxval, type)
其中：

• src：源图像，8位或32位图像的numpy数组
• thresh：阈值，0-255之间的数字，在进行处理时以阈值为边界来设不一样的输出
• maxval：最大阈值，当使用固定阈值方法时为指定阈值，当叠加标记时为容许最大的阈值，算法必须在小于该值范围内计算合适的阈值
• type：处理方式，具体取值及含义以下：
  
• dst：阈值化处理后的结果图像numpy数组，其大小和通道数与源图像相同
• retval：叠加cv2.THRESH_OTSU或cv2.THRESH_TRIANGLE标记后返回真正使用的阈值

案例：

ret, mask = cv2.threshold(img, 35, 255, cv2.THRESH_BINARY|cv2.THRESH_OTSU)

补充说明：

1. 阈值判断时，是以小于等于阈值和大于阈值做为分界条件
2. 若是是32位彩色图像，则是以RGB每一个通道的值单独与阈值进行比较，按每一个通道进行阈值处理，返回的是一个阈值处理后的RGB各自的值

3.八、图像膨胀处理

关于膨胀处理的知识解释有点复杂，请参考《OpenCV-Python学习—形态学处理》以及《Opencv python 锚点anchor位置及borderValue的改变对膨胀腐蚀的影响》。
图像的膨胀处理会使得图像中较亮的区域增大，较暗的区域减少。

4、具体实现

本部分介绍的内容对Logo去除采用了以下四种方式：

1. 使用视频中某帧图像的指定区域内容替换Logo
2. 使用视频中每帧图像的指定区域内容替换当前帧的Logo区域
3. Logo区域采用图像修复
4. 多Logo区域采样图像修复
   其中第四种方法是Logo区域的Logo在视频中为晃动的内容（如抖音的Logo）时须要，若是是静止不变的Logo用第三种方法就够了。

以上四种处理方式，对应的消除Logo方法类型分别为：

ridLogoManner_staticImg = 1
ridLogoManner_frameImg = 2
ridLogoManner_inpaint = 3
ridLogoManner_multiSampleInpaint = 4

4.一、实现思路

为了实现Logo标记的消除，具体步骤以下：

1. 展示视频并设置鼠标回调函数；
2. 识别鼠标动做用鼠标在视频图像中圈定Logo位置；
3. 根据不一样方法确认是否须要选择替换图像；
4. 对视频中的每帧图像进行图像处理。

4.二、实现鼠标回调函数

这是一个比较通用的鼠标回调函数，代码以下：

def OnMouseEvent( event, x, y, flags, param):
    try:
        mouseEvent = param
        mouseEvent.processMouseEvent(event, x, y, flags)

    except Exception as e:
        print("使用回调函数OnMouseEvent的方法错误，全部使用该回调函数处理鼠标事件的对象，必须知足以下条件:")
        print(" 一、必须将自身经过param传入")
        print(" 二、必须定义一个processMouseEvent(self)方法来处理鼠标事件")
        print(e)

全部使用该回调函数处理鼠标事件的对象，必须将自身经过param传入到回调函数中，而且必须定义一个processMouseEvent(self)方法来处理鼠标事件。下面介绍的类CImgMouseEvent就是知足条件的类。

4.三、视频图像展示窗口的鼠标事件处理类

为了支持在视频图像中进行相关操做，须要比较方便的支持并识别鼠标操做的类，在此称为CImgMouseEvent， CImgMouseEvent用于OpenCV显示图像的窗口的鼠标事件处理，会记录下前一次鼠标左键按下或释放的位置以及操做类型，并记录下当前鼠标移动、左键按下或释放事件的信息。

4.3.一、CImgMouseEvent关键属性

• mouseIsPressed：表示鼠标左键当前是否为按下状态
• playPaused：表示当前窗口播放视频（就是连续显示视频的帧）是否暂停状态，当鼠标左键按下时，播放暂停，经过鼠标左键双击或右键点击继续播放
• previousePos、pos：上次和本次鼠标事件的位置
• previousEvent、event：上次和本次鼠标事件的类型
• parent：为建立CImgMouseEvent对象的调用者，该对象必须定义一个processMouseEvent方法，用于当鼠标事件执行时的具体操
• winName:CImgMouseEvent处理鼠标事件所属的窗口名
• img：在窗口中当前显示的图像对象，能够经过showImg显示图像并改变winName、img

以上鼠标事件属性的记录处理都在CImgMouseEvent的方法processMouseEvent中，但processMouseEvent方法仅记录鼠标事件属性，记录后调用父对象的 parent的processMouseEvent方法实现真正的操做

4.3.二、CImgMouseEvent主要方法

• processMouseEvent：鼠标事件回调函数调用该方法记录鼠标事件数据，并由该方法调用父对象的processMouseEvent方法实现真正的操做
• showImg：在窗口winName中显示img图像，并设置鼠标回调函数为OnMouseEvent
• getMouseSelectRange：获取鼠标左键按下位置到当前鼠标移动位置或左键释放位置的对应的矩形以及矩形最后位置的鼠标事件类型，若是无都有操做则返回None
• drawRect：画下当前鼠标事件选择的矩形或参数指定的矩形，通常供父对象调用
• drawEllipse：画下当前鼠标事件选择的矩形或参数指定的矩形的内接椭圆，通常供父对象调用

4.3.三、 CImgMouseEvent类实现代码

class CImgMouseEvent():
    def __init__(self,parent,img=None,winName=None):
        self.img = img
        self.winName = winName
        self.parent = parent
        self.ignoreEvent = [cv2.EVENT_MBUTTONDOWN,cv2.EVENT_MBUTTONUP,cv2.EVENT_MBUTTONDBLCLK,cv2.EVENT_MOUSEWHEEL,cv2.EVENT_MOUSEHWHEEL] #须要忽略的鼠标事件
        self.needRecordEvent = [cv2.EVENT_MOUSEMOVE,cv2.EVENT_LBUTTONDOWN,cv2.EVENT_LBUTTONUP] #须要记录当前信息的鼠标事件
        self.windowCreated = False #窗口是否建立标记
        if img is not None:self.showImg(img,winName)
        self.open(winName)

    def open(self, winName=None):
    #初始化窗口相关属性，通常状况下此时窗口还未建立，所以鼠标回调函数设置不会执行
        if winName:
            if self.winName != winName:
                if self.winName:
                    cv2.destroyWindow(self.winName)
                    self.windowCreated = False
                self.WinName = winName

        self.mouseIsPressed = self.playPaused = False
        self.previousePos = self.pos = self.previousEvent = self.event = self.flags = self.previouseFlags = None
        if self.winName and self.windowCreated : cv2.setMouseCallback(self.winName, OnMouseEvent, self)

    def showImg(self,img,winName=None):
        """ 在窗口winName中显示img图像，并设置鼠标回调函数为OnMouseEvent """
        if not winName:winName = self.winName
        self.img = img
        if winName != self.winName:
            self.winName = winName
            self.open()

        if not self.windowCreated:
            self.windowCreated = True
            cv2.namedWindow(winName)#cv2.WINDOW_NORMAL| cv2.WINDOW_KEEPRATIO | cv2.WINDOW_GUI_EXPANDED
            cv2.setMouseCallback(winName, OnMouseEvent, self)
        cv2.imshow(winName, img)

    def processMouseEvent(self,event, x, y, flags):
        #鼠标回调函数调用该函数处理鼠标事件，包括记录当前事件信息、判断是否记录上次鼠标事件信息、是否暂停视频播放，调用parent.processMouseEvent() 执行响应操做
        #mouseventDict = {cv2.EVENT_MOUSEMOVE:"鼠标移动中",cv2.EVENT_LBUTTONDOWN:"鼠标左键按下",cv2.EVENT_RBUTTONDOWN:"鼠标右键按下",cv2.EVENT_MBUTTONDOWN:"鼠标中键按下",cv2.EVENT_LBUTTONUP:"鼠标左键释放",cv2.EVENT_RBUTTONUP:"鼠标右键释放",cv2.EVENT_MBUTTONUP:"鼠标中键释放",cv2.EVENT_LBUTTONDBLCLK:"鼠标左键双击",cv2.EVENT_RBUTTONDBLCLK:"鼠标右键双击",cv2.EVENT_MBUTTONDBLCLK:"鼠标中键双击",cv2.EVENT_MOUSEWHEEL:"鼠标轮上下滚动",cv2.EVENT_MOUSEHWHEEL:"鼠标轮左右滚动"}
        #print(f"processMouseEvent {mouseventDict[event]} ")

        if event in self.ignoreEvent:return
        if self.event in [cv2.EVENT_LBUTTONDOWN,cv2.EVENT_LBUTTONUP]:#当上次鼠标事件左键按下或释放时，上次信息保存
            self.previousEvent,self.previousePos,self.previouseFlags  = self.event,self.pos,self.flags

        if  event==cv2.EVENT_LBUTTONUP:
            self.mouseIsPressed = False
        elif event == cv2.EVENT_LBUTTONDOWN:
            self.mouseIsPressed = True
            self.playPaused = True
        elif  event in [cv2.EVENT_LBUTTONDBLCLK,cv2.EVENT_RBUTTONDBLCLK,cv2.EVENT_RBUTTONDOWN,cv2.EVENT_RBUTTONUP]:#鼠标右键动做、鼠标双击动做恢复视频播放
            self.playPaused = False 
        if event in self.needRecordEvent:
            self.event,self.flags,self.pos = event,flags,(x,y)

        self.parent.processMouseEvent()  #调用者对象的鼠标处理方法执行

    def getMouseSelectRange(self):
        """ 获取鼠标左键按下位置到当前鼠标移动位置或左键释放位置的对应的矩形以及矩形最后位置的鼠标事件类型 :return: 由鼠标左键按下开始到鼠标左键释放或鼠标当前移动位置的矩形，为None表示当前没有这样的操做 """
        if self.previousEvent is None or self.event is None:
            return None
        if (self.event!=cv2.EVENT_LBUTTONUP)  and (self.event!=cv2.EVENT_MOUSEMOVE): #最近的事件不是鼠标左键释放或鼠标移动
            return None
        if self.pos == self.previousePos:#与上次比位置没有变化
            return None
        if (self.previousEvent== cv2.EVENT_LBUTTONDOWN ) and (self.event==cv2.EVENT_LBUTTONUP): #鼠标左键按下位置到鼠标左键释放位置
            return [self.previousePos,self.pos,cv2.EVENT_LBUTTONUP]
        elif (self.previousEvent== cv2.EVENT_LBUTTONDOWN ) and (self.event==cv2.EVENT_MOUSEMOVE):#鼠标左键按下位置到鼠标当前移动位置
            return [self.previousePos, self.pos, cv2.EVENT_MOUSEMOVE]
        return None

    def drawRect(self,color,specRect=None,filled=False):
        """ :param color: 矩形颜色 :param specRect: 不为None画specRect指定矩形，不然根据鼠标操做来判断 :param filled: 是画实心仍是空心矩形，缺省为空心矩形 :return: 画下的矩形，specRect不为None时是specRect指定矩形，不然根据鼠标操做来判断 """
        if specRect:
            rect = specRect
        else:
            rect = self.getMouseSelectRange()

        if rect:
            img = self.img
            img = self.img.copy()
            if not filled:
                cv2.rectangle(img, rect[0], rect[1], color,1)
            else:
                cv2.rectangle(img, rect[0], rect[1], color,-1)
            cv2.imshow(self.winName, img)
            return rect
        else:
            return None

    def drawEllipse(self, color,specRect=None, filled=False):
        """ :param color: 椭圆颜色 :param specRect: 不为None画specRect指定椭圆，不然根据鼠标操做来判断 :param filled: 是画实心仍是空心椭圆，缺省为空心椭圆 :return: 画下的椭圆对应的外接矩形，specRect不为None时是specRect指定矩形，不然根据鼠标操做来判断 """
        if specRect:
            rect = specRect
        else:
            rect = self.getMouseSelectRange()
        if rect:
            x0, y0 = rect[0]
            x1, y1 = rect[1]
            x = int((x0+x1)/2)
            y = int((y0+y1)/2)
            axes = (int(abs(x1-x0)/2),int(abs(y1-y0)/2))
            img = self.img.copy()
            if not filled:
                cv2.ellipse(img, (x, y),axes, 0,0,360,  color,1)
            else:
                cv2.ellipse(img, (x, y),axes, 0,0,360,  color,-1)
            cv2.imshow(self.winName, img)
            return rect
        else:
            return None

    def close(self):
        cv2.destroyWindow(self.winName)
        self.windowCreated = False

    def __del__(self):
        self.close()

4.四、定义视频图像处理类

CSubVideoImg类用于操做视频及视频的图像，主要用于对一个视频的帧图像进行操做。

4.4.一、CSubVideoImg关键属性

• replaceObject：替换图对象， 类型为四元组，分别对应 replaceImg, replaceRect, targetReplaceImg, frame，用于前两种消除方法，存储选择的替换图像、替换图像区域矩形、按照Logo区域进行替换图像裁剪和填充后的静态替换图像、以及替换图像选择时所在的帧图像
• logoObjectList：列表，1…n个元素（屡次采样Logo区域图像时n大于1），每一个元素是个二元组，每一个二元组表示一个logo图像信息，包括图像的数组以及图像的位置及大小等信息，形如：[(logoImg1,logoRect1),…,(logoImgn,logoRectn)]，除了第四种消除方法，前面三种处理方法都只取最后一个元素使用，即最后选择的Logo图像有
• frameMask:记录下Logo图像掩码的帧，该帧除了Logo图像对应的掩码内容外，其余部分全为0
• multiFrameMask：屡次采样的frameMask叠加

4.4.二、CSubVideoImg主要方法

• processMouseEvent：响应鼠标事件的方法
• drawSelectRange：画出当前鼠标左键选择的范围，目前能够画矩形或椭圆
• setVideoClipRect：按指定帧率播放视频（仅图像），并提供在视频图像中选中某个矩形范围，并在接下来播放中一直显示该矩形，按EsC或q或Q退出
• getROI：在setVideoClipRect基础上返回选中ROI图像、并显示该ROI图像，能够获取视频中的多个ROI区域，选定一个ROI区域后，按N、n、S、s保存当前选择区域，按退出键会保存最后一个区域
• replaceImgRegionBySpecImg：将指定图像的指定位置的一个矩形图像替换为参数指定图像内容
• replaceImgRegionBySpecRange：将指定图像的指定位置的一个矩形范围内的图像替换为该图像内另外一个矩形矩形范围对应的内容
• adjuestImgAccordingRefImg：将指定图像大小调整为参数指定的参考图像的大小，若是指定图像大小超出参考图像则对原图像进行裁剪，不然对指定图像进行扩充
• createImgMask：生成一个图像的掩码图像，采用转换为灰度图像后再进行图像阈值处理后再进行膨胀处理后返回该处理后的图像
• genLogoFrameMask：将Logo图像的掩码图像与视频帧大小的0图像叠加后生成的帧掩码图像
• genMultiLogoFrameMask：将多个Logo图像生成的帧掩码图像叠加生成的帧掩码图像
• convertVideo：将消除Logo图像的视频输出
• previewVideoByReplaceLogo：预览图像替换消除Logo的视频
• previewVideoByInpaintLogo：预览图像修复术消除Logo的视频

4.4.三、CSubVideoImg类实现代码

class CSubVideoImg():
    def __init__(self,videoFName):
        super().__init__()
        self.imgMouseEvent = CImgMouseEvent(self)     #建立鼠标事件处理对象
        self.videoFName = videoFName
        self.exitKeys = [ord('q') ,ord('q'), 27] #视频图像播放时退出键定义，包括q、Q以及ESC
        self.initStatus()

    def initStatus(self):#初始化相关变量，self.rect为记录最后一个鼠标选择框
        self.rect = self.logoObjList = self.replaceObject = self.frameMask = None


    def processMouseEvent(self):#鼠标事件响应函数，将当前选择框显示出来
        self.drawSelectRange() 

    def drawSelectRange(self,specRect=None):
        if specRect:
            rect = self.imgMouseEvent.drawRect((255, 0, 0),specRect)
        else:
            rect = self.imgMouseEvent.drawRect((255, 0, 0))
            if rect: self.rect = rect

    def displayImg(self,winname,img,seconds):
        cv2.imshow(winname, img)
        ch = cv2.waitKey(seconds*1000)
        cv2.destroyWindow(winname)

    def getROI(self, operInfo, fps=24):
        """ 获取视频中的多个ROI区域(即鼠标选择区域)，选定一个ROI区域后，按N、n、S、s保存当前选择区域 按指定帧率播放视频（仅图像），并提供在视频图像中选中某个矩形范围，并在接下来播放中一直显示该矩形，按EsC或q或Q退出 退出后会显示当前选择的ROI图像 :param operInfo: 播放窗口提示信息，也即窗口名，必须是英文 :param fps: 播放的帧率 :return: 返回选择的ROI及对应帧的二元组，相似：（[(rect1,img1),...,(rectn,imgn)],frame)矩形和最后选中操做所在帧的选择图像 """
        frame = None
        cap = cv2.VideoCapture(self.videoFName)
        self.imgMouseEvent.open(operInfo)

        ROIList = []
        saveKeys = [ord('n'), ord('N'), ord('s'), ord('S')]+self.exitKeys #保存和退出键都保存最后一个选择矩阵范围

        self.rect = None
        if not cap.isOpened():
            print("Cannot open video")
            return None

        while True:
            if not self.imgMouseEvent.playPaused: #正在播放
                ret, frame = cap.read()
                if not ret:
                    if frame is None:
                        print("The video has end.")
                    else:
                        print("Read video error!")
                    break
                self.imgMouseEvent.showImg(frame, operInfo)
                self.drawSelectRange(self.rect)

            ch = cv2.waitKey(int(1000 / fps))
            if ch in saveKeys:
                if self.rect is not None:
                    x0, y0 = self.rect[0]
                    x1, y1 = self.rect[1]
                    ROI = frame[y0:y1, x0:x1]
                    ROIList.append((ROI, self.rect))
                    self.rect = None
            if ch in self.exitKeys: break
        # 完成全部操做后，释放捕获器
        if len(ROIList) == 0:
            self.imgMouseEvent.close()
            cap.release()
            return None,None

        self.imgMouseEvent.close()
        cap.release()

        return ROIList, frame

    def replaceImgRegionBySpecImg(self,srcImg,regionTopLeftPos,specImg):
        """ 将srcImg的regionTopLeftPos开始位置的一个矩形图像替换为specImg :return: True 成功，False失败 """
        srcW, srcH = srcImg.shape[1::-1]
        refW, refH = specImg.shape[1::-1]
        x,y =  regionTopLeftPos
        if (refW>srcW) or (refH>srcH):
            #raise ValueError("specImg's size must less than srcImg")
            print(f"specImg's size {specImg.shape[1::-1]} must less than srcImg's size {srcImg.shape[1::-1]}")
            return False
        else:
            srcImg[y:y+refH,x:x+refW] = specImg
            return True

    def replaceImgRegionBySpecRange(self,srcImg,regionTopLeftPos,specRect):
        """ 将srcImg的regionTopLeftPos开始位置的一个矩形图像替换为srcImg内specRect指定的一个矩形范围图像 :return: True 成功，False失败 """
        srcW, srcH = srcImg.shape[1::-1]
        refW, refH = specRect[1][0]-specRect[0][0],specRect[1][1]-specRect[0][1]
        x,y =  regionTopLeftPos
        if (refW>srcW) or (refH>srcH):
            print(f"specImg's size {(refW, refH)} must less than srcImg's size {srcImg.shape[1::-1]}")
            return False
        else:
            srcImg[y:y+refH,x:x+refW] = srcImg[specRect[0][1]:specRect[1][1],specRect[0][0]:specRect[1][0]]
            return True

    def adjuestImgAccordingRefImg(self,img,refimg,color=None):
        """ 按照refimg大小调整img大小，若是是扩充，则采用img边缘像素的镜像复制或指定颜色建立扩充像素 :param img: :param refimg: :param color: :return: """
        srcW,srcH = img.shape[1::-1]
        refW,refH = refimg.shape[1::-1]
        if srcW>refW:
            diff = int((srcW-refW)/2)
            img = img[:,diff:refW+diff]
        if srcH>refH:
            diff = int((srcH - refH) / 2)
            img =img[diff:refH+diff,:]
        srcW, srcH = img.shape[1::-1]
        w = max(srcW,refW)
        h = max(srcH,refH)
        diffW = int((w-srcW)/2)
        diffH = int((h-srcH)/2)
        if color is None:
            dest = cv2.copyMakeBorder(img,diffH,h-srcH-diffH,diffW,w-srcW-diffW,cv2.BORDER_REFLECT_101) #上下左右扩展当前图像
        else:
            dest = cv2.copyMakeBorder(img, diffH,h-srcH-diffH,diffW,w-srcW-diffW, cv2.BORDER_CONSTANT,color)#上下左右扩展当前图像，扩展部分颜色为color
        rectSize = (h,w)
        return dest

    def createImgMask(self, img):
        # 建立img的掩码
        img2gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
        ret, mask = cv2.threshold(img2gray, 35, 255, cv2.THRESH_BINARY) #转为像素值为0和255的二值图，阈值为35

        #对掩码进行膨胀处理
        element = cv2.getStructuringElement(cv2.MORPH_RECT, (3, 3))
        mask = cv2.dilate(mask, element)

        return mask

    def genLogoFrameMask(self,frame,logoObject):
    #将Logo掩码填充到一与视频帧大小相同的全0图像中
        logoImg,logoRect = logoObject
        if logoImg is  None:
            return None
        else:
            logMask = self.createImgMask(logoImg)
            frameMask = np.zeros(frame.shape[0]*frame.shape[1],dtype=np.uint8)
            frameMask = frameMask.reshape(frame.shape[0:2])
            x0,y0 = logoRect[0]
            x1,y1 = logoRect[1]
            frameMask[y0:y1,x0:x1] = logMask
            return frameMask

    def genMultiLogoFrameMask(self, logoObjectList,frame ):
    #将屡次采样的Logo掩码填充到一与视频帧大小相同的全0图像中
        composeFrameMask = None
        for logoObject in logoObjectList:
            frameMask = self.genLogoFrameMask(frame, logoObject)
            if composeFrameMask is None:
                composeFrameMask = frameMask
            else:
                composeFrameMask = cv2.add(composeFrameMask, frameMask)

        return composeFrameMask

    def convertVideo(self,outPutFName,ridLogoManner,logoObjects,replaceObject=None,frameMask=None):
        #生成视频
        global videoImgConvertParams

        if ridLogoManner in [ridLogoManner_staticImg,ridLogoManner_frameImg]:
            if replaceObject is None:
                return False,"替换图像还没有提供，请先选择替换图像"
        else:
            if frameMask is None:
                return False,"替换frameMask还没有提供或未生成,请确保进行了Logo图像的截取操做，请先提供"

        self.frameMask = frameMask
        self.replaceObject = replaceObject
        self.logoObjList  = logoObjects
        self.ridLogoManner = ridLogoManner

        try:
            videoImgConvertParams = self, ridLogoManner
            clipVideo = VideoFileClip(self.videoFName)
            newclip = clipVideo.fl_image(processImg)
            newclip.write_videofile(outPutFName, threads=8)
            clipVideo.close()
            newclip.close()
        except Exception as e:
            return False,f"生成视频时出现异常:\n{e}"
        else:
            return True,f"视频处理完成，生成的视频保存着在文件:{outPutFName}"

    def previewVideoByReplaceLogo(self,fps,logoObjects,replaceObject,ridLogoManner):
        """ 使用替换区域或替换图像替换logo区域后的视频效果预览 fps:fps 用于使用静态图像或同帧图像替换后预览视频使用 :param logoObjects: 二元组：(logoObjectList,FRAME)，实际形如（[(logoImg1,logoRect1),...,(logoImgn,logoRectn)],FRAME) logoObjectList:列表，1...n个元素（只有当采用屡次采样修复算法时才会n大于1），每一个元素是个二元组，每一个二元组表示一个logo图像信息，包括图像的数组以及图像的位置及大小等信息， 形如：[(logoImg1,logoRect1),...,(logoImgn,logoRectn)] Frame：截取Logon图像的帧对应数组，当预览一个帧时可使用 :param replaceObject:四元组(replaceImg, replaceRect,targetReplaceImg frame) :param ridLogoManner:消除logo的方式 :return: """
        global  videoImgConvertParams
        videoImgConvertParams = self,ridLogoManner

        self.frameMask = None
        self.replaceObject = replaceObject
        self.logoObjList = logoObjects
        self.ridLogoManner = ridLogoManner

        cap = cv2.VideoCapture(self.videoFName)

        if not cap.isOpened():
            print("Cannot open video")
            return
        winName = f"video previewing fps={fps}"
        while True:
            ret, frame = cap.read()
            if not ret:
                if frame is None:
                    print("The video has end.")
                else:
                    print("Read video error!")
                break

            frame = processImg(frame)

            cv2.imshow(winName, frame)

            ch = cv2.waitKey(int(1000 / fps))
            if ch in self.exitKeys:  break
        # 完成全部操做后，释放捕获器

        cap.release()
        cv2.destroyWindow(winName)

    def previewVideoByInpaintLogo(self,fps, logoObjects,frameMask, ridLogoManner):
        """ 使用图像修复术对logo区域处理后的视频效果预览 fps:fps :param logoObjects:列表，1...n个元素（当屡次采样Logo时n大于1），每一个元素是个二元组，每一个二元组表示一个logo图像信息，包括图像的数组以及图像的位置及大小等信息， 形如：[(logoImg1,logoRect1),...,(logoImgn,logoRectn)] Frame：截取Logon图像的帧对应数组，当预览一个帧时可使用 :param ridLogoManner:消除logo的方式 """
        global      videoImgConvertParams

        if ridLogoManner not in [ridLogoManner_inpaint, ridLogoManner_multiSampleInpaint]:
            print("ridLogoManner is not fit previewVideoByInpaintLogo ")
            return False


        videoImgConvertParams = self, ridLogoManner

        self.frameMask = None
        self.replaceObject = None
        self.logoObjList = logoObjects
        self.ridLogoManner = ridLogoManner

        winName = f"video previewing,fps={fps}"

        self.frameMask = frameMask
        self.multiFrameMask = frameMask
        cap = cv2.VideoCapture(self.videoFName)

        if not cap.isOpened():
            print("Cannot open video")
            return

        while True:
            ret, frame = cap.read()
            if not ret:
                if frame is None:
                    print("The video has end.")
                else:
                    print("Read video error!")
                break
            frame = processImg(frame)
            cv2.imshow(winName, frame)


            ch = cv2.waitKey(int(1000 / fps))

            if ch in self.exitKeys:  break
        # 完成全部操做后，释放捕获器

        cap.release()
        cv2.destroyWindow(winName)

上面相关定义的与视频预览、帧预览等方法定义时的参数包括了记录下完整Logo采用对象、替换对象、以及Logo掩码等，这些数据须要在操做视频图像时记录并在视频处理时传递给上述方法。

4.五、视频图像处理函数

上面视频图像处理类中使用了processImg函数，该函数用于视频生成的帧图像处理函数，用静态图像或同帧区域范围图像替换,或使用图像修复术修复。

在processImg函数中，使用了全局变量来传递该函数调用时的CSubVideoImg类对象及Logo消除的方式。具体实现就二十行代码，你们能够参考视频变换的介绍本身去实现，在此就不提供了，不然就和付费专栏文章彻底同样了。

4.六、主程序

主程序根据Logo消除类型来显示视频执行Logo图像选择、替换图像选择（前2种Logo消除类型）后，将视频进行消除处理。

def main(ridLogoManner):
    videoOperation = CSubVideoImg(r"f:\video\mydream.mp4")
    destFName = r"f:\video\mydream_new_"+str(ridLogoManner)+".mp4"
    fps = 24
    replaceObject = logoObjList = multiFrameMask = frameMask = None


    print("请在播放的视频中选择要去除Logo的区域：")
    logobjs, frame = videoOperation.getROI("select multiLogo Imgs Range", fps)
    if logobjs is not None and len(logobjs):
        logoObjList = (logobjs, frame)
        frameMask = videoOperation.genMultiLogoFrameMask([logobjs[-1]], frame)
        multiFrameMask = videoOperation.genMultiLogoFrameMask(logobjs, frame)
        frame = frame
    else:
        print("本次操做没有选择对应Logo图像，程序退出。")
        return

    if ridLogoManner in ( ridLogoManner_staticImg, ridLogoManner_frameImg):  # ridLogoManner_inpaint , ridLogoManner_multiSampleInpaint
        print("请在播放的视频中选择要去除Logo的区域：")
        replaceObjList, frame = videoOperation.getROI("select Replace Img Range")
        if replaceObjList is None:
            replaceObject = None
            print("本次操做没有选择对应替换区域或替换图像，若是要执行后续操做，请从新选择。")
        else:
            replaceImg, replaceRect = replaceObjList[-1]
            if replaceRect is not None:
                targetReplaceImg = videoOperation.adjuestImgAccordingRefImg(replaceImg, logoObjList[0][-1][0])
                replaceObject = (replaceImg, replaceRect, targetReplaceImg, frame)

            else:
                print("本次操做没有选择对应替换图像，程序退出。")
                return
    print("准备工做完成，开始进行视频转换：")
    if ridLogoManner in [ridLogoManner_staticImg, ridLogoManner_frameImg]:
        ret, inf = videoOperation.convertVideo(destFName, ridLogoManner, logoObjList, replaceObject)

    elif ridLogoManner == ridLogoManner_inpaint:
        ret, inf = videoOperation.convertVideo(destFName, ridLogoManner, logoObjList, frameMask=frameMask)
    else:
        ret, inf = videoOperation.convertVideo(destFName, ridLogoManner, logoObjList, frameMask=multiFrameMask)
    print(inf)

if __name__=='__main__':
    main(ridLogoManner_multiSampleInpaint)

上面的代码是以最复杂的 多Logo区域采样图像修复，能够给main函数传其余参数执行其余消除方式。

4.七、注意

程序执行需注意：

1. 若是是多Logo区域采样修复方式消除Logo，必须屡次采样Logo区域图像，不然与Logo区域采样修复效果相同；
2. 若是前三种方式Logo采样了屡次，则只取最后一次采样进行处理；
3. 视频播放采样时，经过q、Q、ESC三个键中的任意一个退出播放
4. 视频采样时，经过n/N、s/S以及退出键都会保存当前选择的图像数据（必须画面上出现蓝色矩形）；
5. 视频采样时，鼠标左键按下会暂停播放等待采样完成，当采样完成（蓝色矩形选中且保存了当前采样区域）或放弃采样后能够经过鼠标右键点击或鼠标左键双击恢复播放；
6. 视频采样时，蓝色边框出现后可经过再次选择从新选择范围。

5、程序执行效果

下面是一个屡次Logo采样进行图像修复的运行案例截图：

一、视频Logo采样案例
采样左上角的Logo，因为“抖音”二字播放时不停晃动，须要采样屡次，尽可能确保“抖音”二字在不一样位置都有采样，下面只提供了一次截图：

针对右下角的Logo信息屡次截图，下面是其中的一次截图：

二、处理后的视频截图

能够看到两个角落的Logo都消除了。

6、后记

在本节基础上，老猿使用PyQt开发了一个视频Logo消除的图形化界面工具，具体开发过程请见《Python音视频：开发消除抖音短视频Logo的图形化工具过程详解》。

更多moviepy的介绍请参考《PyQt+moviepy音视频剪辑实战文章目录》或《moviepy音视频开发专栏》。这2个专栏内容的导读请参考《Python音视频剪辑库MoviePy1.0.3中文教程导览及可执行工具下载》。

关于老猿的付费专栏

老猿的付费专栏《使用PyQt开发图形界面Python应用》专门介绍基于Python的PyQt图形界面开发基础教程，付费专栏《moviepy音视频开发专栏》详细介绍moviepy音视频剪辑合成处理的类相关方法及使用相关方法进行相关剪辑合成场景的处理，两个专栏加起来只须要19.9元，都适合有必定Python基础但无相关专利知识的小白读者学习。这2个收费专栏都有对应免费专栏，只是收费专栏的文章介绍更具体、内容更深刻、案例更多。

付费专栏文章目录：《moviepy音视频开发专栏文章目录》、《使用PyQt开发图形界面Python应用专栏目录》。本文对应的付费专栏文章为《Python音视频开发：消除抖音短视频Logo和去电视台标的实现详解》。

关于Moviepy音视频开发的内容，请你们参考《Python音视频剪辑库MoviePy1.0.3中文教程导览及可执行工具下载》的导览式介绍。

对于缺少Python基础的同仁，能够经过老猿的免费专栏《专栏：Python基础教程目录》从零开始学习Python。

若是有兴趣也愿意支持老猿的读者，欢迎购买付费专栏。

跟老猿学Python!

☞ ░ 前往老猿Python博文目录 ░