opencv人脸检测，旋转处理

时间 2020-05-07

标签 opencv 检测旋转处理繁體版

原文原文链接

年会签到，拍本身的大头照，有的人可能会拍成横向的，须要旋转，用人脸检测并修正它（图片）。html

1. 无脑检测步骤为：

1. opencv 读取图片，灰度转换
2. 使用CascadeClassifier()经过训练数据训练分类器
3. detectMultiScale()检测人脸

训练数据集下最基本的人脸haarcascade_frontalface_default.xml python

2. 开始检测

1）斜脸检测失败 用了一张逃避可耻但有用剧照，不知是gakki脸斜仍是不清晰的缘故，face_cascade.detectMultiScale无结果。git

网上找了一张人脸图发现能够有结果[[436 142 604 604]]github

2) 旋转图片，被裁剪 测试图片旋转90°,180°,270°时，发现有个问题。下面为旋转180°，90°的效果：90°（以及270°）的图片大小没变，致使横向过长，纵向太窄，图片被裁减。app

粗暴的尝试，直接用:函数

if angle in (90,270):
 w,h = h,w

转换宽高后，输出90°为：测试

出现了奇怪的边框。优化

再来看一个45°的输出，也一样被裁剪spa

直到我找到了 Rotate images (correctly) with OpenCV and Python 这篇文章，写的太好了，用的动图也恰到好处。.net

rotating oblong pills using the OpenCV’s standard cv2.getRotationMatrix2D and cv2.warpAffine functions caused me some problems that weren’t immediately obvious.

做者检测原型药片旋转不要紧，用椭圆的药片就有被裁剪的问题，我上面的那些就是被裁剪了。

使用做者给的函数实验：

def rotate_bound(image, angle):
    # grab the dimensions of the image and then determine the
    # center
    (h, w) = image.shape[:2]
    (cX, cY) = (w // 2, h // 2)
 
    # grab the rotation matrix (applying the negative of the
    # angle to rotate clockwise), then grab the sine and cosine
    # (i.e., the rotation components of the matrix)
    M = cv2.getRotationMatrix2D((cX, cY), -angle, 1.0)
    cos = np.abs(M[0, 0])
    sin = np.abs(M[0, 1])
 
    # compute the new bounding dimensions of the image
    nW = int((h * sin) + (w * cos))
    nH = int((h * cos) + (w * sin))
 
    # adjust the rotation matrix to take into account translation
    M[0, 2] += (nW / 2) - cX
    M[1, 2] += (nH / 2) - cY
 
    # perform the actual rotation and return the image
    return cv2.warpAffine(image, M, (nW, nH))

-45°旋转

-90°旋转

完成。

4）自动旋转图片

做者旋转的很好看，因此也模仿了一把，将本身展现图片的函数改成：「获取图片宽高，而后动态改变宽高显示图片，ms参数为停留的毫秒数（宽高除以3是由于图片太大了，展现很差看）」

def show(img, ms=0):
 """ 显示 """
 cv2.imshow('show', img)
 h, w = img.shape[:2]
 cv2.resizeWindow("show", w//3, h//3)
 cv2.waitKey(ms)

用本身以前不正确的旋转函数rotate_img_old测试，有裁剪

for angle in range(0,360,10):
 show(rotate_img_bad(img_bgr, angle), 200)

用正确的测试：裴斐科特

for angle in range(0,360,10):
 show(rotate_img(img_bgr, angle), 200)

3) 再试gakki图

range(0,360,45)以45°为步长检测，发现-315°(即45°)有结果：

检测到两处人脸：修改配置每次缩减比例：scaleFactor=1.2，检测屡次： minNeighbors=10

# 探测图片中的人脸
faces = face_cascade.detectMultiScale(
 img_gray,
 scaleFactor=1.2,  # 每次缩减比例
 minNeighbors=10,  # 检测屡次
 flags=cv2.CASCADE_SCALE_IMAGE,
 minSize=(50,50)
)

以后检测，只有一处。

4. 生成头像

最后，想截取有效的最大头像，

90°旋转裁剪

在此次真实的年会场合实际使用的时候，不能转45°去裁剪显示，斜着头拍照的可不想转成正经的证件照，

因此只用转90°而后裁剪其中最大正方形，取高和宽中小的一个。较简单，蓝色为实际裁剪区域。

斜的图则不可这样，会裁剪黑色的区域，（避免脸在图中太小，取了检测到的脸宽*2.5长度）

代码段

if angle%90 == 0:
    # 90° 裁剪图片
    logging.debug("90° 裁剪图片")
    logging.debug(f"{ix}, {iy}, {x}, {y}, {w}, {h}")

    length2 = min(ix, iy)

    # 若是人脸过小，放大区域但又不超过图片长度
    length = int(w*2.5)
    length = min(length2, length)
    logging.debug(f"length: {length2} {length}")

    ow = length-w
    ow1 = ow//2
    oh = length-h
    oh1 = oh//2

    y1, y2 = y-oh1, y+h+oh1
    x1, x2 = x-ow1, x+w+ow1

    # 检测图片溢出
    logging.debug(f"{y1}, {y2}, {x1}, {x2}")
    if y1 < 0:
    logging.debug('裁剪：1 顶部溢出')
    y1 = 0
    y2 = length
    if y2 > iy:
    logging.debug('裁剪：2 底部溢出')
    y2 = iy
    y1 = iy-length
    if x1 < 0:
    logging.debug('裁剪：3 左侧溢出')
    x1 = 0
    x2 = length
    if x2 > ix:
    logging.debug('裁剪：4 右侧溢出')
    x2 = ix
    x1 = ix-length

    # 裁剪标记
    cv2.rectangle(img, (x1, y1), (x2, y2), (255, 0, 0), 2)

斜矩形裁剪探索

那么gakki那张斜的如何裁剪呢，斜矩形以外有黑色背景。举例：应该取到绿色矩形的扩大版，但又没有取到黑色背景。好比这样的蓝色区域

转换为数学方法为：todo, 画在本子上的，最后再补

编写数学函数：

else:
    # 非90°裁剪图片
    logging.debug(f"{angle}°裁剪图片")
    # 1. 求A点坐标
    origin_h, origin_w = self.img_bgr.shape[:2]

    # 旋转角度取的ab ad边不一样
    if angle%180<90:
        ab = origin_w
        ad = origin_h
    else:
        ab = origin_h
        ad = origin_w
    op = ix
    ap = math.cos(math.radians(angle)) * ab
    oa = op-ap
    A = Point(oa, 0)
    logging.debug(f"ab={ab}, ad={ad}, op={op}, ap={ap}, oa={oa}, {A}")
    # 2. 人脸中心Z坐标
    face_rect = Rectangle(Point(x, y), w, h)
    z = face_rect.center_p

    logging.debug(f"{face_rect} center point is {z}")
    # 3. Z到AB、AD距离
    k = math.tan(math.radians(angle)) # tan(α)
    k2 = -1/k # 垂直
    logging.info(f"k1 = {k}, k2 = {k2}")
    z_ab_len = abs(k*z.x-z.y-oa*k)/math.sqrt(k**2+1)
    z_ad_len = abs(k2*z.x-z.y-oa*k2)/math.sqrt(k2**2+1)
    logging.debug(f"z-ab len is {z_ab_len}, z-ad len is {z_ad_len}")
    # 4. 距离四边最小距离
    h1 = z_ab_len
    h2 = z_ad_len
    h3 = ad-h1
    h4 = ab-h2
    min_len = min(h1, h2, h3, h4)
    logging.debug(f"face around len is {h1} {h2} {h3} {h4}, min:{int(min_len)}")

    # 5. 圆形标注
    #cv2.line(img, z.r_tuple(), (50, 100), (0,255,0))
    for r in (h1, h2, h3, h4):
        r = int(r)
        if int(min_len) == r:
            cv2.circle(img, z.r_tuple(), r, (255, 0, 0), 3)
        else:
            cv2.circle(img, z.r_tuple(), r, (0, 0, 255), 2)

来测试一波，最后的圆形标注只是为了辅助验证。

实际上是有问题的，看效果，最小的蓝色圆形标注位置不对，超出原图片了，并且观察其余三个圆也不在图片边上。

if angle%180<90:
    ab = origin_w
    ad = origin_h
else:
    ab = origin_h
    ad = origin_w

这块处理不一样角度下取的矩形ABCD边不一样，数学角度看是没有错的，可是Opencv坐标圆心在左上角，因此得将数学图形画为：todo

上面赋值代码只需改成

if angle%180<90:
    ab = origin_h
    ad = origin_w
else:
    ab = origin_w
    ad = origin_h

蓝色圈已是咱们要求的矩形头像外接圆了，其余三个圆输出也是贴紧各自的边框，完美。

在蓝圈中画黑色正方形：

是想要的效果，最后裁剪便可。

多角度修复

测试初始角度为横向或者侧向时，需修复角度：

# 最后取的图片和角度无关，只取锐角
angle=angle%90

测试三张不一样角度照片，和一张不需旋转的图：

结果为：

过程：

参考

手把手教你如何用 OpenCV + Python 实现人脸识别
Rotate images (correctly) with OpenCV and Python 旋转函数优化
OpenCV实践之路——人脸检测（C++/Python) detectMultiScale 参数说明
使用Python和OpenCV检测图像中的物体并将物体裁剪下来裁剪方式 image[y1:y1+hight, x1:x1+width]
OPENCV中的图像坐标和行列的关系