玩转Facebook的maskrcnn-benchmark项目 1

maskrcnn-benchmark是Facebook开源的基准（benchmark）算法工程，其中包含检测、分割和人体关键点等算法。

目前，不少基于PyTorch框架的检测、分割的SOTA算法，都是这个项目的改进。例如CVPR 2019 Oral Paper，Mask Scoring R-CNN。

工程：github.com/facebookres…

名称：Faster R-CNN and Mask R-CNN in PyTorch 1.0

1. 如何使用pip环境配置工程；
2. 如何使用MacOS的CPU环境配置依赖库；

环境：MacOS + pip + torch + maskrcnn-benchmark

本系列包含两篇：

• 第一篇 搭建环境；
• 第二篇 训练和验证；

---

配置

下载maskrcnn-benchmark工程

git clone https://github.com/facebookresearch/maskrcnn-benchmark.git
复制代码

virtualenv建立虚拟环境，选择python3，同时激活。

virtualenv -p python3 mlp3_venv
复制代码

必须使用Python3.6.8+，推荐使用3.7

或者 使用已有的虚拟环境。

安装依赖包：

pip install ninja yacs cython matplotlib tqdm opencv-python
复制代码

安装PyTorch，直接官网

pip3 install torch torchvision
复制代码

依赖库

maskrcnn-benchmark须要两个依赖库cocoapi和apex，参考，略有不一样。

安装包：pycocotools 2.0，激活已有的虚拟环境，再执行：

git clone https://github.com/cocodataset/cocoapi.git
cd cocoapi/PythonAPI
python setup.py build_ext install
复制代码

安装包：apex 0.1，执行：

git clone https://github.com/NVIDIA/apex.git
cd apex
MACOSX_DEPLOYMENT_TARGET=10.9 CC=clang CXX=clang++ python setup.py install --cpp_ext
复制代码

Ubuntu服务器，能够使用如下命令，参考：

cd apex
pip install -v --no-cache-dir .
复制代码

注意：

• MACOSX_DEPLOYMENT_TARGET=10.9 CC=clang CXX=clang++是Mac所特有，指定编译的C++库；
• CPU环境，不添加--cuda_ext；

安装包：maskrcnn-benchmark 0.1，执行

cd maskrcnn-benchmark
MACOSX_DEPLOYMENT_TARGET=10.9 CC=clang CXX=clang++ python setup.py build develop
复制代码

---

预测

在·.torch/models中，下载模型，约458M：

wget https://dl.fbaipublicfiles.com/detectron/37697547/12_2017_baselines/e2e_keypoint_rcnn_R-50-FPN_1x.yaml.08_42_54.kdzV35ao/output/train/keypoints_coco_2014_train%3Akeypoints_coco_2014_valminusminival/generalized_rcnn/model_final.pkl
复制代码

重命名：

mv model_final.pkl _detectron_37697547_12_2017_baselines_e2e_keypoint_rcnn_R-50-FPN_1x.yaml.08_42_54.kdzV35ao_output_train_keypoints_coco_2014_train%3Akeypoints_coco_2014_valminusminival_generalized_rcnn_model_final.pkl
复制代码

使用OpenCV读取图片，cv2.imread()；

加载配置文件e2e_keypoint_rcnn_R_50_FPN_1x_caffe2.yaml，其中：

• keypoint是关键点算法；
• rcnn是检测算法；
• R_50是ResNet50；
• FPN是特征金子塔（Feature Pyramid Networks）;
• 1x是训练方案，即minibatch为16，该方案的初始LR=0.02，并在60K和80K次迭代后衰减*0.1，在90K次迭代终止，参考；

使用CPU模式，MODEL.DEVICE设置为cpu；

建立模型COCO Demo，最小图片尺寸800，置信度0.7；

调用run_on_opencv_image接口预测图片，生成已绘制结果的图片。

源码以下：

import os
import cv2
import pylab
import matplotlib.pyplot as plt

from maskrcnn_benchmark.config import cfg
from demo.predictor import COCODemo

from root_dir import DATA_DIR


def show_cv_img(img_cv):
    img = cv2.cvtColor(img_cv, cv2.COLOR_BGR2RGB)
    plt.imshow(img)
    plt.axis("off")
    fig = plt.gcf()
    fig.set_size_inches(10, 8)
    pylab.show()


def main():
    img_path = os.path.join(DATA_DIR, 'girl_generation.jpg')

    img = cv2.imread(img_path)
    print('[Info] img size: {}'.format(img.shape))
    show_cv_img(img)

    config_file = "../configs/caffe2/e2e_keypoint_rcnn_R_50_FPN_1x_caffe2.yaml"

    cfg.merge_from_file(config_file)  # 设置配置文件
    cfg.merge_from_list(["MODEL.DEVICE", "cpu"])  # 指定为CPU

    coco_demo = COCODemo(  # 建立模型文件
        cfg,
        min_image_size=800,
        confidence_threshold=0.7,
    )

    predictions = coco_demo.run_on_opencv_image(img)
    show_cv_img(predictions)


if __name__ == '__main__':
    main()
复制代码

效果：

---

Troubleshooting

常见问题的解决方案。

libomp.dylib

遇到以下问题：libomp.dylib没法加载

ImportError: dlopen(python3.7/site-packages/torch/_C.cpython-37m-darwin.so, 9): Library not loaded: /usr/local/opt/libomp/lib/libomp.dylib
  Referenced from: python3.7/site-packages/torch/lib/libshm.dylib
  Reason: image not found
复制代码

安装libomp包：

brew install libomp
复制代码

参考：github.com/pytorch/pyt…

torch.version.cuda.split('.')

GPU的版本，异常：

get_cuda_version
    return tuple(int(x) for x in torch.version.cuda.split('.'))
AttributeError: 'NoneType' object has no attribute 'split'
复制代码

环境是Mac的CPU环境，没有GPU，而在apex源码中，依然寻找GPU，致使Bug，修改源码便可：

/apex/amp/lists/torch_overrides.py的第69行，增长Try-Except语句，屏蔽异常：

try:
    if utils.get_cuda_version() >= (9, 1, 0):
        FP16_FUNCS.extend(_bmms)
    else:
        FP32_FUNCS.extend(_bmms)
except:
    FP32_FUNCS.extend(_bmms)
复制代码

fatal error: Python.h: No such file or directory

缺乏Python的头文件，安装开发版便可：

sudo apt-get install python3-dev
复制代码

推荐使用apt-fast下载，很是快。

---

OK, that's all!