玩转OpenVINO之二：试运行mask_rcnn_demo

约定不等于承诺〃 2023-02-23 12:24 30阅读 0赞

调试open\_model\_zoo/mask\_rcnn\_demo

接前面一篇，编译好了DEMO，我们继续玩转OpenVINO，试一下open\_model\_zoo中的模型。

假设你要调试open\_model\_zoo中的某个模型（注意，下面的命令中，使用你自己想用的模型，我一般是好几个同时转换，完了随机测试的）。

先是要完成Optimizer工作，转换模型得到IR文件，

命令如下

python mo_tf.py --input_model 
    E:/mask_rcnn_resnet50_atrous_coco_2018_01_28/frozen_inference_graph.pb
    --tensorflow_use_custom_operations_config extensions/front/tf/mask_rcnn_support.json
    --tensorflow_object_detection_api_pipeline_config E:/mask_rcnn_inception_resnet_v2_atrous_coco_2018_01_28/pipeline.config

喜欢用vscode调试的朋友可以看下面的launch.json文件，

{
        // Use IntelliSense to learn about possible attributes.
        // Hover to view descriptions of existing attributes.
        // For more information, visit: https://go.microsoft.com/fwlink/?linkid=830387
        "version": "0.2.0",
        "configurations": [
            {
                "name": "Python: 当前文件",
                "type": "python",
                "request": "launch",
                "program": "${file}",
                "console": "integratedTerminal",
                "justMyCode": false,
                "args": [
                    "--input_model","E:\\mask_rcnn_resnet50_atrous_coco_2018_01_28\\frozen_inference_graph.pb", 
                    "--tensorflow_use_custom_operations_config","D:/devOpenVino/openvino_2020.3.194/deployment_tools/model_optimizer/extensions/front/tf/mask_rcnn_support.json",
                    "--tensorflow_object_detection_api_pipeline_config","E:/mask_rcnn_inception_resnet_v2_atrous_coco_2018_01_28/pipeline.config"
                ]
            }
        ]
    }

如果你和我一样，没有指定输出文件名，转换完成后得到的都是frozen\_inference\_graph.bin和frozen\_inference\_graph.xml文件，要注意改成相应的模型文件名，否则多了就弄混了。

下面，我们开始用VS2019中的C++ Demo来测试这些模型。这些DEMO在我们上一讲《[玩转OpenVINO\_cpp samples的编译][OpenVINO_cpp samples]》中已经编译好了，现在拿来用。

### 添加路径一 ###

如果你使用debug版本，那么环境变量path路径设置中添加

C:\\IntelSWTools\\openvino\_2020.3.194\\deployment\_tools\\inference\_engine\\bin\\intel64\\Debug

同时，把opencv\_world430d.dll拷贝到该文件夹下面（不想拷贝的话，自己添加路径也行，反正就是让程序能找到这个dll文件）

如果是release版本，则添加

C:\\IntelSWTools\\openvino\_2020.3.194\\deployment\_tools\\inference\_engine\\bin\\intel64\\Release，

同时，把opencv\_world430.dll拷贝到该文件夹下面

总的来说，这里有不少dll文件是intel ineference\_engine要用到的。

### 添加路径二 ###

还有一些路径也是必须添加的，

C:\\IntelSWTools\\openvino\_2020.3.194\\deployment\_tools\\inference\_engine\\external\\tbb\\bin

C:\\IntelSWTools\\openvino\_2020.3.194\\deployment\_tools\\ngraph\\lib

### 调试运行 ###

运行的项目名称是mask\_rcnn\_demo。

具体可参考：[https://docs.openvinotoolkit.org/latest/\_demos\_mask\_rcnn\_demo\_README.html][https_docs.openvinotoolkit.org_latest_demos_mask_rcnn_demo_README.html]

我把说明摘录一部分如下（注意：这里是linux下的格式，我后面说明中用到的是windows系统中的格式，在命令使用上有点小小的差异）

./mask_rcnn_demo -h
    InferenceEngine:
        API version ............ <version>
        Build .................. <number>
    mask_rcnn_demo [OPTION]
    Options:
        -h                                Print a usage message.
        -i "<path>"                       Required. Path to a .bmp image.
        -m "<path>"                       Required. Path to an .xml file with a trained model.
          -l "<absolute_path>"            Required for CPU custom layers. Absolute path to a shared library with the kernels implementations.
              Or
          -c "<absolute_path>"            Required for GPU custom kernels. Absolute path to the .xml file with the kernels descriptions.
        -d "<device>"                     Optional. Specify the target device to infer on (the list of available devices is shown below). Use "-d HETERO:<comma-separated_devices_list>" format to specify HETERO plugin. The demo will look for a suitable plugin for a specified device (CPU by default)
        -detection_output_name "<string>" Optional. The name of detection output layer. Default value is "reshape_do_2d"
        -masks_name "<string>"            Optional. The name of masks layer. Default value is "masks"

查看帮助文档： mask\_rcnn\_demo --h

C:\IntelSWTools\openvino_2020.3.194\deployment_tools\open_model_zoo\demos\dev\intel64\Debug>mask_rcnn_demo --h
    InferenceEngine: 00007FFCC7C49BC8
    
    mask_rcnn_demo [OPTION]
    Options:
    
        -h                                Print a usage message.
        -i "<path>"                       Required. Path to a .bmp image.
        -m "<path>"                       Required. Path to an .xml file with a trained model.
          -l "<absolute_path>"            Required for CPU custom layers. Absolute path to a shared library with the kernels implementations.
              Or
          -c "<absolute_path>"            Required for GPU custom kernels. Absolute path to the .xml file with the kernels descriptions.
        -d "<device>"                     Optional. Specify the target device to infer on (the list of available devices is shown below). Use "-d HETERO:<comma-separated_devices_list>" format to specify HETERO plugin. The demo will look for a suitable plugin for a specified device (CPU by default)
        -detection_output_name "<string>" Optional. The name of detection output layer. Default value is "reshape_do_2d"
        -masks_name "<string>"            Optional. The name of masks layer. Default value is "masks"
    
    Available target devices:  CPU  GNA

这里图片必须是bmp格式。

如何输入图片地址呢？官方给出的命令如下，

./mask_rcnn_demo -i <path_to_image>/inputImage.bmp -m <path_to_model>/mask_rcnn_inception_resnet_v2_atrous_coco.xml

事实上，用命令行输入的方式， OpenVINO中由一个叫args\_helper.hpp的文件来处理，其中一段的代码如下，

/**
    * @brief This function find -i/--images key in input args
    *        It's necessary to process multiple values for single key
    * @return files updated vector of verified input files
    */
    inline void parseInputFilesArguments(std::vector<std::string> &files) {
        std::vector<std::string> args = gflags::GetArgvs();
        bool readArguments = false;
        for (size_t i = 0; i < args.size(); i++) {
            if (args.at(i) == "-i" || args.at(i) == "--images") {
                readArguments = true;
                continue;
            }
            if (!readArguments) {
                continue;
            }
            if (args.at(i).c_str()[0] == '-') {
                break;
            }
            readInputFilesArguments(files, args.at(i));
        }
    }

就是说，输入图片的格式为以下两者都可以，

\-i  xyz.bmp  或者  --images <没仔细研究，这里是要文件夹吧还是xyz.bmp>

在VS2019中调试运行的话，直接把项目的调试参数设置为上述格式即可，例如，

-i J:\BigData\default.bmp -m E:\mask_rcnn_resnet50_atrous_coco_2018_01_28\frozen_inference_graph.xml

我用纯CPU试了一下这个DEBUG模式，超级慢啊！在Release模式下，随便找了一张图，大约也花了好几秒，感觉不出来哪里加快了。

当然，要琢磨的地方还很多，这里暂不涉及这些细节了，先玩起来吧。

[OpenVINO_cpp samples]: https://mp.csdn.net/console/editor/html/107183259
[https_docs.openvinotoolkit.org_latest_demos_mask_rcnn_demo_README.html]: https://docs.openvinotoolkit.org/latest/_demos_mask_rcnn_demo_README.html