C++/OpenCV – 详解如何一步步将OpenCV的cv::Mat转换成深度学习模型推理所需的输入数据

在视觉任务的深度学习模型的训练过程中，一般需要对数据集中的图片进行预处理，这些操作一般都包括：

• resize图片大小
• 转为RGB
• 归一化到[0,1]
• 减均值
• 除方差

在Pytorch中一般使用torchvision.transforms对图片进行归一化处理，比如经常会使用以下的代码

transforms.Compose([
   transforms.RandomCrop((224, 224)),  # 随机裁剪成224x224
   transforms.RandomRotation(15),  # 随机旋转15度
   transforms.RandomHorizontalFlip(),  # 随机水平翻转
   transforms.ToTensor(),  # 归一化数值，从[0-255]归一化到[0-1]，并转化为Tensor
   transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225])  # 把图片转到[-1,1]上，方便训练
])

而当模型训练完成需要部署时，目前的部署框架为了推理速度大部分都是C++作为底层，而在C++中，经常会使用opencv作为图片数据的读取库，那么如何基于OpenCV读取的图片数据进行进一步的预处理操作呢？下文我们将由浅入深来一步一步验证各个处理步骤。

1 OpenCV的图片格式验证

从OpenCV的官方文档以及各种教程，我们知道OpenCV读取文件之后会以cv::Mat的对象进行保存，并且其默认格式为BGR，尺寸为HWC。

我们可以通过以下方法来验证上述的结论，我们先读取一张图片，然后先使用通过cv::cvtColor方法将输入图片转换为RGB格式并保存，然后再通过最底层遍历输入图片数值的方式修改其RGB顺序，然后将结果保存，最后比较这两张保存的图片是否一致。

测试代码如下：

#include <iostream>
#include <string>
#include <vector>

#include "opencv2/opencv.hpp"

int main()
{
    std::string image_path = "C:/Users/xxxx/Desktop/lena_std.tif";

    // 读取图片
    cv::Mat src_mat = cv::imread(image_path);

    // 使用cv::cvtColor方法BGR转RGB并保存图片
    cv::Mat src_mat_rgb;
    cv::cvtColor(src_mat, src_mat_rgb, CV_BGR2RGB);
    cv::imwrite("C:/Users/xxxx/Desktop/lena_std_rgb.tif", src_mat_rgb);

    // 获取图片宽、高、channels
    int image_height = src_mat.rows;
    int image_width = src_mat.cols;
    int image_channels = src_mat.channels();

    cv::Mat src_mat_copy;
    src_mat.copyTo(src_mat_copy);

    std::vector<float> input_image_array;
    input_image_array.resize(image_channels * image_height * image_width);

    float* input_image = input_image_array.data();

    // 遍历图片进行BGR转RGB
    for (int h = 0; h < image_height; ++h)
    {
        for (int w = 0; w < image_width; ++w)
        {
            for (int c = 0; c < image_channels; ++c)
            {
                float tmp = 0.0;
                if (c == 0) // 当c等于0时，在BGR排列中对应B，所以在RGB排列中其索引应该为2
                {
                    tmp = src_mat_copy.ptr<uchar>(h)[w * 3 + 2];
                }
                else if (c == 1) // 当c等于1时，在BGR排列中对应G，所以在RGB排列中其索引也为1
                {
                    tmp = src_mat_copy.ptr<uchar>(h)[w * 3 + 1];
                }
                else if (c == 2) // 当c等于2时，在BGR排列中对应R，所以在RGB排列中其索引为0
                {
                    tmp = src_mat_copy.ptr<uchar>(h)[w * 3 + 0];
                }

                input_image[h * image_width * image_channels + w * image_channels + c] = tmp ;
            }
        }
    }

    // 构建结果Mat并保存
    cv::Mat res_mat(image_height,image_width,CV_32FC3, input_image_array.data());
    cv::imwrite("C:/Users/xxxx/Desktop/b.jpg", res_mat);

    return 0;
}

最后面保存的两张图片对比如下：

两张图片的结果完全一致，所以我们能使用下面这种普通的方式正确访问图片的RGB值并且可以对图片的RGB值进行操作，也就是可以进行进一步的预处理操作。

2 对cv::Mat进行深度学习模型数据预处理