1 将图片转换为深度模型输入格式

在C++进行人脸识别、目标检测的过程中，经常是以图片数据作为深度学习模型推理的输入数据的，但是从OpenCV读取的图片数据并不能直接用于深度学习模型的推理过程。

  • 首先，OpenCV读取图片默认使用的是BGR通道排列方式，而深度学习模型一般使用RGB通道排列的方式；
  • 其次，深度学习模型一般会使用归一化之后的数据格式；
  • 然后，深度学习模型一般使用CHW的格式输入，C代表通道，H代表高度，W代表宽度，而OpenCV默认使用HWC的格式；

上述的一些不同需要经过正常的转换才可以将图片数据输入到深度学习模型中进行推理，如果不进行正常的转换，会导致推理的结果不正确。

1.1 自行进行转换

1.1.1 BGR通道转RGB通道

cv::Mat rgb_img;
cv::cvtColor(canvas_image, rgb_img, CV_BGR2RGB);

1.1.2 图片归一化

cv::Mat normal_img;
rgb_img.convertTo(normal_img, CV_32FC3, 1.0f / 255.0);

1.1.3 HWC转CHW

std::vector<cv::Mat> input_channels(3);
cv::split(normal_img, input_channels);

std::vector<float> result(m_Desired_Image_Width * m_Desired_Image_Height * 3);
auto data = result.data();
int channelLength = m_Desired_Image_Width * m_Desired_Image_Height;
for (int i = 0; i < 3; ++i) 
{
    memcpy(data, input_channels[i].data, channelLength * sizeof(float));
    data += channelLength;
}

或者

cv::Mat dst;
std::vector<float> dst_data;
std::vector<cv::Mat> bgrChannels(3);
cv::split(dst, bgrChannels);
for (auto i = 0; i < bgrChannels.size(); i++)
{
     std::vector<float> data = std::vector<float>(bgrChannels[i].reshape(1, 1));
     dst_data.insert(dst_data.end(), data.begin(), data.end());
}

1.2 使用cv::dnn::blobFromImage对图片进行转换

OpenCV已经提供了cv::dnn::blobFromImage这个API将OpenCV的图片格式转换为深度学习网络输入数据。

cv::Mat blob = cv::dnn::blobFromImage(input_image, 1.0 / 255.0, input_image.size(), cv::Scalar(0, 0, 0), true, false, CV_32F);

该API将OpenCV图片数据进行BGR->RGB，归一化，HWC->CHW的转换，从而获得一个正确的神经网络输入数据。

1.2.1 函数形式

函数功能：从图像创建4维blob

blobFromImage(InputArray image, double scalefactor=1.0, const Size& size = Size(),
const Scalar& mean = Scalar(), bool swapRB=false, bool crop=false,int ddepth=CV_32F);

1.2.1 函数参数

  • image 输入图像（具有 1、3 或 4 通道）
  • size 输出图像的空间大小
  • mean 这是我们要减去的均值，可以是R,G,B均值三元组，或者是一个值，每个通道都减这值。如果执行减均值，通道顺序是R、G、B。 如果，输入图像通道顺序是B、G、R，那么请确保swapRB = True，交换通道。
  • scalefactor 执行完减均值后，需要缩放图像，默认是1
  • swapRB 表示交换第一个和最后一个通道，OpenCV图像通道顺序是B、G、R，而减均值时顺序是R、G、B，为了解决这个矛盾，设置swapRB=True即可
  • crop 如果crop裁剪为真，则调整输入图像的大小，使调整大小后的一侧等于相应的尺寸，另一侧等于或大于。然后，从中心进行裁剪。如果“裁剪”为“假”，则直接调整大小而不进行裁剪并保留纵横比。
  • ddepth 输出blob的深度，选则CV_32F or CV_8U

函数返回值：函数返回具有 NCHW 尺寸顺序的4维 Mat

1.3 使用cv::dnn::blobFromImages对视频进行转换

在1.2节中演示了如何使用cv::dnn::blobFromImage对单张图片进行转换，其实opencv也提供了对多张图片进行转换的函数cv::dnn::blobFromImages，我们也可以使用这个函数对视频进行转换，

函数形式如下

blobFromImages(InputArrayOfArrays image, double scalefactor=1.0, const Size& size = Size(),
const Scalar& mean = Scalar(), bool swapRB=false, bool crop=false,int ddepth=CV_32F);

与函数cv::dnn::blobFromImage相比就是第一个输入的参数不一样，我们可以使用std::vector将单个视频的视频帧进行存储，然后作为cv::dnn::blobFromImages的输入参数，比如

#include <opencv2/highgui/highgui.hpp>
#include <opencv2/imgproc/imgproc.hpp>
#include <opencv2/opencv.hpp>
//#include <opencv2/blob.hpp>
#include <iostream>
using namespace std;
using namespace cv;
int main()
{
    // 图片尺寸：H500，W700，C3
    cv::Mat img=cv::imread("../yolov3_mini.jpg", 1);
    printf("%d, %d, %d\n", img.rows, img.cols, img.channels());

    // 5个batch
    vector<cv::Mat> inMatList;
    inMatList.push_back(img);
    inMatList.push_back(img);
    inMatList.push_back(img);
    inMatList.push_back(img);
    inMatList.push_back(img);
    // ret.data 数据组织形式为nchw，数据格式为float32类型
    cv::Mat ret = cv::dnn::blobFromImages(inMatList);
    printf("%d, %d, %d\n", ret.rows, ret.cols, ret.channels());
    // printf("%d\n", ret.rows, ret.cols, ret.channels());
    // nchw
    unsigned char smg[500*700*3*5];
    float * data = (float * )ret.data;
    for (int n=0;n<5;n++)
    for (int c=0;c<3;c++)
    for (int h=0;h<500;h++)
    for (int w=0;w<700;w++)
    {
        smg[n*500*700*3+h*700*3+w*3+c] = data[n*3*500*700+c*500*700+h*700+w];
    }
    // 解算出原图像，验证结果
    cv::imwrite("save1.bmp", cv::Mat(500 ,700, CV_8UC3, smg+700*500*3*0));
    cv::imwrite("save2.bmp", cv::Mat(500 ,700, CV_8UC3, smg+700*500*3*1));
    cv::imwrite("save3.bmp", cv::Mat(500 ,700, CV_8UC3, smg+700*500*3*2));
    cv::imwrite("save4.bmp", cv::Mat(500 ,700, CV_8UC3, smg+700*500*3*3));
    cv::imwrite("save5.bmp", cv::Mat(500 ,700, CV_8UC3, smg+700*500*3*4));
}

参考链接