1 OnnxRuntime如何部署多个输入和多个输出的模型

1.1 OnnxRuntime仓库问题答疑

这个问题其实在OnnxRuntime的Github下面的FAQ.md文档中直接回答过这个问题，这个问题的链接在这里。

在这个问题的回答中官方还贴心的给出了一个有3个输入和3个输出的模型推理示例代码文件：test_inference.cc，其中关于多个输入和多个输入的模型推理关键代码片段如下

std::vector<Ort::Value> ort_inputs;
ort_inputs.push_back(std::move(label_input_tensor));
ort_inputs.push_back(std::move(f2_input_tensor));
ort_inputs.push_back(std::move(f11_input_tensor));

std::vector<const char*> input_names = {"Label", "F2", "F1"};
const char* const output_names[] = {"Label0", "F20", "F11"};

std::vector<Ort::Value> ort_outputs = session.Run(
    Ort::RunOptions{nullptr}, 
    input_names.data(),
    ort_inputs.data(), 
    ort_inputs.size(), 
    output_names, 
    countof(output_names)
);

1.2 细看OnnxRuntime的文档

Ort::Session::Run这个函数是模型推理的关键函数，我们可以通过查看OnnxRuntime的文档，看看这个函数的形式和参数。

Ort::Session::Run有几个函数重载形式，比如

  • std::vector<Value> Run (const RunOptions &run_options, const char *const *input_names, const Value *input_values, size_t input_count, const char *const *output_names, size_t output_count)

  • void Run (const RunOptions &run_options, const char *const *input_names, const Value *input_values, size_t input_count, const char *const *output_names, Value *output_values, size_t output_count)

  • void Run (const RunOptions &run_options, const IoBinding &)

另外还有一个RunAsync用于异步推理

  • RunAsync (const RunOptions &run_options, const char *const *input_names, const Value *input_values, size_t input_count, const char *const *output_names, Value *output_values, size_t output_count, RunAsyncCallbackFn callback, void *user_data)

1.2.1 std::vector Run重载函数

本文就以第一个重载函数std::vector<Value> Run为例介绍一下函数各个输入参数：

函数形式

std::vector<Value> Run (
    const RunOptions &run_options, 
    const char *const *input_names, 
    const Value *input_values, 
    size_t input_count, 
    const char *const *output_names, 
    size_t output_count
)

函数返回值

返回模型推理结果，存储在std::vector中。

函数参数

  • run_options
  • input_names：长度为 input_count 的以 null 结尾的字符串数组，即输入名称列表
  • input_values：长度为 input_count 的Ort::Value的数组，即输入值列表
  • input_count：输入tensor数量，即input_names和input_values的大小
  • output_names：长度为 output_count 的C风格字符串数组，即输出名称列表
  • output_count：输出tensor数量，即output_names的大小

从上述输入参数我们可以得出，其实input_values是一个const Ort::Value*类型，既可以是一个指向Ort::Value的指针，也可以是指向一段Ort::Value类型的连续存储的首地址，比如Ort::Value数组或者std::vector<Ort::Value>，所以多个输入tensor，只需要将模型的多个输入构成Ort::Value，然后放到一个数组或者std::vector中即可。如果是数组直接传数组指针，如果是std::vector可以通过.data()获取首地址进行传参。

同理对于多个输出，如果模型推理成果，则多个输出tensor则全部存储返回的std::vector<Ort::Value>中，按模型输出名称顺序就可以得到每个输出tensor的值了。

参考链接