TensorRT – 基于TensorRT的多线程并发推理方案
1 TensorRT的多线程并发推理方案 TensorRT在对模型推理速度已经有了非常大的提升了，那如果能够基于TensorRT做并行推理，既可以有效降低推理延迟，也能增加服务吞吐量，那岂不是酷毙了？ 那么能用TensorRT做多线程并发吗？ 我们看看TensorRT的官方开发者文档怎么说： In …
- TensorRT
- 2023-03-06
C++11 – 使用std::thread在类内部以成员函数作为多线程函数执行异步操作
1 使用std::thread在类内部创建多线程函数 在有些应用场景下，需要在某个类中以某个成员函数作为异步线程函数，或者需要多线程去执行某个耗时操作的成员函数。在这种应用场景下，知道如何在类内部以成员函数创建多线程函数就是一个比较基础的问题。 1.1 代码示例 demo代码如下： #include…
- C++
- 2021-09-09
C++11/std::atomic – 原子变量（不加锁实现线程互斥）
1 原子操作 原子操作：一个独立不可分割的操作。多线程编程需要保证线程安全，而线程安全一个很重要的特性就是原子性，即在同一时刻只有一个线程对原子进行操作，保证数据访问的互斥性。 2 C++11原子变量 C++11提供了原子类型std::atomic，可以使用任意的类型作为模板参数。在多线程中如果使用…
- C++
- 2020-04-02
C++11/std::condition_variable – 生产者消费者模型
代码示例： #include <iostream> #include <thread> #include <chrono> #include <mutex> #include <deque> #include <condition_v…
- C++
- 2020-04-01