1 NVIDIA Maxine

官网地址：https://developer.nvidia.com/maxine

1.1 NVIDIA Maxine是什么？

NVIDIA Maxine 是一套 GPU 加速的 AI SDK 和云原生微服务，用于部署可实时增强音频、视频和增强现实效果的 AI 功能。Maxine 的最先进模型创造了使用标准麦克风和摄像设备即可实现的高品质效果。NVIDIA Maxine 可以部署在本地、云端或边缘。

具有以下优势：

  • 最先进的AI功能。NVIDIA Maxine 为开发人员提供世界一流的预训练模型，以部署优质的增强现实、音频和视频质量功能。
  • 实时的性能。NVIDIA Maxine 包含加速和优化的 AI 功能，可在 GPU 上进行实时推理，从而产生低延迟的音频、视频和 AR 效果，并具有高网络弹性。
  • 完整的功能链路。将多个低延迟效果链接在一起开发完整的音频、视频和视频增强功能。
  • 支持多种部署方式，易于部署。

1.2 NVIDIA Maxine可以做什么？

NVIDIA Maxine 是一套 GPU 加速的 SDK 和云原生微服务，用于部署 AI 功能，增强实时通信服务和平台的音频、视频和增强现实效果。

NVIDIA Maxine SDK提供三个SDK：音频效果SDK、视频效果SDK、增强现实SDK。

1.2.1 音频效果SDK

音频效果SDK可以提供输入和输出音频的音频质量，是对话更加容易理解。

主要特征：

  • 增强音频的质量
  • 回声消除
  • 噪声消除
  • 房间回声消除
  • 噪声消除和房间回声消除：结合这两种效果来消除噪声并抑制音频混响
  • 说话人聚焦

1.2.2 视频效果SDK

视频效果SDK可以提供各种AI效果增强视频质量。

主要特征：

  • 虚拟背景
  • 超分辨率（最高支持4倍超分）
  • 减少伪影
  • 视频噪声消除

1.2.3 视频现实SDK

视频现实SDK可以使用标准网络摄像头启用人脸的实时 3D 跟踪，创建独特的 AR 效果，例如将 3D 内容叠加在脸上、实时驾驶 3D 角色和虚拟交互。

主要特征：

  • 人脸追踪
  • 人脸地标追踪
  • 面部网格
  • 身体姿态估计
  • 眼神接触
  • 面部表情估计