英伟达带来新神器!用了这款软件AI推理性能将大大提升

在之前，老黄在GTC 2018上讲述了会议的几大部分，而现在到了AI推理。NVIDIA新发布的TensorRT 推理软件对 Kaldi 的语音加速以及扩展对 ONNX 的支持；GPU 推理速度现在比 CPU 快可高达 190 倍。

除了推出新版的TensorRT 推理软件，更是将TensorRT 集成至谷歌的 TensorFlow 框架。NVIDIA还宣布，最受欢迎的语音识别框架 Kaldi 现已针对 GPU 进行了优化。NVIDIA 与亚马逊、Facebook及微软等合作伙伴的紧密协作，让开发者更易于使用 ONNX 与 WinML 充分发挥 GPU 加速的优势。

NVIDIA 加速计算副总裁表示：即便是最大规模的神经网络，面向量产型深度学习推理的 GPU 加速也能够让其以最低成本实时运行。随着对更多智能应用及框架支持的快速扩展，我们现在能够提高深度学习的质量，并帮助降低 3000 万台超大规模服务器的成本。

TensorRT 4 软件针对广泛的应用加速深度学习推理。TensorRT 提供高度精确的 INT8 与 FP16 网络执行，最高可减少 70% 的数据中心成本。可用于快速优化、验证及部署在超大规模数据中心、嵌入式与汽车 GPU 平台中经过训练的神经网络。相比 CPU，针对计算机视觉、神经网络机器翻译、自动语音识别、语音合成与推荐系统等常见应用，该软件最高可将深度学习推理的速度加快 190 倍。

为了进一步精简开发，NVIDIA 与谷歌的工程师已将 TensorRT 集成至 TensorFlow 1.7，使得在 GPU上运行深度学习推理应用更加容易。NVIDIA 优化了全球领先的语音框架 Kaldi，以实现运行于 GPU 的更快性能。GPU 语音加速意味着消费者将获得更加准确与实用的虚拟助手，并降低数据中心运营商的部署成本。