TensorRT 现在还加速稳定扩散，以及 RTX 视频超分辨率更新版本。

生成式人工智能是个人计算历史上最重要的趋势之一，它为游戏、创造力、视频、生产力、开发等带来了进步。

GeForce RTX和 NVIDIA RTX GPU 配备了名为 Tensor Core 的专用 AI 处理器，正在为超过 1 亿台 Windows PC 和工作站带来原生生成式 AI 的强大功能。

如今，通过适用于 Windows 的TensorRT-LLM ， PC 上的生成式 AI 速度提高了 4 倍，这是一个开源库，可加速更新 AI 大型语言模型（如 Llama 2 和 Code Llama）的推理性能。此前，上个月发布了针对数据中心的TensorRT-LLM。

NVIDIA 还发布了帮助开发人员加速 LLM 的工具，包括使用 TensorRT-LLM 优化自定义模型的脚本、TensorRT 优化的开源模型以及展示 LLM 响应速度和质量的开发人员参考项目。

TensorRT 加速现在可通过 Automatic1111 发行版在流行的 Web UI 中用于稳定扩散。与之前最快的实现相比，它使生成式 AI 扩散模型的速度提高了 2 倍。

此外，RTX 视频超分辨率(VSR) 1.5 版已作为今天的Game Ready 驱动程序版本的一部分提供，并将在下个月初发布的下一个NVIDIA Studio 驱动程序中提供。

使用 TensorRT 增强法学硕士的能力

法学硕士正在提高生产力——参与聊天、总结文档和网络内容、起草电子邮件和博客——并且是人工智能和其他可以自动分析数据并生成大量内容的软件新管道的核心。

TensorRT-LLM 是一个用于加速 LLM 推理的库，为开发人员和最终用户提供了 LLM 的优势，LLM 现在可以在 RTX 支持的 Windows PC 上运行速度提高 4 倍。

在批量大小较高的情况下，这种加速可显着改善更复杂的 LLM 使用体验，例如同时输出多个独特的自动完成结果的写作和编码助手。其结果是加速了性能并提高了质量，让用户可以选择最好的。

当将 LLM 功能与其他技术集成时，TensorRT-LLM 加速也很有用，例如在检索增强生成 (RAG) 中，LLM 与向量库或向量数据库配对。RAG 使法学硕士能够根据特定数据集（例如用户电子邮件或网站上的文章）提供响应，以提供更有针对性的答案。

为了以实际的方式展示这一点，当问题“NVIDIA ACE 如何产生情绪反应？”时 当被问及 LLaMa 2 基础模型时，它返回了无益的响应。

响应更好、更快。

相反，将 RAG 与最近加载到矢量库中的 GeForce 新闻文章结合使用并连接到相同的 Llama 2 模型，不仅返回了正确的答案（使用 NeMo SteerLM），而且通过 TensorRT-LLM 加速速度更快。这种速度和熟练程度的结合为用户提供了更智能的解决方案。

TensorRT-LLM 很快即可从NVIDIA 开发者网站下载。TensorRT 优化的开源模型和以 GeForce 新闻作为示例项目的 RAG 演示可在ngc.nvidia.com和GitHub.com/NVIDIA上获取。

自动加速

扩散模型，如稳定扩散，用于想象和创造令人惊叹的新颖艺术作品。图像生成是一个迭代过程，可能需要数百个周期才能实现完美的输出。当在性能不足的计算机上完成时，此迭代可能会增加长达数小时的等待时间。

TensorRT 旨在通过层融合、精确校准、内核自动调整和其他功能来加速 AI 模型，从而显着提高推理效率和速度。这使得它对于实时应用程序和资源密集型任务不可或缺。

现在，TensorRT 将稳定扩散的速度提高了一倍。

具有 TensorRT 加速功能的 Stable Diffusion 与最流行的发行版、Automatic1111 的 WebUI 兼容，可帮助用户更快地迭代并减少在计算机上等待的时间，从而更快地提供最终图像。在 GeForce RTX 4090 上，它的运行速度比配备 Apple M2 Ultra 的 Mac 上的顶级实现快 7 倍。该扩展程序今天可供下载。

稳定扩散管道的 TensorRT 演示为开发人员提供了有关如何准备扩散模型并使用 TensorRT 加速模型的参考实现。对于有兴趣增强扩散管道并为应用程序带来闪电般快速推理的开发人员来说，这是一个起点。

视频超级棒

人工智能正在改善所有用户的日常电脑体验。流媒体视频——几乎来自任何来源，如 YouTube、Twitch、Prime Video、Disney+ 和无数其他来源——是 PC 上最受欢迎的活动之一。得益于 AI 和 RTX，它的图像质量再次得到更新。

RTX VSR是 AI 像素处理领域的一项突破，可通过减少或消除视频压缩造成的伪像来提高流媒体视频内容的质量。它还锐化边缘和细节。

RTX VSR 1.5 版本现已推出，通过更新的模型进一步提高了视觉质量，消除了以原始分辨率播放的内容的伪影，并增加了对基于 NVIDIA Turing 架构的 RTX GPU（专业 RTX 和 GeForce RTX 20 系列 GPU）的支持。

重新训练 VSR AI 模型有助于它学会准确识别细微细节和压缩伪影之间的差异。因此，人工智能增强的图像在放大过程中可以更准确地保留细节。更精细的细节更加明显，整体图像看起来更清晰。

1.5 版的新功能是能够消除以显示器的原始分辨率播放的视频的伪影。最初的版本仅在升级时增强了视频。例如，现在，由于严重伪影减少，传输到 1080p 分辨率显示器的 1080p 视频看起来会更流畅。

RTX VSR 1.5 现已在最新的 Game Ready 驱动程序中向所有 RTX 用户开放。它将在即将于下月初发布的 NVIDIA Studio 驱动程序中提供。

RTX VSR 是 NVIDIA 软件、工具、库和 SDK 之一（如上所述，加上 DLSS、Omniverse、AI Workbench 等），帮助向消费者带来了 400 多个支持 AI 的应用程序和游戏。

人工智能时代已经来临。RTX 在其发展的每一步都在不断增强。