网站首页 tensorrt 第2页
-
业界 | TensorFlow 携手 NVIDIA，使用 TensorRT 优化 TensorFlow Serving 性能
AI科技评论按：日前，TensorFlow团队与NVIDIA携手合作，将NVIDIA用来实现高性能深度学习推理的平台——TensorRT与TensorFlowServing打通结合，使用户可以轻松地实现最佳性能的GPU...
2024-09-10 btikc 技术文章 14 ℃ 0 评论 -
TensorRT LLM加速Gemma!NVIDIA与谷歌牵手，RTX助推AI聊天
NVIDIA日前在其官方博客中表示，与谷歌合作在所有NVIDIAAI平台上为Gemma推出了优化。Gemma是谷歌最先进的新轻量级2B(20亿)和7B(70亿)参数开放语言模型，可以在任何地方运行，降低了成本，加快了特定领域用例的创新工作...
2024-09-10 btikc 技术文章 10 ℃ 0 评论 -
NVIDIA TensorRT
NVIDIATensorRT-LLM是一个用于优化大型语言模型（LLM）在NVIDIAGPU上的推理部署的工具。结合TritonInferenceServer，可以构建一个高效的推理服务系统。以下是实现优化部署的步骤：环境...
2024-09-10 btikc 技术文章 11 ℃ 0 评论 -
NVIDIA Grace Hopper超级芯片横扫MLPerf推理基准测试
NVIDIAGH200GraceHopper超级芯片首次亮相MLPerf行业基准测试，其运行了所有数据中心推理测试，进一步扩大了NVIDIAH100TensorCoreGPU的领先优势。总体测试结果表明，NVIDIAAI平台...
2024-09-10 btikc 技术文章 10 ℃ 0 评论 -
NVIDIA RTX显卡AI推理提速5倍!RTX PC轻松在本地搞定大模型
快科技11月16日消息，正在举行的微软Iginte全球技术大会上，微软发布一系列AI相关的全新优化模型、开发工具资源，帮助开发者更深入地释放硬件性能，拓展AI场景。尤是对于当下在AI领域占据绝对主导地位的NVIDIA来说，微软这次送上了一份...
2024-09-10 btikc 技术文章 11 ℃ 0 评论 -
丽台小课堂 | TensorRT介绍及实操 (1)
如何用GPU加速AI模型部署？当影像资料输入进模型时，需经过层层已经过优化的权重隐藏层，最后得到一个输出结果，此过程我们称为推论(inference)。推论过程依照模型参数量而有不同。若您的应用有计算时间的限制，是否也能透过GP...
2024-09-10 btikc 技术文章 15 ℃ 0 评论 -
NVIDIA TensorRT和Triton助力微信加速视觉应用
腾讯微信是一款跨平台的通讯工具。支持通过手机网络发送语音、图片、视频和文字等。截至2021年6月，微信在全球拥有超过12亿活跃用户，是国内活跃用户最多的社交软件。...
2024-09-10 btikc 技术文章 8 ℃ 0 评论 -
英伟达预告新版TensorRT-LLM，推理能力飙升5倍、支持Chat API
IT之家11月16日消息，微软Ignite2023大会已于今天拉开帷幕，英伟达高管出席本次大会并宣布更新TensorRT-LLM，添加了对OpenAIChatAPI的支持。IT之家今年10月报道，英伟达面向数据中...
2024-09-10 btikc 技术文章 7 ℃ 0 评论 -
TensorRT详细入门指北，如果你还不了解TensorRT，过来看看吧
Tensor是一个有助于在NVIDIA图形处理单元（GPU）上高性能推理c++库。它旨在与TesnsorFlow、Caffe、Pytorch以及MXNet等训练框架以互补的方式进行工作，专门致力于在GPU上快速有效地进行网络推理。...
2024-09-10 btikc 技术文章 9 ℃ 0 评论 -
英伟达全面分析(三):深度学习模型量化，TensorRT了解一下
本文为英伟达全面分析第三篇文章，也是基于前两篇文章（基本信息、GPU/CUDA架构）的补充，主要探讨深度学习模型量化的话题，之后两篇是计算平台和软件栈，请关注后续更新。...
2024-09-10 btikc 技术文章 9 ℃ 0 评论
- 控制面板
- 网站分类
- 最新留言
-