NVIDIA 的 GeForce RTX 5090 和 5080 GPU 基于突破性的 NVIDIA Blackwell 架构，通过 NVIDIA DLSS 4 技术提供高达 8 倍的帧速率，通过 NVIDIA Reflex 2 降低延迟，并通过 NVIDIA RTX 神经网络增强图形保真度

这些 GPU 旨在加速最新的生成式 AI 工作负载，每秒可实现高达 3,352 万亿次 AI 运算 (TOPS)，为 AI 爱好者、游戏玩家、创作者和开发者带来令人难以置信的体验。

为了帮助 AI 开发者和爱好者利用这些功能，NVIDIA 在上个月的 CES 贸易展上推出了 NVIDIA NIM 和 RTX 的 AI 蓝图。 NVIDIA NIM 微服务是预先打包的生成式 AI 模型，可让开发人员和爱好者轻松开始使用生成式 AI、快速迭代并利用 RTX 的强大功能在 Windows PC 上加速 AI。NVIDIA AI 蓝图是参考项目，向开发人员展示如何使用 NIM 微服务构建下一代 AI 体验。

NIM 和 AI 蓝图针对 GeForce RTX 50 系列 GPU 进行了优化。这些技术无缝协作，帮助开发者和爱好者在 AI PC 上构建、迭代和提供尖端的 AI 体验。

NVIDIA NIM 加速 PC 上的生成式 AI

虽然 AI 模型开发正在迅速推进，但将这些创新引入 PC 对许多人来说仍然是一个挑战。在 Hugging Face 等平台上发布的模型必须经过策划、调整和量化才能在 PC 上运行。它们还需要集成到新的 AI 应用程序编程接口 (API) 中，以确保与现有工具的兼容性，并转换为优化的推理后端以获得最佳性能。

适用于 RTX AI PC 和工作站的 NVIDIA NIM 微服务可以通过提供对社区驱动和 N 的访问来简化此过程的复杂性。VIDIA 开发的 AI 模型。这些微服务很容易通过行业标准 API 下载和连接，涵盖了人工智能 PC 所必需的关键模式。它们还与各种 AI 工具兼容，并提供灵活的部署选项，无论是在 PC、数据中心还是云端。

NIM 微服务包括在具有 RTX GPU 的 PC 上运行优化模型所需的一切，包括针对特定 GPU 的预构建引擎、NVIDIA TensorRT 软件开发套件 (SDK)、用于使用 Tensor Core 加速推理的开源 NVIDIA TensorRT-LLM 库等等。

Microsoft与 NVIDIA 合作，在 Windows Linux 子系统 (WSL2) 中启用 NIM 微服务和 RTX AI 蓝图。借助 WSL2，在数据中心 GPU 上运行的相同 AI 容器现在可以在 RTX PC 上高效运行，使开发人员能够更轻松地跨平台构建、测试和部署 AI 模型。

此外，NIM 和 AI 蓝图利用 Blackwell 的关键创新GeForce RTX 50 系列所基于的架构，包括第五代 Tensor Core 并支持 FP4 精度。

Tensor Core 驱动下一代 AI 性能

AI 计算的要求极高，需要大量的处理能力。无论是生成图像和视频，还是理解语言并做出实时决策，人工智能模型都依赖于每秒完成数百万亿次数学运算。为了跟上步伐，计算机需要专门为 AI 构建的专用硬件。

2018 年，NVIDIA GeForce RTX GPU 引入了 Tensor Core（专为处理这些密集型工作负载而设计的专用 AI 处理器），从而改变了游戏规则。与传统计算核心不同，Tensor Core 旨在通过更快、更高效地执行计算来加速 AI。这一突破有助于将人工智能驱动的游戏、创意工具和生产力应用程序带入主流。

Blackwell ar架构将人工智能加速提升到一个新的水平。 Blackwell GPU 中的第五代 Tensor Core 可提供高达 3,352 AI TOPS，可以处理要求更高的 AI 任务并同时运行多个 AI 模型。这意味着从实时渲染到智能助理的更快的人工智能驱动体验，为游戏、内容创建等方面的更大创新铺平了道路。

FP4 - 更小的模型，更强的性能

优化人工智能性能的另一种方法是通过量化，这是一种缩小模型大小的技术，使模型运行得更快，同时减少内存需求。

进入 FP4 - 一种先进的量化格式，允许人工智能模型在不影响输出质量的情况下运行得更快、更精简。与 FP16 相比，它可将模型大小减少多达 60%，性能提高一倍以上，且降级最小。

例如，Black Forest Labs 的 FP16 FLUX.1 [dev] 模型需要超过 23GB 的 VRAM，这意味着它只能由 GeForce RTX 4090 和专业 GPU 支持。使用 FP4，FLUX.1 [dev] 需要不到 10GB，因此可以在更多 GeForce RTX GPU 上本地运行。

在配备 FP16 的 GeForce RTX 4090 上，FLUX.1 [dev] 模型只需 30 个步骤即可在 15 秒内生成图像。使用配备 FP4 的 GeForce RTX 5090，只需五秒多一点即可生成图像。

Blackwell 架构原生支持 FP4，让您可以比以往更轻松地在本地 PC 上部署高性能 AI。它还集成到 NIM 微服务中，有效优化以前难以量化的模型。通过实现更高效的 AI 处理，FP4 有助于为内容创建带来更快、更智能的 AI 体验。

AI 蓝图为 RTX PC 上的高级 AI 工作流程提供支持

基于 NIM 微服务构建的 NVIDIA AI 蓝图提供预先打包的优化参考实现，让开发先进的 AI 项目变得更加轻松cts — 无论是数字人类、播客生成器还是应用程序助手。

在 CES 上，NVIDIA 展示了 PDF to Podcast，这是一个蓝图，允许用户将 PDF 转换为有趣的播客，甚至可以在事后与 AI 播客主机创建问答。 此工作流程集成了七种不同的 AI 模型，所有模型都同步工作，以提供动态的交互式体验。

借助 AI 蓝图，用户可以在 RTX PC 和工作站上快速从试验过渡到开发 AI。

NIM 和 AI 蓝图即将登陆 RTX PC 和工作站

生成式 AI 正在突破游戏、内容创建等领域的可能性界限。借助 NIM 微服务和 AI 蓝图，最新的 AI 进步不再局限于云 - 它们现在针对 RTX PC 进行了优化。借助 RTX GPU，开发人员和爱好者可以直接从 PC 和工作站在本地试验、构建和部署 AI。

NIM 微服务和 AI 蓝图即将推出，初步为 GeForce RTX 50 系列、GeForce RTX 4090 和 4080 以及 NVIDIA RTX 6000 和 5000 专业 GPU 提供硬件支持。未来将支持更多 GPU。