【丽台科技干货整理】GTC22 主题演讲重点回顾

　　9月20日23:00首播(9月21日10:00重播)的秋季 GTC22 主题演讲上，黄仁勋用了一个半小时的时间，为大家展示了NVIDIA RTX、NVIDIA AI 和 NVIDIA Omniverse 的最新进展 ，还包括它们对人工智能领域新突破的帮助，以及大量应用落地。

　　下面，一起来梳理下本次 GTC 主题演讲上发布的振奋人心的成果。

　　PART.

　　0 1

　　第 3 代 RTX 架构 --  Ada Lovelace

　　NVIDIA 宣布推出第3 代 RTX 架构 —— Ada Lovelace ，单个 Ada GPU 即可支持 RacerX 的运行。这代 RTX 以数学家 Ada Lovelace 的名字命名，她被公认为世界上第一位计算机程序员。

　　©2022 NVIDIA

　　图片截取自GTC Sept 2022 Keynote视频

　　NVIDIA 工程师与 TSMC 紧密合作，创建针对 GPU 优化的 4N 工艺，此工艺让我们能够集成 760 亿个晶体管和超过 18000 个 CUDA 核心，比上一代 Ampere 多 70%。

　　©2022 NVIDIA

　　图片截取自GTC Sept 2022 Keynote视频

　　最新架构 Ada Lovelace 的主要更新如下：

　　01

　　SER（着色器执行重排序）能力

　　Ada 的 SM 多单元流处理器新增Shader Execution Reordering(SER，着色器执行重排序)能力，可以实时重新调度任务，通过即时重新安排着色器负载来提高执行效率，从而更好利用 GPU 资源，把光追速度提升 2-3 倍，整体游戏性能可以提升 25%。

　　02

　　第三代 RT Core

　　全新第三代 RT Core 实现了两倍的光线与三角形求交性能以及两个全新的重要硬件单元：全新的 Opacity Micromap 引擎可以把光线追踪的 Alpha-test 几何性能提升 2 倍，全新的 Micro-Mesh 引擎可提升几何图形的丰富度，而不会带来 BVH 构建和存储资源的更多消耗。

　　03

　　第四代 Tensor Core

　　全新第四代 Tensor Core 新增了 Hopper FP8 Transformer Engine，可以实现 1.4  petaFLOPs 算力，AI 性能翻倍。

　　04

　　DLSS 3

　　Ada 引入了 DLSS 3，这个全新 AI 功能可生成全新帧，而不仅仅是像素。

　　DLSS 3 包含四个组件：

　　新的光流加速器

　　游戏引擎运动矢量

　　卷积自动编码 AI 帧生成器

　　NVIDIA Reflex 超低延迟流水线

　　DLSS 3 会处理新帧和上一帧，以了解场景的变化情况。光流加速器为神经网络提供了像素级的帧到帧的运动方向和速度信息。此后，通过综合游戏中的帧以及几何图形和像素的运动矢量，并将其输入至神经网络，就能计算出中间帧了。

　　DLSS 3 在不涉及图形管线处理的前提下生成全新的帧，相较于单纯的渲染，游戏性能最高可提升 4 倍，DLSS 3 可独立于游戏内容直接生成全新帧，因此这项技术可以令无论是对 GPU 性能要求较高的游戏，还是受到 CPU 限制的游戏，都将从该技术中受益。对于受到 CPU 限制的游戏(例如物理计算密集型游戏或大型场景游戏)，DLSS 3 令 Ada GPU 能够为玩家带来远高于 CPU 可计算的帧率。DLSS 3 是精彩卓著的神经网络渲染创新之一。

　　05

　　双 NVIDIA 编码器（ NVENC ）

　　双 NVIDIA 编码器(NVENC)将输出时间至多缩短一半，并支持AV1。越来越多的公司，如 OBS、Blackmagic Design DaVinci Resolve、Discord 等都已在采用 NVENC AV1 编码器。

　　重磅推出 GeForce RTX 40 系列 GPU！

　　在宣布 Ada Lovelace 架构之后，NVIDIA 还宣布推出了万众瞩目的 NVIDIA GeForce RTX® 40 系列 GPU ，旨在为游戏玩家和创作者提供革命性性能，其中新旗舰产品 RTX 4090 GPU 的性能相较上一代提升最高可达 4 倍，将于 10 月 12 日上市。

　　作为全球首款基于全新 Ada Lovelace 架构的 GPU ，RTX 40 系列在性能和效率上都实现了巨大的代际飞跃，意味着实时光线追踪和利用 AI 生成像素的神经网络渲染的新时代已然来临。

　　PART.

　　0 2

　　Omniverse 相关发布

　　Omniverse 是用来构建和运行元宇宙应用的平台，无论数字世界和现实世界在何处交汇，Omniverse 都能发挥作用。

　　01

　　Omniverse应用：RTX Remix

　　“传送门(Portal)”RTX 版是一款游戏 MOD，是NVIDIA 使用 NVIDIA Omniverse 搭建的。MOD 是一种受众庞大的游戏文化，人人都可以成为创作者。NVIDIA为游戏 MOD 打造了一款名为 RTX Remix 的 Ominverse 应用，启动游戏并将游戏捕获到已加载至 Omniverse 的 USD 文件中。

　　一旦进入 RTX Remix，既可以使用 AI 辅助工具集包含的深度学习模型来提升纹理和素材的分辨率，也可以使用一个 AI 模型把材质转换为具有精确物理属性的材质。同时，丰富的 Omniverse 创意工具生态系统可用于增强游戏素材。完成后，导出 RTX Mod 包，即可享受精彩纷呈的 RTX 游戏之旅。

　　RTX Remix 是非常出色的技术，同时也是非常先进的 MOD 工具。“传送门(Portal)”RTX 版和 RTX Remix 将在 Ada 发布后不久推出。

　　02

　　NVIDIA RacerX

　　NVIDIA RacerX 是基于 NVIDIA Omniverse 构建的、单 GPU 运行的全交互式仿真展示。RacerX 是基于物理定律的仿真，其中光照、反射和折射均采用光线追踪技术，没有经过任何预渲染和烘焙，汽车的零部件和连接件采用单独建模，他们的物理特性会影响到操控的运动表现。环境中的事物不是静态道具，而是刚体、布料和流体仿真，烟雾、火焰和灰尘是体积仿真。RacerX 就是基于仿真的。未来的游戏将不再需要预烘焙，未来的游戏将是仿真的世界。

　　NVIDIA RacerX 由 30 位艺术家创建而成，采用了 11 种工具，支持艺术家跨 12 个时区开展协作，他们仅在 3 个月内就完成了创建工作。该团队通过 Omniverse 进行工具连接和协作，并创建了自定义的 3D 制作流程用来编排和管理工作。

　　03

　　Omniverse 重大更新

　　©2022 NVIDIA

　　图片截取自GTC Sept 2022 Keynote视频

　　>>  支持 Ada Lovelace GPU ，在光线追踪和大型场景性能方面实现巨大飞跃;

　　>>  基于 GAN 和扩散模型的新型神经渲染工具 ；

　　>>  OmniGraph 是一个图形执行引擎，可通过程序化的方式控制行为、动作和行动;

　　>>  Omniverse Physics 的重大更新，用来处理复杂的多连接部件对象的运动情况;

　　>>  全新的 Cloud XR ，支持在 VR 中实现 Ada 强大的光线追踪功能;

　　>>  首个用于合成数据生成和数字孪生模拟的SimReady 素材库；

　　>>  Replicator 是备受青睐的 Omniverse 应用之一，用来生成合成数据

　　从而训练自动驾驶汽车、机器人和各种计算机视觉模型;

　　>>  新的 Omniverse JT 连接器 。

　　©2022 NVIDIA

　　图片截取自GTC Sept 2022 Keynote视频

　　Siemens 发明了 JT，这是产品生命周期管理的行业标准语言，也是 NX、Creo、Catia 和 Inventor 等 CAD 系统的互操作格式。JT 连接器使得工业和制造业可以运用 Omniverse。Omniverse 是一个企业平台，该平台适用于从产品设计和造型到工程策划、制造、营销和运营的整个产品生命周期，无论是制作电影或游戏、生产汽车或任何消费品，还是建立和运营工厂和仓库，其核心都是超级复杂的 3D 制作流程。

　　04

　　Omniverse 计算平台

　　©2022 NVIDIA

　　图片截取自GTC Sept 2022 Keynote视频

　　NVIDIA Omniverse 计算平台由三部分构成：

　　RTX 计算机(供创作者、设计师和工程师使用)

　　OVX 服务器(用来托管与 Nucleus 数据库的连接并运行虚拟世界模拟)

　　NVIDIA GDN(进入 Omniverse 的门户)

　　其中，全球图形交付网络(即 GDN)能够覆盖 100 个地区，为之提供响应灵敏的超快 RTX 图形。通过 NVIDIA RTX PC、云端的 NVIDIA GPU 和 NVIDIA GDN 可以打造覆盖全球的 Omniverse 计算平台。

　　05 NVIDIA Omniverse Cloud

　　©2022 NVIDIA

　　图片截取自GTC Sept 2022 Keynote视频

　　NVIDIA 宣布推出 NVIDIA Omniverse Cloud， 这是一套软件和基础设施即服务( Iaas )套件，可连接在云上、本地或单个设备上运行的 Omniverse 应用。此外，Replicator 和 Farm 也可在云上运行。如今，用户可在 AWS 上使用 Omniverse Cloud Replicator 和 Farm 容器，NVIDIA 还将这些容器作为托管服务提供。

　　06

　　第二代 OVX 计算机

　　面向元宇宙应用，黄仁勋宣布推出第二代 OVX 计算机，由全新 Ada Lovelace L40 数据中心 GPU 和增强的网络技术提供支持，以提供突破性的实时图形、AI 和数字孪生模拟功能。

　　借助 48GB 超大帧缓冲区，拥有 8 个 L40 GPU 的第二代 OVX 将能完成超大的 Omniverse 虚拟世界仿真。L40 GPU 已全面进入量产，第二代 OVX 系统将于明年年初向市场提供。

　　PART.

　　0 3

　　自动驾驶与 AI

　　01 新一代自动驾驶芯片 NVIDIA DRIVE Thor

　　本次 GTC 宣布的 NVIDIA DRIVE Thor 的吞吐量达到 Atlan 的 2 倍，整型峰值性能可达2000 TOPS，FP8 精度的峰值性能可达到 2000 TFLOPS，同时降低整体系统成本。Atlan 是 NVIDIA 于 2021 年推出的 1000 TOPS 的 SoC。

　　©2022 NVIDIA

　　图片截取自GTC Sept 2022 Keynote视频

　　实现这些目标离不开三个因素：Grace、Hopper 和 Ada Lovelace，其中 Grace 提供了令人惊叹的 Transformer 引擎、ViT 的快速变革，Ada 中的多实例 GPU 有助于车载计算资源的集中化，将成本降低数百美元。

　　NVIDIA DRIVE Thor 采用很多新技术，它可以被配置为多种模式，将其 2000 TOPS 和 2000 TFLOPs 全部用于自动驾驶工作流。同时可以将其配置为一部分用于驾驶舱 AI 和信息娱乐，一部分用于辅助驾驶。Thor 中的多计算域隔离允许并发、对时间敏感的多进程无中断运行。可以在一台计算机上同时运行 Linux、QNX 和 Android。

　　此外，Thor 还集中了众多计算资源，降低成本与功耗的同时实现功能飞跃。目前，汽车的停车、主动安全、驾驶员监控、摄像头镜像、集群和信息娱乐均由不同的计算设备控制。而未来，这些功能将不再由单独的计算设备控制，而是由在 Thor 上运行、并随时间推移不断改进的软件统一控制。

　　Thor 将从 2025 年开始为自动驾驶汽车的集中式车载计算机提供支持。与 Orin 一样，Thor 处理器将应用于机器人、医疗仪器、工业自动化和边缘 AI 系统领域。

　　02 NVIDIA DRIVE 平台

　　©2022 NVIDIA

　　图片截取自GTC Sept 2022 Keynote视频

　　NVIDIA DRIVE 是一个面向自动驾驶汽车开发与部署的端到端平台，在开发方面包含了 Replicator 合成数据生成、DRIVE  Sim 和 DRIVE  Map，在部署方面包含了全栈驾驶和车内 AI 应用、AI 计算机和 Hyperion 自动驾驶汽车参考架构。

　　丽台科技

　　Drive Map使自动驾驶汽车能够更安全地导航

　　NVIDIA DRIVE  迎来了一系列功能更新，首先是名为 Neural Reconstruction Engine 的 AI 工作流，已成为了 DRIVE  Sim 的一项主要功能。它可以根据记录的传感器数据构建 3D 场景，在将 3D 场景导入 DRIVE  Sim 之后通过人工创建或 AI 生成的内容对其进行增强。另外，这个从视频到 3D 几何图形的工作流可以在 OVX 系统上运行。

　　©2022 NVIDIA

　　图片截取自GTC Sept 2022 Keynote视频

　　03

　　Jetson Orin Nano

　　Drive Orin 是 NVIDIA 推出的第二代自动驾驶汽车计算芯片，专为机器人开发设计。目前看来非常成功，已经被 40 多家汽车、卡车和无人驾驶出租车使用。Jetson 是 NVIDIA 的机器人计算机，拥有 100 万开发者，使用的公司约为 6000 家。

　　本次 GTC 大会上，黄仁勋宣布推出一款微型机器人系统级模块芯片 Jetson Orin Nano，它的速度较之前的 Jetson Nano 快了 80 倍。Jetson Orin Nano 可以运行 NVIDIA Isaac 机器人堆栈，并具有 ROS 2 GPU 加速框架。

　　Orin 还是 Metropolis 运行所在的工业级 IGX Edge AI 平台的机器人处理器。NVIDIA 边缘 AI 平台 Metropolis 的下载量已达 100 万次，在全球拥有1000 多家应用合作伙伴。

　　©2022 NVIDIA

　　图片截取自GTC Sept 2022 Keynote视频

　　全球大型工业自动化公司 Siemens 西门子将 Metropolis 和 Orin IGX 用于其工业边缘计算平台。

　　除了机器人开发外，Orin IGX 也是医疗影像应用的理想计算平台。在 Orin IGX 上运行的 NVIDIA Clara Holoscan 是一个低延迟的成像处理平台，包含用于数据处理、AI 模型训练、仿真和机器人开发应用的库。70 多家领先的医疗设备公司、创企及医疗中心都在 Clara Holoscan 上进行开发。

　　04

　　Isaac 进入云端

　　本次 GTC 上，NVIDIA 宣布 Isaac 将进入云端。在 NGC 上，可以获取云就绪 Omniverse VMI 虚拟机镜像和 Isaac 容器，并将其部署到任何公有云上。

　　©2022 NVIDIA

　　图片截取自GTC Sept 2022 Keynote视频

　　Isaac 平台是 NVIDIA 为 AMR(自主移动机器人)打造的，包含一些实用工具：仓库和工厂中常见物品的 Sim Ready 素材库;用于合成数据生成的 Replicator;具有与 ROS 和其他热门机器人生态系统的连接器的 Isaac Sim;采用 AI 和计算机视觉算法的 Isaac ROS 引擎以及可连接 ROS 桥接器的运行时;实时车队任务分配和路线规划引擎的cuOpt。