黄仁勋上一次从家里的烤箱中拿出的新品是HGX。12月17日,他家厨房里的烤箱中“烤”出来了另一个新产品,那就是NVIDIA的Jetson Orin Nano Super------一款高性价比的生成式AI超级计算机。黄仁勋从“烤箱”中端出该款产品的时候,在幽默地表示,由于“烤”的时间有点久,所以产品变得更小巧了。
确实,NVIDIA此次更新的全新 NVIDIA Jetson Orin Nano Super 开发者套件只有手掌大小,尺寸为45×69.6mm,与信用卡大小相当。不过,虽然它体积不大,但性能却没有缩水,反而变得更强了。更重要的是,价格相比前一代产品直接减半,从499美元降至249美元,其中国内售价为2070元。

该开发者套件包含一个 Jetson Orin Nano 8GB 系统级模组(SoM)和一个参考载板,SoM中集成了NVIDIA Tegra Orin SoC,该SoC具有6核Arm Cortex-78AE 64位处理器,最高频率位1.7GHz,拥有1.5MB的L2缓存和4MB的L3缓存;GPU基于Ampere架构,拥有32个第三代Tensor Core和1024个最高频率为1020MHz的CUDA核心;板载了8GB的LPDDR5,128位,内存带宽位102GB/s;支持SD卡插槽和外部NVMe,功率为7W~25W。
在性能方面,新的开发者套件与上一代产品相比,其生成式AI推理性能提升了70%,从原来的40TOPS提升至67 INT8 TOPS,内存带宽提高了 50%,达到 102GB/s。

生态方面,新的开发者套件支持Cuda和CUDNN,还支持TensorRT等NVIDIA的完整AI生态系统。
应用方面,新的开发者套件可以适用于机器人、工作站、计算机视觉等边缘计算等应用领域。
据NVIDIA介绍,新的Jetson Orin Nano Super超计算机能运行HGX所能做的所有程序,包括运行大语言模型。
总的来说,Jetson Orin Nano Super超计算机是一款价格合理,性能卓越的边缘AI开发工具,其亲民的定价也是让生成式AI走向普及的重要一步。无论是探索大语言模型的本地运行,还是进行一些计算机视觉应用,该套件都显示了其灵活性和计算能力。未来,特别是火热的机器人赛道,更是它的大展拳脚之地。
全部评论