How CUDA cores and Tensor Cores inside an NVIDIA GPU run thousands of threads at once to speed up AI
这是一块显卡的解剖模型。中间是 GPU 芯片,周围一圈小方块是显存;右边放大的是芯片里的一个 SM,左边是一颗 CPU,用来对比。点一下任何部件,就能放大看它。
拖动空白处转动视角,滚轮或双指捏合可以缩放。
显存(VRAM)是紧挨着 GPU 芯片的高速内存,存放 AI 模型的“权重”和要处理的数据。看,光点正从 12 颗显存芯片流进 GPU:橙色是权重,蓝色是输入数据。
RTX 4090 有 24 GB 显存,每秒能搬运大约 1 TB 数据。
放大 GPU 芯片,会看到一格一格的小方块,每一格就是一个流式多处理器(SM),也就是一个计算车间。RTX 4090 启用了 128 个 SM,它们共用中间的二级缓存,并且可以同时开工。
这里的芯片是放大的示意模型;真实芯片约 609 平方毫米,像一张邮票那么大。
这是放大的一个 SM。它分成 4 个分区,每个分区有一个线程束调度器、一块寄存器、32 个 CUDA 核心和 1 个张量核心。最里侧的共享内存把数据分发给大家。
CUDA 核心是很简单的计算单元,每个时钟周期做一次乘法加法。32 个线程组成一个“线程束”,听同一条指令一起干活,所以绿灯是一组一组闪的。屏幕上,它们一格一格地算出矩阵乘法的结果。
RTX 4090 一共有 16,384 个 CUDA 核心,数万个线程同时在排队工作。
AI 最主要的计算是矩阵乘法:把两张数字表格相乘。张量核心专门做这件事,一次就算完一小块表格,而不是一格一格地算。切换看看,两者填满结果有多快。
张量核心不取代 CUDA 核心:激活函数、整理数据这些其余工作仍由 CUDA 核心完成。
CPU 只有少数几个强大的核心,擅长一步接一步的复杂任务。GPU 有成千上万个简单核心,可以把同一个操作同时用在大量数据上。按下按钮,看两边谁先完成 256 个小任务。
这是示意比例;真实的速度差距取决于具体任务。
推理,就是让训练好的模型给出答案。按下按钮:数据从显存流进 SM,张量核心做矩阵乘法,CUDA 核心完成其余计算,神经网络一层一层亮起,最后认出一只猫。
大模型推理时,显存带宽常常是瓶颈:数据搬得够快,核心才不会空等。