# NVIDIA GPU CUDA Core Anatomy

How CUDA cores and Tensor Cores inside an NVIDIA GPU run thousands of threads at once to speed up AI

By cosmic\-fox\-1fc562e1

Topic: Computing, AI & Electronics

[Open the interactive Jig](https://ask.jig.com/j/ok7VhZoqpeLt)

## Transcript

### 1. 一块显卡的解剖图

这是一块显卡的解剖模型。中间是 GPU 芯片，周围一圈小方块是显存；右边放大的是芯片里的一个 SM，左边是一颗 CPU，用来对比。点一下任何部件，就能放大看它。

拖动空白处转动视角，滚轮或双指捏合可以缩放。

### 2. 显存：AI 的数据仓库

显存（VRAM）是紧挨着 GPU 芯片的高速内存，存放 AI 模型的“权重”和要处理的数据。看，光点正从 12 颗显存芯片流进 GPU：橙色是权重，蓝色是输入数据。

RTX 4090 有 24 GB 显存，每秒能搬运大约 1 TB 数据。

### 3. 芯片里的 128 个 SM

放大 GPU 芯片，会看到一格一格的小方块，每一格就是一个流式多处理器（SM），也就是一个计算车间。RTX 4090 启用了 128 个 SM，它们共用中间的二级缓存，并且可以同时开工。

这里的芯片是放大的示意模型；真实芯片约 609 平方毫米，像一张邮票那么大。

### 4. 走进一个 SM

这是放大的一个 SM。它分成 4 个分区，每个分区有一个线程束调度器、一块寄存器、32 个 CUDA 核心和 1 个张量核心。最里侧的共享内存把数据分发给大家。

一个 SM 共有 128 个 CUDA 核心和 4 个张量核心（Tensor Core）。

### 5. CUDA 核心：万能小工人

CUDA 核心是很简单的计算单元，每个时钟周期做一次乘法加法。32 个线程组成一个“线程束”，听同一条指令一起干活，所以绿灯是一组一组闪的。屏幕上，它们一格一格地算出矩阵乘法的结果。

RTX 4090 一共有 16,384 个 CUDA 核心，数万个线程同时在排队工作。

### 6. 张量核心：矩阵乘法快手

AI 最主要的计算是矩阵乘法：把两张数字表格相乘。张量核心专门做这件事，一次就算完一小块表格，而不是一格一格地算。切换看看，两者填满结果有多快。

张量核心不取代 CUDA 核心：激活函数、整理数据这些其余工作仍由 CUDA 核心完成。

### 7. CPU 对比 GPU

CPU 只有少数几个强大的核心，擅长一步接一步的复杂任务。GPU 有成千上万个简单核心，可以把同一个操作同时用在大量数据上。按下按钮，看两边谁先完成 256 个小任务。

这是示意比例；真实的速度差距取决于具体任务。

### 8. 运行一次 AI 推理

推理，就是让训练好的模型给出答案。按下按钮：数据从显存流进 SM，张量核心做矩阵乘法，CUDA 核心完成其余计算，神经网络一层一层亮起，最后认出一只猫。

大模型推理时，显存带宽常常是瓶颈：数据搬得够快，核心才不会空等。