电脑硬件

显存到底是什么?为什么本地 AI 需要显存?

从显卡的工作台开始理解显存,学会判断模型为什么装不下,以及容量、速度和性能之间的关系。

文章目录显存是显卡旁边的高速工作区为什么本地 AI 特别在意容量容量和速度不是一回事选择前先回答三个问题

这是一篇用于验证图片、提示框和 SEO 的示例教程。

显存是显卡旁边的高速工作区

显存(VRAM)是显卡直接使用的高速内存。GPU 计算前,需要把模型、图片和中间数据放进显存。

GPU 与显存分工示意图,GPU 负责计算,显存临时存放数据
可以把 GPU 理解为计算者,把显存理解为紧挨着它的工作台。

为什么本地 AI 特别在意容量

大模型本身由大量参数组成。运行时,模型参数、上下文和计算产生的临时数据都会占用空间。如果需要的容量超过显存,软件可能把一部分工作转移到内存,速度通常会下降;也可能直接提示无法加载。

容量和速度不是一回事

容量决定“能不能放下”,GPU 的计算能力和显存带宽更多影响“跑得多快”。大容量旧显卡不一定比小容量新显卡快,但在装载大模型时可能更有余地。

选择前先回答三个问题

  1. 你准备运行文字模型,还是生成图片或视频?
  2. 目标模型大约多大,使用哪种量化?
  3. 你能接受多慢,以及是否愿意让内存分担?

得到这些答案后,再看真实测试,比只看显存数字更可靠。

← 返回电脑硬件