为什么“本地跑模型”这件事值得先测速

很多人第一次尝试在自己电脑上跑大模型，都是被同一个问题劝退的：到底能不能跑得动？

网上教程里，有人说 8GB 显存跑 7B 模型“还行”，有人又说“卡得没法用”。这些说法都没错，因为“快不快”取决于模型规模、量化方式、上下文长度、显存带宽、CPU 和内存等一大堆变量。等你花几千块买了显卡才发现速度不理想，就有点晚了。

Llmspeed（llmspeed.dev）想解决的就是这个痛点：在买硬件之前，先让你对“本地大模型跑起来是什么感觉”有个直观预期。

Llmspeed 到底在做什么

简单说，它把不同本地模型的推理速度做成可感知的体验，而不是只给你一堆冷冰冰的 tokens/s 数字。

对普通用户来说，最关键的三个认知是：

• tokens/s 决定体感：大约 10 tokens/s 以下，输出像老式打字机；20～30 tokens/s 已经接近正常阅读节奏；50 以上就很顺滑了。
• 模型越大越慢：同硬件下，7B、13B、30B 级别的模型速度差距非常明显。
• 量化是救命稻草：4-bit 量化能大幅降低显存占用，代价是质量略有损失，但往往是“能跑”和“跑不动”的分界线。

Llmspeed 的价值就在于把这些变量和真实体感对应起来，让你在选硬件、选模型、选量化方案时有个参照系，而不是盲买。