您现在的位置：kastop>> Kas信息 Web3信息>>正文内容

内存不够闪存来凑：AI 推理的底层逻辑正在重写

作者：未知来源：kastop.com 发布时间：2026年08月28日

内存不够，闪存来凑：AI 推理的底层逻辑正在重写

每个人都被"内存不够"教育过。

浏览器开到第三十个标签页，整台电脑开始卡顿；剪辑软件导出到 80% 突然崩溃。

这些时刻我们本能地明白一件事：程序要跑起来，得先住得下。住不下，再快的 CPU 也没用。

这条常识在 AI 上被放大到了荒谬的程度。

一个万亿参数级别的大模型，权重按 8-bit 存也要占掉 1 TB 以上的空间。要让它跑起来，按照过去几年的标准答案，你需要把这 1 TB 完整地塞进显存里——也就是十几张顶级加速卡，加上配套的机柜、供电和散热。

这就是为什么"算力荒"的真实面目其实是"内存荒"：卡贵，但卡上的内存更贵、更少、更难扩。

整个行业过去两年的资本开支，本质上都在为同一件事付钱：把模型装进内存。

然后，有人反过来做了。

过去几个月，我们陆续看到几组结果：一个 2.8 万亿参数的模型，被跑在了一张 4GB 显存的显卡上；一个 400B 参数的模型，被跑在了一台内存只有 12GB 的 iPhone 上。

它们的共同点是，模型本体压根就没进内存——它躺在 SSD 里，一边算，一边流进来。

这件事如果成立，意味着过去两年整个行业为之付费的那条假设，正在松动。

我想把这条线索拆开：这些实验到底是怎么做到的？它们证明了什么、又没有证明什么？如果"闪存开始干内存的活"这件事是真的，技术演进的压力最终会集中在哪一段？

4GB 显存，跑 2.8 万亿参数

先看最极端的那个案例。

AirLLM 这套推理方案，把 Kimi K3 这个 2.8 万亿参数的模型，跑在了一张 4GB 显存的消费级显卡上。

为了让这个数字有实感：4GB 显存大约是十年前入门级独显的水平，今天一台中端笔记本的核显都能分到差不多的量。而 2.8 万亿参数，是目前公开可用的模型里最大的那一档。

这两个数字放在同一句话里，按常识是不可能的。

按传统的 dense 模型逻辑，2.8 万亿参数即便按 8-bit 量化，权重也需要 2.8 TB 左右的存储空间，全部驻留在显存里才能开始推理。这意味着至少几十张顶级加速卡组成的集群。4GB 显存和 2.8 TB 权重之间，差着接近三个数量级。

但它跑起来了。机制并不神秘，甚至可以说朴素到有点不讲道理：

• 这个模型有 93 层，每一层有 896 个 expert
• 每处理一个 token，路由在每一层只会激活其中的 16 个
• 把一整层完全展开，需要 56GB显存，但单层实际读进来的权重只有约 1GB
• 93 层累计下来，生成一个 token 需要从 SSD 读入约 25GB 权重（激活参数约 50B，MXFP4 口径）

于是整个流程变成了：需要哪 16 个 expert，就从 SSD 里把这 16 个读出来，送进显存算完，扔掉，读下一批。显存不再是"模型的家"，而变成了一条传送带。

但必须马上说清楚代价：这套方案的实测吞吐是约 5 分钟一个 token，生成一个 500 token 的回答要跑 42 小时。它证明的是"能不能"，完全不是"好不好用"。

这里出现了全文第一个、也是最关键的一个转折——当模型不再需要驻留内存，性能瓶颈就从"内存有多大"变成了"数据流得有多快"。

2.8 万亿参数的模型能跑在一张 4GB 显存的显卡上，瓶颈完全落在 SSD 速度上！

请注意这句话的分量。

过去两年，所有关于 AI 硬件的讨论——加速卡的算力、HBM 的容量、机柜的功率密度——都建立在"模型必须驻留内存"这个前提上。一旦这个前提被解除，整条性能约束链就换了一个主角。

不是算力不够，不是显存不够，是硬盘读得不够快。

这不是一个学术玩具。它意味着一个普通人手里的设备，理论上能运行的模型规模，不再由它的内存决定，而由它的存储读取带宽决定。而这两者的价格差、扩展难度差，是几十倍量级的。

MoE：把大模型拆成很多小模型

上一节的机制值得展开讲，因为它是这篇文章后面所有推论的地基。而且这个地基有明确的边界——它并不是对所有模型都成立。

传统的 dense 模型，每生成一个 token，都要把全部权重从头到尾读一遍。1 TB 的模型就是每个 token 读 1 TB。

在这种结构下，把模型放在 SSD 上是纯粹的自杀行为：即便 SSD 有 5 GB/s 的读速，生成一个 token 也要 200 秒。

MoE 改变了这个算术。

模型被拆成大量互相独立的 expert，路由网络在每一层为每个 token 挑选一小撮激活。参数总量可以做得极大，但单次前向传播真正需要的权重，只是其中很小的一个子集。上面那个案例里，896 选 16，激活比例不到 2%。

于是"把整个模型装进内存"这个要求，就被降级成了"把这一小撮权重及时送到"。

我们可以换一个更直觉的说法：过去是把整个图书馆搬回家，现在是需要哪本借哪本。家里的书桌可以很小，只要图书馆到你家的路够快、跑腿的次数够省。

这条路上有三个具体的约束，理解它们，就理解了后面所有的技术演进方向：

• 带宽。每个 token 需要搬运约 25GB 权重，SSD 读速决定了理论上限。一块消费级 NVMe SSD 的顺序读取在 4–6 GB/s 量级，理论上限也就是每 5 秒一个 token。这就是天花板的位置。
• 访问粒度。SSD 的顺序大块读取很快，随机小块读取会掉一个数量级。而 expert 在磁盘上的分布天然是零散的——你需要的那 16 个，很可能分布在文件的 16 个不同位置。
• 延迟。闪存的读延迟在微秒量级，比 DRAM 慢两到三个数量级。如果每一层都要停下来等 I/O，算力就一直在空转。

有意思的地方在于，这三条约束，恰好定义了过去两年端侧推理领域几乎所有软件优化的方向。

权重按访问模式重排，让同一批常被一起激活的 expert 在磁盘上物理相邻，把随机读变成顺序读；预取，用当前层的激活去预测下一层要用哪些 expert，在计算的同时把数据提前拉进来，让 I/O 和算力重叠；缓存热权重，把高频激活的那部分常驻内存，只让长尾走磁盘。

每一项技术的聪明之处，都花在了同一件事上：绕开闪存的慢。

还有一条平行的战线是 KV cache。

上下文越长，KV cache 占用的内存越大，长对话场景下它甚至会超过权重本身。目前较好的量化方案已经能把 KV cache 压到六分之一左右，且几乎不损失精度——这等于直接把内存需求砍掉了大半。

我们把这些放在一起看，会得到一个清晰的图景：

过去两年端侧推理的全部进步，都可以概括成一句话——想尽办法让更少的数据、以更连续的方式，从闪存流进内存！

这也就是说，这个领域真正的公约数，不是某一种模型架构，也不是某一家的加速卡，而是闪存的读取速度。

12GB 内存，扛起 400B 参数

如果说 4GB 显卡跑 2.8T 模型还带着极客炫技的味道，那么手机上的那个案例，指向的是一个真实的产品形态。

Flash-MoE 这套方案，在一台 iPhone 17 Pro 上跑起了一个 400B 参数的模型。这台手机的内存是 12GB，而这个模型完整加载需要 200GB 以上。中间接近 190GB 的差额，全部由手机内置的 NVMe 闪存补上。

技术组合和上一节讲的是同一套：SSD 到 GPU 的流式加载、MoE 路由只取需要的 expert、量化压缩权重体积、windowing 复用已激活的部分。

速度是 0.6 token/s。

我们必须诚实地说：这个速度是不能用的。0.6 token/s 意味着生成一句三十个字的回复，你要等将近一分钟，屏幕上的字一个一个往外蹦。放在今天任何一个消费级产品里，这都是不可接受的体验。

但我们更关心的不是这个绝对值，而是它背后的比例关系。

看一组对照数字：iPhone 17 Pro 内置 NVMe 闪存的实测顺序读在 1.6–4 GB/s区间（随容量档位变化，256GB 版最慢），而它的 LPDDR5X-9600 内存带宽约为 76.8 GB/s。两者差了 20 到 45 倍。

这几十倍的差距，就是"闪存能不能替内存干活"这件事的全部空间。

• 如果闪存维持在 1.6–4 GB/s，那么端侧跑超大模型永远只是实验室演示
• 如果下一代移动闪存把读取带宽推到 15–20 GB/s 量级，同样的软件栈，速度就会进入 3–5 token/s
• 如果配合模型侧的稀疏度提升和量化压缩，把每 token 的搬运量再砍掉一半，可用性的门槛就真的被跨过去了

这不是遥远的推演。移动存储接口的迭代节奏是明确的，每一代的带宽提升都在 1.5 到 2 倍量级。而软件侧的压缩比过去两年提升得比硬件更快。

而端侧能跑大模型这件事，值钱的地方从来不在于"快"。

云端推理已经足够快了，端侧永远追不上机房里的加速卡集群。端侧真正无法被替代的是另外三件事：数据不出设备，因此隐私敏感的场景才有可能被打开；不依赖网络，因此在飞机上、地铁里、信号差的地方仍然可用；边际成本为零，因此高频调用不再需要为每一次请求付费。

这三件事决定了，端侧模型的能力上限一旦被抬高，会解锁一批云端做不了的产品形态——本地相册的全量语义检索、离线的实时翻译、不上传任何内容的个人助理。

它们今天做不出来，不是因为模型不够聪明，而是因为足够聪明的模型装不进设备。

所以我们真正想强调的是经济学层面的变化。

过去，手机厂商想提升端侧 AI 能力，唯一的办法是堆内存。而内存是手机 BOM 里最贵、最耗电、也最难扩的部分之一——从 12GB 加到 16GB 就是实打实的成本和续航代价，加到 200GB 则完全不可能。

但闪存不一样。同容量下闪存的单位成本比内存低一个数量级，而且手机里本来就有 256GB、512GB、1TB 的闪存躺着，绝大部分时间只用来存照片和视频。

手机里那块一直被当作仓库的闪存，正在被重新发现为一个内存层！

这是一个非常典型的"存量资源被重新定价"的故事。硬件已经在那儿了，缺的只是让它跑得更快，以及让软件学会怎么用它。

闪存速度就是天花板

上面两个案例都来自社区实践。它们足够惊艳，但一个严肃的判断不能只建立在几个 demo 上。好在这条路径有一份分量足够重的学术背书。

Apple 的《LLM in a Flash》发表于 ACL 2024（预印本 2023 年 12 月）。这篇论文做的事情很直接：把模型参数存在闪存里，按需搬进 DRAM，从而在有限内存的设备上运行达到可用 DRAM 两倍大小的模型。

结果是：相比朴素的加载方式，推理速度在 CPU 上提升 4–5 倍，在 GPU 上提升 20–25 倍。

这篇论文最值得琢磨的，不是这两个加速倍数，而是它的方法论。

论文的核心贡献是构建了一个显式考虑闪存物理特性的推理成本模型，然后围绕两个目标做优化：减少从闪存传输的数据总量，以及以更大、更连续的块来读取数据。

落到具体技术上就是 windowing 和 row-column bundling——前者复用已激活的神经元来减少搬运，后者专门为了迎合闪存顺序访问的强项而重排数据布局。

注意这里的逻辑方向。

这篇论文所有的聪明之处，都花在了绕开闪存的慢——这恰恰从反面证明了，闪存速度就是端侧大模型的第一性约束！

如果闪存足够快，这些优化根本就不需要存在。整篇论文的存在本身，就是对"闪存带宽是天花板"这个命题最有力的证明。

而且这个天花板效应，在内存这一侧已经被量化验证过了。

我们看 Apple Silicon 这条线上的实测规律：

• M5 Max（40 核 GPU）的内存带宽约 614 GB/s，跑 70B dense 模型 Q4 量化下约 12–18 token/s
• M5 Pro 的内存带宽约 307 GB/s，跑同一个模型、同样的 Q4 量化，约 4–6 token/s
• 基础版 M3 的内存带宽只有约 100 GB/s，连这个模型都装不下
• 带宽翻一倍，token 生成速度也翻了一倍以上——速度随带宽同向变化，几乎没有被打折

带宽翻倍，速度翻倍。这是一条近乎线性的关系。

背后的机制一点也不复杂：对 dense 模型来说，每生成一个 token，都需要把全部权重从内存里完整读一遍，而计算本身的开销远小于搬运的开销。（MoE 模型因为激活稀疏，每个 token 只需读入一小部分权重，同样带宽下会快得多——这恰好是前面两节讲过的事情。）所以——

大模型推理是内存带宽约束的问题，不是算力约束的问题！

这条近线性关系是全篇最重要的产业逻辑，因为它意味着：任何提升"权重读取带宽"的技术进步，在端侧都能线性地转化为用户体验的提升。不打折，不需要等生态成熟，不依赖软件适配的漫长周期。

在一个大部分技术进步都要打三折才能兑现成体验的行业里，线性关系是极其稀缺的东西。

闪存正在偷走内存的工作

把前面四节的东西合起来看，我们认为正在发生的事情，可以概括成一次存储层级的角色重构。

过去几十年，计算机的存储层级是一个界限分明的金字塔：寄存器和缓存最快最贵最小，内存居中，硬盘最慢最便宜最大。

每一层的职责是清楚的——内存负责"正在运行的东西"，硬盘负责"存着的东西"。程序要运行，必须先从硬盘加载到内存。

AI 推理正在把这条界限抹掉。

当模型的规模超过任何单机内存的量级，"先全部加载到内存"这个步骤就不再可行。于是推理引擎开始把闪存当成一个慢速但巨大的内存层来用，让权重以流的方式穿过内存，而不是驻留在内存里。

这就是我们说的范式转移：闪存的职能，从"存数据"变成了"跑模型"。

这个变化对存储产业的意义，可能比大多数人以为的更大。因为它改变的不只是需求量，而是需求曲线的形状：

• 传统的存储需求，跟随数据量增长。人类产生多少照片、日志、视频，就需要多少存储。这条曲线是线性的、可预测的、有周期的。
• AI 推理的存储需求，跟随加速器出货量和模型规模增长。而这两者过去两年的增速，是指数量级的。
• 更重要的是，前者对"读取速度"不敏感——照片存得慢一点没人会在意；后者对读取速度极度敏感，因为速度直接等于产品体验。

一个对速度不敏感的市场和一个对速度极度敏感的市场，定价逻辑完全不同。前者是大宗商品，后者是性能件。

数据中心那一侧，已经有厂商在按这个逻辑做产品。HBF 是最激进的一个方向：把 NAND 像 HBM 那样堆叠起来，直接贴在加速卡旁边，单个堆叠做到 512GB 量级容量、TB/s 级读带宽。容量是 HBM 的十倍量级，带宽做到了同一个数量级。

听起来很美。但我们必须把这件事的另一面完整地讲清楚。

第一，HBF 进不了手机，而且是结构性地进不了。

这一代 HBF 的存储层本身，在单 GPU 上的峰值功耗就达到 549W（该平台设定的整卡 TDP 是 1.8 kW）。一台手机的整机功耗预算不到 10W，笔记本不到 100W。差的不是百分比，是数量级。

而在同一份分析里，on-package LPDDR 只用 95W就做到了 2 TB/s——功耗是 HBF 存储层的 1/5.8，性能却不输。

而且它需要硅 interposer 与主处理器共同封装，这是数据中心 2.5D 封装的成本结构，压不进消费电子的 BOM。能效上它同样是倒退——每 bit 的能耗数倍于今天手机里用的 LPDDR，而在电池设备上，能效是第一约束。

即便按最乐观的路线图，第三代把能耗降到第一代的三分之二左右，也仍然高于今天的 LPDDR。这个差距是结构性的，不会因为世代迭代而消失。

第二，这条路线在数据中心内部也远未达成共识。

在生产环境默认的权重优先（weights-first）分配策略下，HBM 加上 HBF 相比只用 HBM，在所有评估工作点上的差距都在 0.4% 以内。原因有两层：一是 KV cache 才是真正的溢出目标，而写入受限的 NAND 根本接不住它；二是张量并行的布局搜索会自动选到"每张卡的 expert 已经装得进 HBM"的方案，HBF 那一层根本不会被激活。

需要说明的是，这个结论来自 Micron 研究者在 HotInfra'26 上发表的 roofline 解析模型，不是硅上实测，而 Micron 本身是 LPDDR 的主要供应方——这份数据和 Sandisk 的仿真一样，都需要打上利益相关的标签来读。

而同一时间窗内，也有结论完全相反的测算给出了两倍以上的每瓦吞吐提升——差异的根源不在硬件，在于软件栈是否主动做 expert 卸载。

这说明 HBF 的收益依赖一个软件生态假设，而不是一个硬件事实。

第三，故事和业绩之间，目前还没有连上。

作为 HBF 最主要的推动者，Sandisk 在 2026 年 8 月公布的 FY2026 第四财季营收 89.65 亿美元，同比增长 372%（环比 +51%），这是半导体历史上最猛烈的重定价之一。但这份业绩里，HBF 的贡献是零。涨的是传统 NAND 在供给紧张下的定价权，不是新产品。

第四，市场规模的预测质量很差。

目前流通的 HBF 市场规模预测，彼此之间的量级差距超过一个数量级，而且没有一份给出可核验的测算模型。我们认为这类数字不具备决策价值，任何基于它做的推算都应该打上很大的问号。

还有两条前提也必须说清楚：

• 整套逻辑高度依赖 MoE 架构。dense 模型每个 token 仍然需要读取全部权重，把它放在闪存上依然不成立。如果未来主流架构回摆向 dense，这条路径的地基会松动。
• 消费端目前的速度确实很慢。0.6 token/s 距离可用还有一个数量级的差距。方向对，不代表明天就到。

把这些放在一起，我们的判断是：

需求是真的，通道不是 HBF！

端侧 AI 的内存瓶颈一定会被解决，因为需求的真实性已经被这么多独立的实验反复验证过了。但解决它的东西，大概率不是那个被讲得最响的产品。

三条路径：按确定性排，不按故事性排

如果上面的判断成立，那么技术演进的压力会集中在哪一段？我们的排序原则很简单：先看技术路径的确定性，再看产业空间。

第一条路径，是高速 NVMe 与 UFS 本身。

这是端侧 AI 最直接、也最不需要押注的通道。前面三个实验——4GB 显卡跑 2.8T、iPhone 跑 400B、Apple 的论文——全部卡在同一个地方：闪存读得不够快。

• 这条路径不需要任何新标准、新封装、新联盟，只需要现有接口继续按既定节奏迭代
• 这一段的技术改进与终端体验之间是线性传导的：带宽提升多少，端侧推理速度就提升多少
• 这一段同时承接两股需求——AI 推理是新增的，而传统的存储容量需求一点没减
• 相关的主控芯片承担了同等重要的工程负担，因为高带宽下的队列管理、随机读优化、热数据调度，都是主控的活

值得特别指出的是，AI 推理对闪存的要求，和传统存储不完全是同一件事。

传统 SSD 的性能指标围绕大文件顺序读写和数据库随机小块 IOPS 设计，而推理场景要的是"高频、中等粒度、可预测的批量读取"——这是一个介于两者之间、过去没有被专门优化过的工作模式。谁先把产品针对这个模式做出来，谁就能从大宗商品竞价里跳出去。

第二条路径，是 NAND 厂商——但要按范式转移看，不要按周期看。

这是一个容易被误读的环节。过去二十年，看 NAND 厂就是看周期：涨价、跌价、供需错配，来回摆动。

但这一次不太一样，因为需求的性质变了：

• 数据中心在 NAND 总需求中的占比，正在从三成量级向五成量级抬升（Sandisk 管理层在 FY2026 Q4 财报电话会上给出的指引：2025 自然年约 30%→2026 自然年约 50%）
• 新增的这部分需求，跟随加速器出货量增长，而不是跟随数据量增长
• 对速度敏感的需求，能支撑更高的产品溢价和更长的合约周期，而不是被当成大宗商品竞价
• 供给端的扩产依赖制程迁移而非新建晶圆厂，短期内没有实质性的新增产能释放

这是需求曲线斜率的改变，不是周期位置的改变。两者的含义完全不同。

当然，要盯住供给侧的变量。新玩家的份额扩张、产能爬坡的节奏、以及厂商之间供给纪律的稳定性，都是这个逻辑最实质的威胁。目前的价格结构建立在几家主要厂商的减产共识之上，而共识是可以破裂的。

第三条路径，是软硬一体的整合者。

以下是对技术能力结构的判断，不涉及任何标的评价。

在端侧这件事上，Apple 的位置很特殊，因为它是唯一一家同时控制全部环节的公司：

• 自研 SoC，能决定内存带宽和闪存控制器的设计
• 自研操作系统，能决定内存管理和调度策略
• 自研推理框架，能把模型执行和存储访问协同优化
• 而《LLM in a Flash》这篇奠基性论文，就出自它自己的实验室

"flash-aware 的推理"这件事，本质上要求算法层知道底层介质的物理特性，并且反过来让介质的布局迁就算法的访问模式。这种跨层优化，在任何一家只做其中一层的公司那里都做不彻底。

再叠加它在硬件上已经拿到的位置——笔电级最快的内存带宽，以及一条清晰的带宽提升路线——它是这轮范式转移里，最有可能把技术优势直接转化成产品体验的一方。

我们同时想说清楚，哪些东西不该当作理解这轮变化的主线索。

• 不要把 HBF 这个产品本身当作理解这轮变化的主线索。它在 2028 年之前不会有有意义的营收，技术路线尚未收敛，最关键的下游认证方至今没有公开表态。
• 不要把厂商自己的仿真数据当成基准。目前所有的 HBF 性能数字，都来自推动方自己的模拟，还没有任何独立的第三方基准测试。
• 不要用一个来源不明的 TAM 区间去做任何推算。数据质量不支持这种用法。

这不是骑墙，而是对不确定性的正确处理方式。当一场路线之争还在互相证伪的阶段，最好的位置不是猜谁赢，而是找出无论谁赢都必须经过的那一段路。

而这段路已经被三个独立的实验、一篇顶会论文、和一条近线性的带宽-速度关系反复标记出来了：数据从闪存流向计算单元的那一段。