为什么要关注存储器？
存储器利用率之所以成为关注重点，是因为它在提高能效方面具有巨大的提升潜力。存储器的功耗与许多 CPU 相当，约占服务器总功耗的22%。存储器层级数量的不断增加既带来了积极影响，也带来了负面影响。积极的一面是，功耗更低的存储器正不断部署到更靠近处理器的位置。消极的一面是，这些近存储器层级容量有限，因此仍需要容量更大、功耗更高的存储器持续向本地存储器填充数据集。各层级存储器的功耗都会累加到系统总功耗中。
例如，高带宽存储器（HBM）的接口能耗约为 1.5pJ/bit，相比之下，双倍数据速率（DDR）存储器模块约为 15pJ/bit，前者具有明显优势（见图5）。遗憾的是，这些存储器仍会产生较高的功耗（例如，每个 HBM 堆栈的功耗为 75W 或 100W），且与高功耗处理器位于同一基板上。这使得其散热极具挑战性。相比之下，每个 DDR 模块的功耗约为 15W，并且位于距离处理器更远的位置，这些区域可采用风冷方式散热。
