内存内处理 (PIM) 解决 AI 数据困境

人工智能算法和应用程序的发展和演变推动了数据处理需求的急剧增长。很明显，利用现有内存解决方案和现有容量和带宽增量改进不足以满足不断发展的应用领域需求，如医疗、语音识别和自动驾驶，以更快的速度处理不断增加的数据量以获得深度见解的需求。对于人工智能未来面临的这样巨大的挑战，需要一项重大进步。

解决当前内存解决方案对人工智能应用增长的限制的解决方案以内存内处理 (PIM) 的形式出现，在行业内，三星将 PIM 整合进高带宽内存 (HBM)。PIM 将在 AI 数据处理不断增长的需求与正在努力满足这些需求的当前内存解决方案之间提供及时的桥梁。

PIM 本身并不是一项新技术，但之前学术界和工业界只是将它作为高层次概念进行过探索。PIM 的工作方式是集成计算和内存，使具有逻辑的内存设备能够对本地数据执行计算，这是通常为中央处理器、图形处理器和张量处理器等高性能逻辑设备保留的任务。对数据执行本地计算的能力可减少延迟，提高处理速度，并提高能源效率。三星在高带宽内存 (HBM) 设备中采用了称为可编程计算单元 (PCU) 的 AI 引擎，从而在 HBM 中实现了 PIM 概念。

更智能的内存和更优质的性能

AI 应用程序的发展导致必须反复访问和处理大量数据才能提取见解。大量所需数据移动产生的结果之一是 AI 应用程序的计算性能通常受内存系统性能的约束。该限制通常会约束 AI 应用程序的计算性能。显然，需要有一种解决内存系统局限性的解决方案。PIM 是适用于 AI 应用程序的解决方案，因为某些数据在本地内存设备中保留和处理，内存和耦合的高性能逻辑设备之间的数据传递量会减少，从而缓解了内存系统对人工智能应用计算性能的限制，提高了净计算性能。

AI 应用程序通常可分为算术界限（视觉）和内存界限（语音识别、机器翻译和推荐）应用程序。图形处理器和张量处理单元 (TPU) 是算术界限 AI 应用程序的可靠解决方案，但大数据集上的内存界限 AI 应用程序需要更高的性能存储器系统，其容量和带宽高于算术界限应用内存系统的要求。当前商用动态随机存取存储器 (DRAM) 解决方案中，HBM 已满足了算术界限 AI 应用程序和一些内存界限 AI 应用程序的需求，因为其容量相对较大，带宽很高，外形很小。然而，内存界限 AI 应用的要求正在迅速超过 HBM 设备的容量和带宽能力。因此，三星将 PIM 视为增强 HBM 能力和提高内存界限 AI 应用程序性能的一种方式。

三星高带宽内存-内存内处理 (HBM-PIM) 解决方案的进步是 AI 引擎，称为可编程计算单元，它位于内存内核中，能够在内存设备中执行某些逻辑功能。PCU 的工作方式与中央处理器中的多核处理类似。PCU 允许在内存中进行并行处理，提高性能。

由于 HBM 设备具有高度的内部并行性，PIM 与 HBM 非常匹配，可提高 AI 应用程序的计算吞吐量。HBM 设备是通过将 DRAM 晶圆堆叠在一起并允许同时访问每个 DRAM 晶圆而构建的。高度的内部并行性也是启用 HBM-PIM 的关键，因为 HBM 设备的结构允许在某些 DRAM 晶圆上进行本地化计算处理，同时允许继续访问其他 DRAM 晶圆的数据。

HBM-PIM 设备在提高性能和提高能效方面前景光明。在语音识别等 AI 应用程序中，HBM-PIM 的性能比现有 HBM 提高了 2 倍。在能效方面，通过将一定数量的计算保存在 DRAM 晶圆内部，消除了与在内存设备和逻辑设备之间移动数据相关的输入输出 (IO) 流量。因此，在早期测试中，与现有 HBM 解决方案相比，HBM-PIM 可以减少 70% 以上的能耗。

面向未来敞开的大门

PIM 可以应用于许多不同的内存技术，如低功耗双倍数据速率内存 (LPDDR) 和图形用双倍数据速率内存 (GDDR) 以及 HBM，且无需彻底改变或抛弃现有的内存生态系统。因此，其机遇规模巨大。在研究开发新的 AI 应用程序的新方法时，让内存更努力地工作，或者比在没有 PIM 的情况下更智能，将正是该行业所需要的。三星将在三月份从 HBM 开始，利用 PIM 改变我们对计算的看法。该公司正在与人工智能行业的创新者合作，以实现这一目标。

PIM 扩展了 AI 的可能性，AI 已经有许多应用程序正在改变我们周围的世界。现在，由于内存技术的这一进步，我们将能够做到更多。

文章来源：三星官网，如有侵权，请联系我们删除