加州大学欧文分校的研究人员发表了一篇题为“异构芯片上多模型推理的层间调度空间探索”的技术论文。
摘要：
“为了满足最近使用大型语言模型等重型模型的多模型工作负载不断增长的计算需求，我们建议部署基于异构小芯片的多芯片模块 (MCM) 加速器。我们为异构 MCM 加速器开发了一种先进的调度框架，综合考虑了复杂的异构性和小芯片间的流水线。我们在 2-chiplet 系统上使用 GPT-50 和 ResNet-4 模型框架进行的实验表明，与具有优化输出平稳数据流的单片加速器相比，吞吐量和能源效率分别提高了 2.2 倍和 1.9 倍。”
找出 技术论文在这里。 2023 年 XNUMX 月出版（预印本）。
奥德玛、莫哈纳德、Hyoukjun Kwon 和穆罕默德·阿卜杜拉·阿尔·法鲁克。 “异构 Chiplet 上多模型推理的层间调度空间探索。” arXiv 预印本 arXiv:2312.09401 (2023)。
相关阅读
Chiplet：2023（电子书）
Chiplet 是什么、它们现在的用途以及将来的用途。
为商业 Chiplet 做准备
专家讨论了缺失的内容、正在进行的变化以及为什么小芯片越来越必要。
