有人真的对苹果开发设备端人工智能感到惊讶吗？

由柏拉图重新发布

关注： 0

评论苹果公司在其 iDevices 中添加生成式人工智能的努力应该不会令任何人感到惊讶，但库比蒂诺对该技术的现有使用以及移动硬件的限制表明，它在不久的将来不会成为 iOS 的一大功能。

苹果并没有加入最近的生成式人工智能助推浪潮，甚至与许多企业相比，在最近的主题演讲中普遍避免使用“人工智能”或“人工智能”这些术语。然而，机器学习一直是、并将继续是苹果的一项关键能力——主要是在为用户体验带来微妙改进的背景下。

苹果公司使用人工智能来处理图像就是该技术在后台发挥作用的一个例子。当 iThings 拍摄照片时，机器学习算法开始识别和标记主题、运行光学字符识别并添加链接。

到 2024 年，这种看不见的人工智能已经无法解决问题。苹果的竞争对手将生成式人工智能吹捧为每个设备和应用程序的基本功能。根据最近的一份 “金融时报” 报告之后，苹果一直在悄悄收购 AI 公司并开发自己的大型语言模型，以确保其能够交付。

苹果的硬件优势

苹果自制芯片中的神经处理单元（NPU）处理其现有的人工智能实现。自 2017 年 A11 片上系统首次亮相以来，苹果一直在使用这些加速器，将其称为“神经引擎”，并使用它们来处理较小的机器学习工作负载，以释放设备的 CPU 和 GPU 来处理其他杂务。

苹果的 NPU 特别强大。 A17 Pro 发现于 iPhone 15 Pro 能够推动 35 TOPS，是其前身的两倍，大约两倍 Intel 和 AMD 提供的一些用于 PC 的 NPU。

高通最新的 Snapdragon 芯片在 NPU 性能方面与苹果的芯片不相上下。与苹果一样，高通在移动设备领域也拥有多年的 NPU 经验。 AMD 和英特尔在该领域相对较新。

苹果尚未透露该芯片 GPU 的浮点或整数性能，尽管它吹捧了其运行《生化危机 4 重制版》和《刺客信条幻影》等游戏的强大能力。这表明计算能力并不是在平台上运行更大的人工智能模型的限制因素。

事实证明，苹果在 Mac 和 iPad 系列中使用的 M 系列芯片对于运行人工智能推理工作负载特别有效，这一事实进一步证明了这一点。在我们的测试中，如果有足够的内存（我们在内存不足 16GB 时遇到了麻烦），一台已使用三年的 M1 Macbook Air 完全能够以 2 位精度运行 Llama 7 8B，甚至在 4 位精度下运行速度更快。模型的量化版本。顺便说一句，如果您想在 M1 Mac 上尝试一下，奥拉马.ai 让运行 Llama 2 变得轻而易举。

苹果可能被迫在硬件方面做出让步的是内存。

一般来说，当以 8 位精度运行时，人工智能模型每十亿个参数需要大约 4 GB 的内存。这可以通过降低精度（例如 Int-XNUMX）或开发更小的量化模型来减半。

Llama 2 7B 已成为 AI PC 和智能手机的常见参考点，因为在运行小批量时其占用空间和计算要求相对较小。使用 4 位量化，模型的要求可以削减至 3.5GB。

但即使 iPhone 8 Pro 配备 15 GB RAM，我们怀疑苹果的下一代手机可能需要更多内存，或者型号需要更小、更有针对性。这可能是苹果选择开发自己的模型而不是选择像 Stable Diffusion 或 Llama 2 这样的模型在 Int-4 上运行的原因之一，正如我们从高通看到的那样。

还有一些证据表明苹果可能已经找到了解决内存问题的方法。正如所发现的 “金融时报”早在 12 月，苹果研究人员就发表了 [PDF] 一篇论文演示了使用闪存在设备上运行 LLM 的能力。