首席执行官专访：Mastiska AI 的 Suresh Sugumar – Semiwiki

告诉我们您的公司
“玛斯蒂卡人工智能”（Mastiṣka 在梵文中是“大脑”的意思）是一家人工智能公司，专注于构建类脑计算机，以便为未来的生成式人工智能用例更有效地运行基础模型。

你在解决什么问题？
鉴于人工智能/ GenAI 的优势，其需求必然会增加，其对我们星球的副作用也会增加。我们如何减少或消除人工智能对地球的副作用？碳捕获和核电正朝着正确的方向发展。但我们需要从根本上重新思考人工智能的处理方式，这是进行大量矩阵乘法的错误方法吗？

我们的大脑可以在 10W 及以下的情况下并行学习和执行许多任务，但为什么这些 AI 系统要消耗 10 兆瓦来训练模型呢？

也许未来会出现节能架构，例如最接近人脑的神经形态架构和基于尖峰神经网络的变压器，其能耗可能会降低 100-1000 倍，从而降低使用人工智能的成本，从而使其民主化并节省我们的时间。行星。

目前我们在人工智能方面面临的挑战是：a）可用性，b）可访问性，c）可负担性，d）环境安全以及解决这些问题的一些建议。

如果我们预见到未来，一些有用的 AGI 概念会在电影《她》中得到展示，其中的角色“萨曼莎”——一个自然的对话代理人，理解情感，表现出同理心，是工作中令人惊叹的副驾驶——并且继续运行一整天的手持设备，那么我们现在可能必须解决以下挑战。

问题 1：培训法学硕士的费用从 150 万到 10 多万美元不等，而且只允许那些财力雄厚的人开发人工智能。最重要的是，推理成本也巨大（成本比网络搜索高 10 倍）
—> 我们需要提高模型/硬件的能源效率，使人工智能民主化，造福人类。

问题 2：为对话代理或推荐系统运行巨大的人工智能模型，会在电力消耗和冷却方面对环境造成影响。
—> 我们需要提高模型/硬件的能源效率，为我们的孩子拯救我们的星球。

问题 3：人脑有能力并且可以执行多任务，但仅消耗 10 瓦而不是兆瓦。
—> 也许我们应该更快地建造像我们的大脑一样的机器，而不是常规的矩阵乘法器。

人类只有通过可持续创新才能繁荣发展，而不是以创新的名义砍伐所有森林、煮沸海洋。为了我们的孩子和子孙后代的福祉，我们必须保护我们的星球……

你最擅长的应用领域是什么？
基于 Transformer（和未来神经架构）的基础模型的训练和推理，与当今基于 GPU 的解决方案相比，能源效率提高 50-100 倍。

是什么让您的客户夜不能寐？
目前使用其他产品的客户面临的问题：

训练庞大的语言模型的电力消耗超出了屋顶，例如，在 13 个 GPU 上对 390B 文本标记训练 200B 参数的 LLM 7 天的成本为 151,744 美元（来源：HuggingFace 新训练集群服务页面 – https://lnkd.in/g6Vc5cz3）。甚至具有 100+B 参数的更大模型仅训练成本就高达 10+M 美元。然后每次新的提示请求到达时都要为推理付费。

加州大学河滨分校的研究人员估计了类似 ChatGPT 的服务对环境的影响，并表示每次您询问它时，它会消耗 500 毫升的水（接近 16 盎司水瓶中的水量）。一系列 5 到 50 个提示或问题。该范围根据服务器所在位置和季节而有所不同。该估算包括公司未测量的间接用水量，例如冷却为数据中心供电的发电厂的用水量。 （来源： https://lnkd.in/gybcxX8C)

非当前产品客户的问题：

无力承担购买硬件的资本支出
无力使用云服务
无法创新或利用人工智能——坚持消除任何竞争优势的服务模式

竞争格局是什么样的？您如何脱颖而出？

• GPU 在训练领域占据主导地位，尽管专用 ASIC 也在这一领域展开竞争
• 云和边缘推理有太多可用选项

数字、模拟、光子——凡是你能想到的，人们都在试图解决同样的问题。

您能否分享一下您对 AI/ML 芯片架构现状的看法，即您认为目前最重要的趋势和机遇是什么？

以下趋势：
趋势1： 10 年前，硬件支持的深度学习蓬勃发展，而现在同样的硬件正在抑制进步。由于硬件成本和运行模型的电力成本巨大，访问硬件成为了一个挑战。只有财力雄厚的公司才有能力承担这些费用并逐渐成为垄断企业。

趋势2： 现在有了这些模型，我们需要将它们用于实际用途，这样推理负载就会增加，让带有AI加速器的CPU再次成为人们关注的焦点。

趋势3： 初创公司正在尝试提出替代的浮点数表示形式，传统的 IEEE 格式（例如对数和基于位置）虽然不错，但还不够。当我们尝试优化其中一个而另一个却失败时，PPA$ 设计空间优化就会爆炸。

趋势4： 该行业正在从基于服务的人工智能模型转向在自己的场所托管自己的私有模型，但由于供应短缺、制裁等原因，获取硬件是一个挑战

目前事态：
十年前，硬件和数据的可用性推动了人工智能的发展，现在相同的硬件却在某种程度上抑制了人工智能的发展——让我解释一下

自从 CPU 表现不佳、GPU 被重新用于 AI 以来，发生了很多事情

公司一直致力于解决 AI/ML 的 4 个部分，即：1) 云训练、2) 云推理、3) 边缘推理和 4) 边缘训练（隐私敏感应用程序的联邦学习）。
数字和模拟

培训方面——大量公司在生产 GPU、基于 RISC-V 的客户加速器、晶圆级芯片（850K 核心）等传统 CPU 所缺乏的（其通用用途）。推理方面——每个制造商都可以在智能手机、笔记本电脑和其他边缘设备中使用神经网络加速器。

基于模拟忆阻器的架构不久前也出现了。

我们相信，如果我们通过矩阵扩展等加速来增强 CPU 的推理能力

RISC-V 方面的事情：
在 RISC-V 方面，我们正在开发用于矩阵运算和其他非线性运算的加速器，以消除变压器工作负载可能出现的瓶颈。冯诺依曼瓶颈也可以通过构建更接近计算的存储器来解决，最终使具有人工智能加速功能的 CPU 成为推理的正确选择。

机会：
存在独特的机会来填补基础模型市场。示例 – OpenAI 一直提到他们无法获得足够的 AI 计算 (GPU) 来继续推动其 ChatGPT 服务……新闻报道称电力成本是常规互联网搜索的 10 倍，并且需要 500 毫升的水来冷却系统对于每个查询。这里有一个市场需要填补——它不是利基市场，而是整个市场，它将使人工智能民主化，解决上述所有挑战——a)可用性，b)可访问性，c)可负担性，d)环境安全

您正在开发哪些新功能/技术？
我们正在利用神经形态技术和定制模型来构建类脑计算机，以利用节能硬件，重用可用的开放框架

您如何看待 AI/ML 行业在未来 12-18 个月内的增长或变化？
由于对 GPU 的需求下降（成本约为 30 万美元），加上世界上一些地区面临购买这些 GPU 的制裁，世界上一些地区感觉他们在无法获得 GPU 的情况下被冻结在人工智能研究和开发中。替代硬件平台将占领市场。
模型可能会开始缩小——定制模型甚至从根本上来说信息密度将会增加

同样的问题，但未来3-5年的增长和变化如何？
a) 具有人工智能扩展的CPU将占领人工智能推理市场
b) 模型将变得灵活，随着信息密度从 16% 提高到 90%，参数将消失
c) 能源效率提高，二氧化碳足迹减少
d) 新的架构出现
e) 硬件成本和能源成本下降，因此小公司创建和训练模型的进入壁垒变得可以承受
f) 人们谈论 AGI 之前的时刻，但我的基准是电影“她”中的萨曼莎（对话式人工智能）……考虑到扩大规模的高昂成本，这可能不太可能

哪些挑战可能会影响或限制人工智能/机器学习行业的增长？
a) 访问硬件
b) 能源成本和冷却成本以及环境危害

另请参阅：

首席执行官访谈：Pragmatic 的 David Moore

首席执行官专访：Sandbox Semiconductor 的 Meghali Chopra 博士

首席执行官专访：Aligned Carbon 的 J Provine 博士