来认识一下 SAM，Meta 的全新 AI 图像分割工具，为您处理复杂图像

由柏拉图重新发布

关注： 0

Meta 的新 Segment Anything 模型已揭晓。 SAM 模型是一种为图像分割创建高质量掩码的新方法。

提醒： 图像分割是计算机视觉中的一项基本任务，旨在将图像划分为对应于不同对象或语义类别的区域，并且具有许多应用，例如对象检测、场景理解、图像编辑和视频分析。

然而，图像分割也是一个具有挑战性的问题，尤其是在处理包含多个具有不同形状、大小和外观的对象的复杂场景时。此外，大多数现有的图像分割方法需要大量的注释数据进行训练，获取这些数据既昂贵又费时。 Meta 想用 SAM 模型解决这个问题。

SAM 模型：什么是 Meta 的新 Segment Anything 模型？

Segment Anything Model (SAM) 是一种新的强大的人工智能模型，可以高质量和高效地分割图像或视频中的任何对象。分割是将对象与其背景或其他对象分开并创建勾勒出其形状和边界的蒙版的过程。使用 SAM 模型，您的编辑、合成、跟踪、识别和分析任务将变得更加容易。

Meta 的新 Segment Anything Model 是什么：了解 SAM 模型的功能并了解如何使用它。继续阅读并发现更多。 — 人工智能算法可以帮助自动化图像分割过程。

SAM 在几个方面不同于其他细分模型，例如：

SAM 是可提示的，这意味着它可以接受各种输入提示，例如点或框，以指定要分割的对象。例如，您可以在人脸周围画一个框，然后 Segment Anything Model 将为该人脸生成一个遮罩。您还可以给出多个提示以一次分割多个对象。 SAM 模型可以处理具有遮挡、反射和阴影的复杂场景。
SAM 在包含 11 万张图像和 1.1 亿个掩码的海量数据集上进行训练，这是迄今为止最大的分割数据集。该数据集涵盖了广泛的对象和类别，例如动物、植物、车辆、家具、食物等。由于其泛化能力和数据多样性，SAM 可以分割它以前从未见过的对象。
SAM 在各种分割任务上具有很强的零样本性能。零样本意味着 SAM 可以在不对特定任务或领域进行任何额外训练或微调的情况下分割对象。例如，SAM 可以在没有任何先验知识或监督的情况下分割人脸、手、头发、衣服和配饰。 SAM 还可以以不同的方式分割对象，例如红外图像或深度图。

SAM 模型在各种图像分割基准上取得了令人印象深刻的结果，例如 COCO。 SAM 在多个零样本分割任务（例如分割徽标、文本、人脸或草图）上也优于或匹配先前的完全监督方法。它展示了它在不同领域和场景中的多功能性和稳健性。

在将来：Segment Anything Model（SAM 模型）项目仍处于早期阶段。根据 Meta 的说法，这些是 Segment Anything 模型的一些未来应用：

未来的 AR 眼镜可能会使用 SAM 来识别普通物体并提供有用的提醒和指示。

SAM 有能力影响许多其他领域，例如农业和生物学。有一天，它甚至可能使农民和科学家受益。

SAM模型可以成为计算机视觉和人工智能研究的突破口。它展示了视觉基础模型的潜力，这些模型可以从大规模数据中学习并转移到新的任务和领域。

Segment Anything 模型（SAM 模型）特征

以下是 SAM 模型的一些功能：

使用 SAM 模型，用户可以通过选择要包含或忽略的单个点来快速轻松地分割对象。边界框也可以用作模型的提示。
当被分割的项目存在不确定性时，SAM 模型可以生成许多有效的掩码，这是解决现实世界中分割问题的一项至关重要的技能。
使用 Segment Anything Model，自动对象检测和屏蔽现在变得很简单。
在预先计算图像嵌入后，Segment Anything Model 可以立即为任何提示提供分割掩码，从而实现与模型的实时交互。

令人印象深刻，不是吗？那么它背后的技术是什么？

SAM 模型如何运作？

NLP 和最近的计算机视觉领域最有趣的发现之一是使用“提示”方法来使用基础模型对新数据集和任务进行零样本和少样本学习。 Meta 在这个领域找到了动力。

如果给定前景/背景点、粗框或遮罩、自由格式文本或任何其他指示图像中要分割的内容的输入，Meta AI 团队会教 Segment Anything Model 生成适当的分割遮罩。需要适当的掩码仅意味着输出应该是提示可能涉及的事物之一的适当掩码（例如，衬衫上的一个点可以代表衬衫或穿着它的人）。此任务用于模型预训练并指导解决一般的下游分割问题。

Meta 注意到预训练任务和交互式数据收集对模型构建施加了一定的限制。特别是，他们的注释者需要能够在浏览器中以交互方式、实时地在 CPU 上使用 Segment Anything Model 以使其有效。尽管必须在质量和速度之间做出一些妥协才能满足运行时要求，但他们发现直接的方法可以产生令人满意的结果。

在后端，图像编码器为图像创建独特的嵌入，而轻量级编码器可以立即将任何查询转换为嵌入向量。然后使用轻量级解码器合并这两个数据源，以预测分割掩码。在计算出图像嵌入后，SAM 可以在大约 50 毫秒内用一个片段响应网络浏览器中的每个查询。

SAM 对于想要轻松灵活地编辑图像和视频的创意专业人士和爱好者来说是一个有用的工具。但首先，您需要了解如何访问和使用它。

如何使用 Segment Anything 模型（SAM 模型）？

SAM 由 Meta AI Research（前身为 Facebook AI Research）开发，可在 GitHub上. 您还可以通过以下方式在线试用 SAM 演示或下载 1 亿个掩模和 1 万张图像的数据集 (SA-11B)。该模型非常易于使用；只需按照以下步骤操作：

下载演示或转到 Segment Anything Model 演示。
上传图片或在图库中选择一张。
添加和主题领域
- 通过添加点来遮盖区域。选择添加区域，然后选择对象。通过选择“删除区域”来优化蒙版，然后选择该区域。

然后随心所欲地完成任务！

有关详细信息，单击此处.

图片提供： 元

AI 101

你是人工智能的新手吗？您仍然可以搭乘 AI 火车！我们创建了一个详细的人工智能词汇表对于最常用的人工智能术语并解释人工智能基础以及人工智能的风险和好处. 随意使用它们。学习如何使用人工智能改变游戏规则！ AI模型将改变世界。

我们审查过的人工智能工具

几乎每天都有新的工具、模型或功能出现并改变我们的生活，比如新的 OpenAI ChatGPT 插件，我们已经回顾了一些最好的：

文本到文本的 AI 工具

你想学吗如何有效使用 ChatGPT？我们为您提供了一些提示和技巧，无需切换到聊天 GPT Plus！当你想使用 AI 工具时，你会得到类似“ChatGPT 现在满负荷运转” 和 “1 小时内请求过多，稍后再试”. 是的，它们确实是令人讨厌的错误，但别担心；我们知道如何修复它们。 ChatGPT 剽窃是免费的吗？这是一个很难找到单一答案的问题。怕抄袭的可以放心使用人工智能剽窃检查器。另外，您可以检查其他人工智能聊天机器人和人工智能论文作者为了更好的结果。