从神经网络到变形金刚：机器学习的演变 - DATAVERSITY

由柏拉图重新发布

关注： 0

像大语言模型 (LLM) 这样的基础模型是一个庞大且不断发展的主题，但我们是如何走到这一步的呢？为了获得法学硕士学位，我们需要从人工智能和机器学习的总体主题开始剥离几个层次。机器学习属于人工智能，它只是教计算机学习数据并根据数据做出决策的过程。

其核心是各种架构或方法，每种架构或方法都有独特的处理和学习数据的方法。其中包括模仿人脑结构的神经网络、根据一组规则做出决策的决策树，以及通过寻找最佳分割线或边缘来对数据进行分类的支持向量机。

深度学习是一个机器学习的子集这使这些概念更进一步。它使用称为深度神经网络的复杂结构，由多层互连的节点或神经元组成。这些层使模型能够从大量数据中学习，使深度学习对于图像和语音识别等任务特别有效。

深度学习的演变

深度学习代表了传统机器学习的重大转变。传统的机器学习涉及向机器提供手工挑选的特征，而深度学习算法直接从数据中学习这些特征，从而产生更强大和更复杂的模型。计算能力和数据可用性的增加推动了这一转变，从而允许深度神经网络的训练。得益于 Amazon Web Services (AWS) 等云提供商，公司可以尝试深度学习，该提供商为其客户提供了几乎无限的计算和存储。

回到深度学习：深度神经网络本质上是层的堆栈，每个层学习数据的不同方面。层数越多，网络越深，因此称为“深度学习”。这些网络可以学习大型数据集中的复杂模式，使其对于自然语言处理和计算机视觉等复杂任务非常有效。

神经网络

至于神经网络的基础知识，它们受到人类大脑的启发，由以网状结构连接的神经元或节点组成。每个神经元处理输入数据，然后应用转换，最后将输出传递到下一层。这些神经元内的激活函数通过在模型中引入非线性来帮助网络学习复杂的模式。

典型的神经网络包含三种类型的层：输入层、隐藏层和输出层。输入层接收数据，隐藏层处理数据，输出层产生最终结果。隐藏层在深度学习中通常数量众多，是大部分计算发生的地方，允许网络从数据特征中学习。

从 RNN 到 LSTM

循环神经网络（RNN）是传统机器学习中的一种重要方法，它们被开发来处理顺序数据，例如文本或时间序列中的句子。 RNN 按顺序处理数据，维护先前输入的内部记忆以影响未来的输出。然而，由于梯度消失问题，它们难以解决长程依赖性，即初始输入的影响在长序列中减弱。

长短期记忆网络 (LSTM) 解决了这一限制。 LSTM 是 RNN 的一种高级类型，具有更复杂的结构，其中包括调节信息流的门。这些门帮助 LSTM 在长序列中保留重要信息，使其更有效地完成语言建模和文本生成等任务。

变形金刚介绍

进入变压器架构。 Transformer 标志着在处理顺序数据方面的重大进步，在许多任务中优于 RNN 和 LSTM。介绍于地标纸 “注意力就是你所需要的”，变压器彻底改变了模型处理序列的方式，使用一种称为自注意力的机制来权衡输入数据不同部分的重要性。

与按顺序处理数据的 RNN 和 LSTM 不同，Transformer 会同时处理整个序列。这种并行处理不仅使它们高效，而且擅长捕获数据中的复杂关系，这是语言翻译和摘要等任务的关键因素。

变压器的关键部件

Transformer 架构基于两个关键组件：自注意力和位置编码。自注意力允许模型关注输入序列的不同部分，确定在处理特定单词或元素时对每个部分的关注程度。这种机制使模型能够理解数据内的上下文和关系。

位置编码是另一个关键方面，它使模型能够了解序列中单词或元素的顺序。与 RNN 不同，变压器不按顺序处理数据，因此这种编码对于维护序列的上下文是必要的。该架构还分为编码器和解码器块，每个块在处理输入和生成输出时执行特定功能。

Transformer架构的优点

与以前的序列处理模型相比，Transformer 具有多种优势。它们并行处理整个序列的能力显着加快了训练和推理速度。这种并行性与自注意力相结合，使 Transformer 能够更有效地处理远程依赖关系，捕获序列中跨越较大间隙的数据中的关系。

除此之外，变压器可以很好地扩展数据和计算资源，这就是为什么它们一直是大型语言模型开发的核心。它们在各种任务中的效率和有效性使其成为机器学习社区的热门选择，特别是对于复杂的 NLP 任务。

机器学习大型语言模型中的变形金刚

Transformer 是许多大型语言模型的支柱，例如 GPT（生成式预训练 Transformer）和 BERT（来自 Transformers 的双向编码器表示）。例如，GPT 擅长生成类似人类的文本，从大量数据中学习以生成连贯且上下文相关的语言。另一方面，BERT 专注于理解句子中单词的上下文，彻底改变问答和情感分析等任务。

这些模型极大地推进了该领域的发展自然语言处理，展示了 Transformer 理解和生成接近人类熟练程度的语言的能力。他们的成功激发了一波创新浪潮，导致更强大模型的开发。