神经网络 —— 至少在它们目前的设置中 —— 从根本上说是基于数字的。因此，如果我们要用它们来处理像文本这样的东西，我们就需要一种方法来用数字表示我们的文本。

当然，我们可以开始（基本上就像 ChatGPT 那样）为字典中的每个词分配一个数字。但是，有一个重要的想法 —— 例如，它是 ChatGPT 的核心 —— 超出了这个范围。这就是 “嵌入” 的概念。我们可以把嵌入看作是一种尝试用数字阵列来表示事物 “本质” 的方式 —— 其特性是 “附近的事物” 由附近的数字来表示。

因此，举例来说，我们可以把一个词的嵌入看作是试图在一种 “意义空间” 中排列词语，在这个空间中，以某种方式 “在意义上接近” 的词语在嵌入中出现。实际使用的嵌入 —— 例如在 ChatGPT 中 —— 往往涉及大量的数字列表。但是如果我们把它投射到二维空间，我们就可以显示出嵌入的单词是如何排列的例子：

而且，是的，我们看到的东西在捕捉典型的日常印象方面做得非常好。但是，我们怎样才能构建这样一个嵌入呢？大致的想法是查看大量的文本（这里是来自网络的 50 亿个词），然后看不同的词出现的 “环境” 有多相似。因此，例如，“alligator” 和 “crocodile” 经常会在其他类似的句子中互换出现，这意味着它们在嵌入中会被放在附近。但是 “萝卜” 和 “老鹰” 不会出现在其他类似的句子中，所以它们在嵌入中会被放在很远的地方。

但是，如何使用神经网络实际实现这样的东西呢？让我们先来讨论一下不是针对单词的嵌入，而是针对图像的嵌入。我们想找到某种方法，通过数字列表来描述图像，使 “我们认为相似的图像” 被分配到相似的数字列表中。

我们如何判断我们是否应该 “认为图像相似”？好吧，如果我们的图像是，例如，手写的数字，我们可能会 “认为两个图像是相似的”，如果它们是相同的数字。早些时候，我们讨论了一个被训练来识别手写数字的神经网络。我们可以认为这个神经网络被设置成在其最终输出中把图像放入 10 个不同的仓，每个数字一个仓。

但是，如果我们在做出 “这是一个 ‘4’” 的最终决定之前，“拦截” 神经网络内部发生的事情呢？我们可能会想到，在神经网络中，有一些数字将图像描述为 “大部分是 4，但有一点是 2” 或类似的情况。而我们的想法是挑选出这样的数字作为嵌入的元素。

所以这里有一个概念。我们不是直接试图描述 “什么图像在什么其他图像附近”，而是考虑一个定义明确的任务（在这种情况下是数字识别），我们可以获得明确的训练数据 —— 然后利用这样一个事实，即在做这个任务时，神经网络隐含地要做出相当于 “接近度决定” 的决定。因此，我们不需要明确地谈论 “图像的接近性”，而只是谈论一个图像代表什么数字的具体问题，然后我们 “把它留给神经网络” 来隐含地决定这意味着什么 “图像的接近性”。