还有一个想法是，我们应该在神经网络中引入复杂的单独组件，让它实际上 “明确地实现特定的算法想法”。但是，这又一次被证明是不值得的；相反，最好只是处理非常简单的组件，让它们 “自我组织”（尽管通常是以我们无法理解的方式）来实现（大概）那些算法想法的等价物。

这并不是说没有与神经网络相关的 “结构化思想”。因此，例如，具有局部连接的二维神经元阵列似乎至少在处理图像的早期阶段非常有用。而拥有专注于 “回顾序列” 的连接模式似乎很有用 —— 我们将在后面看到 —— 在处理人类语言等事物时，例如在 ChatGPT 中。

但神经网络的一个重要特点是，像一般的计算机一样，它们最终只是在处理数据。而目前的神经网络 —— 目前的神经网络训练方法 —— 是专门处理数字阵列的。但在处理过程中，这些数组可以被完全重新排列和重塑。举个例子，我们上面用来识别数字的网络从一个二维的 “图像” 阵列开始，迅速 “增厚” 到许多通道，但随后 “浓缩” 成一个一维阵列，最终将包含代表不同可能输出数字的元素：

但是，好吧，如何判断一个特定的任务需要多大的神经网？这是一门艺术。在某种程度上，关键是要知道 “这个任务有多难”。但对于类似人类的任务来说，这通常是很难估计的。

是的，可能有一种系统的方法可以通过计算机非常 “机械” 地完成任务。但很难知道是否存在人们认为的技巧或捷径，使人们至少在 “类似人类的水平” 上更容易地完成这项任务。可能需要列举一个巨大的游戏树来 “机械地” 玩某个游戏；但可能有一个更容易（“启发式”）的方法来实现 “人类水平的游戏”。

当人们在处理微小的神经网络和简单的任务时，有时可以明确地看到 “从这里不能到达那里”。例如，这是人们在上一节的任务中用几个小的神经网络似乎能做到的最好的结果：

而我们的情况是，如果网太小，它就不能再现我们想要的功能。但如果超过一定的规模，它就没有问题了 —— 至少如果一个人用足够长的时间和足够多的例子训练它。顺便说一下，这些图片说明了一个神经网络的传说：如果中间有一个 “挤压”，迫使所有东西都通过一个较小的中间神经元数量，那么我们往往可以用一个较小的网络。

（值得一提的是，“无中间层” —— 或所谓的 “感知器” —— 网络只能学习本质上的线性函数 —— 但只要有一个中间层，原则上就可以任意很好地近似任何函数，至少如果有足够的神经元，尽管为了使其可行地训练，通常需要某种正则化或规范化）。

好吧，让我们假设我们已经确定了某种神经网络架构。现在有一个问题，就是如何获得数据来训练网络。围绕神经网络和一般机器学习的许多实际挑战都集中在获取或准备必要的训练数据上。在许多情况下（“监督学习”），人们希望获得明确的输入和期望的输出的例子。