或者换句话说，在能力和可训练性之间有一个最终的权衡：你越想让一个系统 “真正利用” 它的计算能力，它就越会显示出计算的不可复制性，它的可训练性就越低。而它越是从根本上可训练，它就越不能做复杂的计算。

（对于目前的 ChatGPT 来说，情况实际上要极端得多，因为用于生成每个输出符号的神经网络是一个纯粹的 “前馈” 网络，没有循环，因此没有能力做任何具有非复杂 “控制流” 的计算）。

当然，人们可能会问，能够做不可还原的计算是否真的很重要。事实上，在人类历史的大部分时间里，这并不特别重要。但我们的现代技术世界是建立在至少使用数学计算的工程之上的，而且越来越多地使用更普遍的计算。如果我们看一下自然界，它充满了不可简化的计算 —— 我们正在慢慢理解如何模仿并用于我们的技术目的。

是的，一个神经网络当然可以注意到自然世界中的各种规律性，而我们也可能很容易通过 “无助的人类思维” 注意到这些规律性。但是，如果我们想要解决属于数学或计算科学范畴的事情，神经网络是无法做到的 —— 除非它有效地 “作为工具” 使用一个 “普通” 的计算系统。

但是，这一切都有一些潜在的混淆之处。在过去，有很多任务 —— 包括写文章 —— 我们认为对计算机来说 “从根本上说太难了”。而现在我们看到这些任务是由 ChatGPT 等完成的，我们倾向于突然认为计算机一定是变得更加强大了，特别是超越了它们已经基本能够做到的事情（比如逐步计算蜂窝自动机等计算系统的行为）。

但这并不是正确的结论。计算上不可还原的过程仍然是计算上不可还原的，而且对计算机来说仍然是根本性的困难 —— 即使计算机可以轻易地计算它们的单个步骤。相反，我们应该得出的结论是，我们人类可以做的，但我们不认为计算机可以做的任务，比如写文章，实际上在某种意义上比我们想象的更容易计算。

换句话说，神经网络之所以能够成功地写出一篇文章，是因为写一篇文章被证明是一个比我们想象的 “计算上更浅” 的问题。从某种意义上说，这使我们更接近于 “拥有一种理论”，即我们人类是如何做到像写文章这样的事情的，或在一般情况下处理语言。

如果你有一个足够大的神经网络，那么，是的，你可能能够做任何人类能够轻易做到的事情。但是，你不会捕捉到自然界一般能做的事情 —— 或者我们从自然界塑造的工具能做的事情。而正是这些工具的使用 —— 无论是实用的还是概念性的 —— 使得我们在近几个世纪里能够超越 “纯粹的无助的人类思维” 所能达到的界限，并为人类的目的捕捉到物理和计算宇宙中的更多东西。