全国直销电话:4006-854-568
IT-technology
以人为本,众志成城,以“用户至上”.“服务上乘”为原则,
追求产品和服务高质量,努力实现与客户之间真诚有效的沟通,
不断地圆梦、奔跑与腾飞。
新闻动态   NEWS
ChatGPT的工作原理,这篇文章说清楚了 -北京赛维博信科技发展有限公司
来源:本人摘自网络,如有侵权请联系删除 | 作者:svbx001 | 发布时间: 2023-05-06 | 4373 次浏览 | 分享到:

还值得再次指出的是,对于神经网络能够 “接收” 的东西,不可避免地存在 “算法限制”。告诉它 “浅层” 的规则,如 “这个到那个”,神经网络很可能能够很好地表示和再现这些规则 —— 事实上,它从语言中 “已经知道” 的东西会给它一个直接的模式来遵循。

但是,如果试图给它制定一个实际的 “深度” 计算规则,涉及许多潜在的不可简化的计算步骤,它就无法工作了。(记住,在每一步,它总是在其网络中 “向前输送数据”;除了生成新的标记外,从不循环。)

当然,网络可以学习特定的 “不可简化的” 计算的答案。但只要有组合数的可能性,这种 “查表式” 的方法就不会奏效。因此,是的,就像人类一样,现在是时候让神经网络 “伸出手来”,使用实际的计算工具了。(是的,Wolfram|Alpha 和 Wolfram 语言是唯一合适的,因为它们是为了 “谈论世界上的事物” 而建立的,就像语言模型的神经网络一样)。


 10 
是什么真正让 ChatGPT 工作?


人类的语言 —— 以及产生语言的思维过程 —— 似乎一直代表着一种复杂性的顶峰。事实上,人类的大脑 —— “仅” 有 1000 亿个左右的神经元网络(也许还有 100 万亿个连接) —— 能够负责这项工作,似乎有些了不起。也许,人们可能会想象,大脑除了神经元网络之外还有其他东西,就像一些未被发现的物理学新层。

但现在通过 ChatGPT,我们得到了一个重要的新信息:我们知道,一个纯粹的人工神经网络,其连接数与大脑的神经元一样多,能够很好地生成人类语言,令人惊讶。

而且,是的,这仍然是一个庞大而复杂的系统 —— 其神经网络的权重与目前世界上的文字一样多。但在某种程度上,似乎仍然很难相信,语言的所有丰富性和它可以谈论的东西可以被封装在这样一个有限的系统中。

这其中的部分原因无疑是反映了一个无处不在的现象(这在第 30 条规则的例子中首次变得很明显),即计算过程实际上可以大大放大系统的表面复杂性,即使其基本规则很简单。但是,实际上,正如我们上面所讨论的,ChatGPT 中所使用的那种神经网络往往是专门用来限制这种现象的影响以及与之相关的计算的不可重复性的,以便使其训练更容易进行。

那么,像 ChatGPT 这样的东西是如何在语言方面走得如此之远的呢?我想,基本的答案是,语言在根本层面上比它看起来要简单得多。这意味着 ChatGPT —— 即使它的神经网络结构最终是简单的 —— 能够成功地 “捕捉” 人类语言的本质和背后的思维。此外,在其训练中,ChatGPT 以某种方式 “隐含地发现” 了语言(和思维)中的任何规律性,使其成为可能。

 

服务热线

1391-024-6332