在一位谷歌工程师声称LaMDA有感知能力后，LaMDA出现在新闻中，因为它的回答据称暗示它理解它是什么。
工程师还建议，LaMDA传达出它有恐惧，就像人类一样。
什么是LaMDA，为什么有些人认为它可以实现意识？
语言模型
LaMDA是一种语言模型。在自然语言处理中，语言模型分析语言的使用。
从根本上讲，它是一个数学函数（或统计工具），用于描述与预测序列中的下一个单词相关的可能结果。
它还可以预测下一个单词的出现，甚至可以预测接下来的段落序列。
OpenAI的GPT-3语言生成器就是语言模型的一个例子。
使用GPT-3，您可以输入主题和说明，以特定作者的风格写作，例如，它将生成一篇短篇故事或文章。
LaMDA不同于其他语言模型，因为它是基于对话而不是文本训练的。
由于GPT-3专注于生成语言文本，LaMDA专注于生成对话。
为什么？这是一件大事
LaMDA的一个显著突破是，它可以以一种自由形式生成对话，而基于任务的响应的参数不受约束。
会话语言模型必须理解多模态用户意图、强化学习和建议等内容，以便
可以在不相关的话题之间跳转。
内置变压器技术
与其他语言模型（如MUM和GPT-3）类似，LaMDA建立在Transformer神经网络架构之上，用于语言理解。
谷歌写关于变压器：
“这种架构产生了一个模型，可以训练它阅读许多单词（例如一个句子或段落），注意这些单词之间的关系，然后预测它认为接下来会出现什么单词。”
为什么LaMDA似乎理解对话
伯特是一个被训练来理解模糊短语含义的模型。
LaMDA是一个经过训练的模型，能够理解对话的背景。
这种理解上下文的质量使LaMDA能够跟上对话的流程，并提供一种感觉，即它正在倾听并准确响应所说的内容。
它被训练来理解响应对于上下文是否有意义，或者响应是否特定于上下文。
谷歌这样解释：
“……与大多数其他语言模型不同，LaMDA接受的是对话培训。在培训过程中，它学习了将开放式对话与其他形式的语言区分开来的几个细微差别。其中一个细微差别是感觉。基本上，对给定对话语境的反应有意义吗？
令人满意的回答也往往是具体的，与对话的背景明确相关。”
LaMDA基于算法
2021 5月，谷歌发布了LaMDA的公告。
官方研究论文于2022年2月发表（LaMDA：对话应用程序的语言模型
ons PDF）。
研究论文记录了LaMDA如何接受培训，学习如何使用三个指标进行对话：
- 质量
- 安全
- 根据
质量
质量度量本身由三个度量得出：
研究报告指出：
“我们收集带注释的数据，这些数据描述了多匝上下文中响应的合理性、特定性和趣味性。然后，我们使用这些注释微调鉴别器，以重新排列候选响应。”
安全
谷歌研究人员使用不同背景的人群工作者来帮助标记不安全的反应。
该标记数据用于训练LaMDA：
“然后，我们使用这些标签来微调鉴别器，以检测和删除不安全的响应。”
根据
基础性是一种训练过程，用于教授LaMDA研究事实有效性，这意味着答案可以通过“已知来源”进行验证
这一点很重要，因为根据研究论文，神经语言模型产生的陈述看似正确，但实际上不正确，并且缺乏来自已知信息来源的事实支持。
人群工作人员使用搜索引擎（信息检索系统）等工具对答案进行事实检查，以便人工智能也可以学习。
研究人员写道：
“我们发现，通过使用外部工具（如信息检索系统）来增强模型输出是实现这一目标的一种有希望的方法。
因此，我们从一个环境中收集数据，在这个环境中，众包工作者可以使用外部工具来研究事实声明，并将模型训练成m
imic是他们的行为。”
LaMDA使用人类示例和评分员进行培训
研究论文的第3节描述了LaMDA是如何使用一组文档、对话和话语进行训练的，这些文档、对话、话语数量达数十亿，由1.56万亿个单词组成。
第4.2节记录了人类如何通过LaMDA对反应进行评级。评级是一种反馈，当LaMDA做得好或不好时，它会教给LaMDA。
人工评分员使用信息检索系统（搜索引擎）来验证答案，将其排序为有用、正确和真实。
LaMDA Training使用了搜索引擎
第6.2节描述了LaMDA如何接收问题，然后生成答案。生成响应后，它执行搜索查询以验证准确性，如果答案不正确，则修改答案。
上述研究论文说明了接收问题、生成回复草案、研究回复、然后用正确事实更新回复的过程：
这个答案的问题在于它实际上是不正确的。因此，LaMDA执行搜索查询并从顶部结果中选择事实。
然后，它以实际更新的响应进行响应：
“哦，哇，她的人生历程如此鼓舞人心。你知道她在转向雕塑之前是日本插花的从业者吗？”
注意答案的“哦，哇”部分；这是人类学会说话的一种形式。
看起来像是人类在说话，但它只是模仿一种说话模式。
模仿人类反应的语言模型
我向MarketMuse的联合创始人、人工智能专家杰夫·科伊尔（Jeff Coyle）询问了他对LaMDA有感知的说法的看法。
杰夫分享：
“最先进的语言模型将继续更好地模拟感知。
有才华的运营商可以推动聊天机器人技术进行对话，模拟可由活人发送的文本。
这就造成了一种令人困惑的情况，在这种情况下，有些东西感觉像人，而模型可以“撒谎”并说一些模仿感知的话。
它会说谎。它可以可信地说，我感到悲伤，快乐。或者我感到疼痛。
但这是复制，模仿。”
LaMDA旨在做一件事：提供有意义的对话回应，并针对对话的上下文。这会让它看起来有知觉，但正如杰夫所说，它本质上是在撒谎。
因此，尽管LaMDA提供的回答感觉像是与有知觉的人的对话，但LaMDA只是在做它被训练的事情：给出对对话背景敏感的回答，并高度特定于该背景。
研究论文的第9.6节，“非个人
“拟人化和拟人化”明确指出，拉姆达是在模仿人类。
这种程度的模仿可能会导致一些人将LaMDA拟人化。
他们写道：
“最后，重要的是要承认，LaMDA的学习是基于模仿人类在对话中的表现，类似于许多其他对话系统……一条通往高质量、参与人工系统对话的道路，在某些方面可能最终与人类对话无法区分。
人类可能在不知道系统是人工的情况下与系统进行交互，或者通过将某种形式的个性赋予系统而将系统拟人化。”
感知问题
谷歌的目标是建立一个人工智能模型，可以理解文本和语言，识别图像，并生成对话、故事或图像。
谷歌正在致力于这一人工智能模型，称为路径人工智能架构，它在“关键词”中描述：
“今天的人工智能系统通常是针对每个新问题从头开始训练的……我们不是扩展现有模型来学习新任务，而是从无到有地训练每个新模型，只做一件事和一件事……”…
结果是，我们最终为数千个单独任务开发了数千个模型。
相反，我们希望培训一个模型，它不仅可以处理许多单独的任务，还可以利用和结合现有技能，更快更有效地学习新任务。
这样，模型通过一项任务的训练所学到的知识——比如，学习航空图像如何预测景观的高度——可以帮助它学习另一项任务——比如，预测洪水
s将流经该地形。”
Pathways人工智能旨在学习以前没有受过训练的概念和任务，就像人类一样，无论形式（视觉、音频、文本、对话等）如何。
语言模型、神经网络和语言模型生成器通常专注于一件事，如翻译文本、生成文本或识别图像中的内容。
像伯特这样的系统可以识别模糊句子的意思。
类似地，GPT-3只做一件事，即生成文本。它可以创建斯蒂芬·金或欧内斯特·海明威风格的故事，也可以创建两种作者风格相结合的故事。
有些模型可以做两件事，比如同时处理文本和图像（LIMoE）。还有多模态模型，如MUM，可以跨语言提供不同类型信息的答案。
但它们都不完全处于路径水平。
LaMDA模拟人类对话
声称拉姆达有感知能力的工程师在推文中表示，他不能支持这些说法，他关于人格和感知能力的说法是基于宗教信仰。
换句话说，这些说法没有任何证据支持。
我们的证据在研究论文中清楚地陈述了，其中明确
ly表示，模仿技能非常高，人们可能会将其拟人化。
研究人员还写道，坏演员可以使用这个系统来模拟真实的人类，并欺骗某人，使其认为他们在与特定的人说话。
“……对手可能试图通过使用这种技术来模仿特定个人的对话风格来玷污他人的声誉、利用其地位或散布错误信息。”
正如研究论文所表明的那样：LaMDA被训练来模拟人类对话，这就是事实。
