例如问答它依赖于使用世界知识预先训练的语言模型

vetedo7038g

2021 年 5 月 11 日发布的一项 Google 专利涉及自然语言处理（“NLP”）任务。 语言模型预训练的进步导致了语言模型的使用。该模型使用 Transformers 的双向编码器表示（“BERT”）。谷歌一直在研究这种语言模型。该专利还告诉我们，使用文本到文本传输转换器（“T5”）可以捕获大量的世界知识。

这将成为训练该语言模型的庞大文本语料库。 使用积累越来越多知识的语言模型存在一个问题。发明人指出，将知识存储在神经网络的参数中会导致网络尺寸增加。这种增加可能会损害系统运行。 该专利从该信息开始，然后进入摘要。摘要告诉我们专利中描述的过程如何运作。

基于神经网络的语言模型的预训练和微调 该专利告诉我们，它提供了一种预训练 墨西哥 WhatsApp 号码数据 和微调基于神经网络的语言模型的方法。 它涉及通过使用与语言模型一起训练的基于神经网络的文本知识检索器来增强语言模型预训练和微调。它指出： 在预训练过程中，知识检索器从未标记的预训练语料库（例如，一本或多本在线百科全书）获取文档（或其部分）。

知识检索器通过从检索到的文档之一中采样一段文本并屏蔽采样的文本片段中的一个或多个标记（例如，“[MASK]是英国的货币。来生成训练示例。 知识检索问答 语言模型包含屏蔽功能 预训练集使用此掩蔽功能：




知识检索器还从语言模型使用的知识语料库中检索更多文档，以预测每个屏蔽标记中应包含的单词。然后，语言模型在预测屏蔽标记时对每个检索到的文档的概率进行建模，并使用这些概率对文档（或其某些子集）的相关性进行排名和重新排名。

知识检索 BERT 问答 BERT 如何处理问答 像 BERT 这样的语言模型可以用于许多功能。该专利也指出了这些。它告诉我们有关 BERT 问答的信息： 接下来使用一组不同的任务对知识检索器和语言模型进行微调。

例如，知识检索器可以使用开放域问答（“open-QA”）任务进行微调，其中语言模型必须尝试预测一组直接问题的答案（例如，资本是多少）加利福尼亚州？）。在这个微调阶段，知识检索器使用其学习到的相关性排名来检索对语言模型有帮助的文档来回答每个问题。本技术的框架提供了可以从大型未标记语料库中检索有用信息的模型，而不需要神经网络参数中的所有相关信息。