人工智能助力语音助手苹果新方法超越GPT4

“

苹果公司近期提出一种名为ReALM（Reference Resolution As Language Modeling）的方法，通过将上下文信息转化为语言模型问题，成功解决了大型语言模型在处理非会话式实体上下文信息方面的挑战。该方法通过解析实体和位置信息，重建屏幕并生成纯文本表示，使语言模型能够理解上下文。实验结果显示，ReALM在处理上下文信息方面表现出色，有望提升语音助手的准确性和自然性，为用户提供更好的交互体验。

苹果公司近期提出一种名为ReALM（Reference Resolution As Language Modeling）的方法，通过将上下文信息转化为语言模型问题，成功解决了大型语言模型在处理非会话式实体上下文信息方面的挑战。这一突破有望提升语音助手的准确性和自然性，为用户提供更好的交互体验。

语音助手已经成为我们日常生活中不可或缺的一部分，它可以帮助我们完成各种任务，如设置提醒、预订餐厅等。然而，要使语音助手真正发挥作用，它需要能够理解和处理上下文信息。例如，当用户说“他们”或“那”时，语音助手需要根据上下文来确定这些代词的含义。此外，语音助手还需要能够理解用户在屏幕上看到的内容，以便提供更准确和自然的交互体验。

然而，在处理上下文信息方面，尤其是对非会话式实体的上下文信息的处理，如屏幕上的实体或后台运行的实体，大型语言模型（LLMs）的应用仍存在挑战。这是因为当系统需要在设备上本地运行时，如智能手机，由于计算能力有限和延迟限制，使用单个大型LLM进行端到端处理是不可行的。此外，当模型需要与API集成或与其他组件交互时，使用LLM进行端到端处理可能需要对现有管道进行重大修改，这可能不切实际或完全不可能。

为了解决这些挑战，苹果公司的研究人员提出了ReALM方法。ReALM的核心思想是将上下文信息转化为语言模型问题。具体来说，ReALM通过解析实体和它们的位置来重建屏幕，生成一个纯文本表示的屏幕内容。然后，ReALM将这些实体标记起来，以便语言模型可以理解它们在屏幕上的位置和周围的文本。通过这种方式，ReALM可以将上下文信息转化为语言模型可以处理的形式。

为了评估ReALM的性能，研究人员进行了一系列的实验。他们将ReALM与现有的基于规则的方法和GPT-3.5和GPT-4等大型语言模型进行了比较。实验结果表明，ReALM在处理上下文信息方面表现出色。在处理屏幕上的实体时，ReALM的性能几乎与GPT-4相当，而GPT-4可以访问实际的屏幕截图。此外，ReALM在处理新领域和特定领域的查询时也表现出色。

在 WWDC 2024 和预计 6 月发布的iOS 18之前，人们对先进的 Siri 2.0 的首次亮相抱有很高的期望。届时 ReALM 是否会集成到 Siri 中仍不确定。

ReALM的应用潜力是巨大的。首先，它可以用于改进现有的语音助手，使其能够更好地理解和处理上下文信息。这将提高语音助手的准确性和自然性，为用户提供更好的交互体验。其次，ReALM可以用于构建新的语音助手系统，这些系统可以在设备上本地运行，同时保持高性能和低延迟。最后，ReALM还可以用于其他需要处理上下文信息的应用领域，如自动驾驶和智能家居等。

总的来说，苹果公司的ReALM方法为语音助手和其他需要处理上下文信息的应用领域带来了新的机遇。通过将上下文信息转化为语言模型问题，ReALM成功解决了LLMs在处理非会话式实体上下文信息方面的挑战。随着进一步的研究和发展，我们可以期待ReALM在未来得到更广泛的应用。

论文地址：https://arxiv.org/pdf/2403.20329.pdf