在一个问题中精确定位某人所指的人，地点或事物对于支持Alexa的系统来说是一个长期的挑战。通常用于解决此参考分辨率问题的一个技巧是时隙残留，其使用句法上下文来缩小目标名词。例如，如果有人问“狮子王什么时候在Bijou玩耍?”并跟进问题“那附近有一家好墨西哥餐馆吗?”“那里”被认为是“Bijou”。

在狭窄的目标应用程序中，插槽遗留通常可以毫无障碍地工作，但是当涉及到知识库跨越数百(或数千)域(如Alexa)的AI时，事情变得更加复杂。不同的服务对同一数据使用不同的插槽，并且在对话过程中，自然语言理解模型必须确定一个服务使用哪些插槽(例如，使用插槽名称标记位置数据的电影查找服务“Theater_Location “)应该从另一个使用的插槽继承数据。

这就是为什么亚马逊的Alexa AI部门的研究科学家最近研究了一些小型模型，这些模型学会从之前的对话转向当前转向。通过对每个槽值进行独立判断，模型在验证测试中成功地显着优于基于规则的基线系统。

正如研究合作者Chetan Naik和Pushpendre Rastogi今天早上在亚马逊的Alexa博客上发表的一篇文章中所解释的那样，在许多Alexa服务中，时隙值是相关的，因此很有可能携带一个时隙值意味着很有可能携带另一个时隙。例如，美国的服务有城市和州的插槽，如果其中一个插槽从一个对话转到另一个，那么另一个也很可能。

该团队在两个机器学习系统中利用了这些相关性，第一个是基于长短期记忆(LSTM)架构的指针网络。一个双向LSTM - 编码器 - 通过前向和后向处理将顺序输入数据转换成数学表示(向量)，而第二个LSTM - 解码器 - 将其转换回数据序列。实际上，指针网络输出要从前几轮对话中转移的时隙子集。

团队考虑采用的另一种架构与第一种编码器相同，但它用基于GoogleTransformer架构的自我关注解码器取代了指针生成器解码器。这种特殊的自我关注机制使其能够在决定如何处理给定输入时了解要强调哪些数据，主要是通过将每个输入槽与前面几个对话中识别出的所有其他槽进行比较。

研究人员使用两个语料库(一个是标准的公共基准，另一个是内部数据集)测试了他们的系统，他们发现新的架构比去年的Alexa AI科学家系统更好地模拟了插槽的相互依赖性。Transformer系统的性能略好于指针生成器，但在更长的对话跨度中识别插槽相关性方面具有优势。

该作品在计算语言学协会的会话人工智能自然语言处理研讨会上获得了两项最佳论文奖，但Naik，Rastogi及其同事并未满足于他们的成就。实际上，他们已经在利用更大的数据集和转移学习等技术进一步改进插槽间隔。