想象一下，未来会有一个教室，老师和AI合作伙伴将共同努力，确保没有学生掉队。AI伙伴仔细监控会发现后面的学生安静，全班安静，AI伙伴会提示老师与学生互动。接到电话时，学生问了一个问题。老师会把材料解释清楚，这样每个学生都能更好地理解这一课。

这是对未来教室的更大愿景的一部分，在未来教室中，人类指导和人工智能技术将相互作用，以改善教育环境和学习体验。

TJX Feldberg的计算机科学教授詹姆斯普斯特乔夫斯基(James Pustejovsky)正在与科罗拉多大学博尔德分校领导的团队一起努力实现这一愿景，该团队是国家科学基金会资助的新的2000万美元AI学生-AI团队研究所的一部分。

这项研究将在帮助确保人工智能代理成为课堂上语言和视觉功能的自然伙伴方面发挥至关重要的作用，不仅使人工智能代理能够听到老师和每个学生在说什么，而且还能注意到手势(指指点点和耸肩)。摇头)、眼神和面部表情(学生的态度和情绪)。

Pustejovsky花了一些时间回答了BrandeisNOW关于他的研究的问题。

你的研究如何帮助将来建造教室？

在过去的五年里，我们一直在尝试创建一个名为Diana的多模式化身系统，它与人类交互来执行各种任务。她可以对人类伙伴的语言和手势进行交谈、倾听、观察和回应，然后在名为VoxWorld的3D模拟环境中执行操作。这是我们与罗斯贝弗里奇领导的科罗拉多州立大学合作者在他们的视觉实验室中完成的工作。我们将再次合作(CSU和Brandeis)，帮助将这种“嵌入式人机交互”带入课堂。我以前的博士学位是尼基尔克里希那瓦米戴安娜。学生和共同开发者已经加入了CSU，并成为其团队的一部分。

如何在课堂环境中工作？

首先是看不见的，比如iPad上的虚拟存在，可以识别不同学生的声音。想象一下教室：六年级6到10个孩子。第一年的初始目标是AI合作伙伴被动地关注不同学生的谈话和互动方式，然后最后合作伙伴将学会干预，以确保每个人都得到公平的代表并参加课程。

除了教室，戴安娜还有其他有用的设置吗？

假设我的iPad上有一个茱莉亚切尔德应用程序。我希望她能帮我做面包。如果我在iPad上启动程序，茱莉亚切尔德的头像将能够理解我的讲话。如果我安装了摄像头，程序将允许我将她完全嵌入到她的虚拟空间中，这样她就可以帮助我。

她怎么帮你的？

她会看着我的桌子说，“嗯，你需要的东西都有了吗？”然后我会说，“我想是的。”所以你可以打开摄像机。如果你把所有的烘焙材料都放在桌子上，她会扫描桌子。她会说，我看到面粉、酵母、盐和水，但我没有看到任何器具：你需要一个杯子，你需要一茶匙。等你有了需要的东西，她会告诉你把面粉放在那边的碗里。然后她会告诉你怎么混。

戴安娜就是从那里进来的吗？

是的，戴安娜基本上已经成为人机交互中的“具体存在”:她能看到你在做什么，你也能看到她在做什么。在课堂互动中，Diana可以帮助指导学生制定课程计划、对话和手势，并监控学生的进度、情绪、满足感或挫败感。

戴安娜在虚拟教学中有用吗？

使用人工智能伙伴进行虚拟学习可能是一种相当自然的互动。事实上，使用Zoom这样的平台，其实很多计算问题其实都比较容易，因为不同说话人的语音和视频轨迹都已经被分割识别出来了。此外，在好莱坞广场所有学生的展示中，虚拟AI伙伴似乎不自然，戴安娜可能更容易与学生在线融合。