得益于论文分级软件程序，您的老师在阅读有关“我如何度过暑假”的论文时眼花乱的夜晚可能很快就结束了。

依靠称为“潜在语义分析”的技术，该软件程序允许计算机对学生的论文进行评分。它可能很快就可以用于学校了，但是许多教育工作者质疑评估论文是否适合当今技术的使用，在该论文中学生必须综合他们对特定主题的知识。

该软件名为Intelligent Essay Assessor(IEA)，它使用数学分析来衡量书面表达的知识的质量。该程序由科罗拉多大学博尔德分校心理学教授托马斯·兰道尔(Thomas Landauer)开发，并于4月16日在美国教育研究协会(AERA)年会上首次亮相。

兰道尔说：“我们的目标之一是让教师花更多的时间在教学上，让学生写更多的论文。”

他指出，尽管作文考试比其他类型的考试能更好地评估学生的知识，但这些考试通常很耗时，而且很难公平准确地评分，特别是对于班级大的教师或国家考试的学生。

Landauer与CU-Boulder博士生Darrell Laham和新墨西哥州立大学心理学教授Peter Foltz共同致力于该项目背后的技术已有10年了。

IEA的开发人员认为该程序是一种将更多书面工作与学生的评估相适应的方法，而不是依靠诸如多项选择测试之类的术语识别方法。班级较大的教师可以使用该软件来补充数百篇论文的评分，从而减轻他们的工作量。

该程序如何运作

该程序不只是计算单词或分析力学和语法，还可以像早期论文评分应用程序那样进行计数。Laham说他的程序可以查看大块文本并确定它们之间的相似性。

该软件背后的技术是一种新型的人工智能，非常类似于神经网络。“从某种意义上讲，它试图模仿人脑的功能，”拉罕说。

首先，从在线教科书或其他来源中向程序提供有关主题的信息。它从文本中“学习”，然后在每个单词和任何其他单词的含义之间分配数学上的相似度。这样，学生可以使用含义相同的事物并获得相同分数的不同单词，例如“医师”和“医生”之类的单词。

接下来，老师对文章进行评分，以提供从好到坏例子范围的统计样本–例如，在100篇论文中，有30到40篇论文是由Laham说的。然后，计算机即可对其余部分进行分级。

Laham说：“它采用学生论文中的单词组合，并计算其与比较论文中的单词组合的相似度。”

Laham说，在一个又一个的测试中，该程序显示了人类分级机和计算机之间的一致性范围与两个不同人类分级机之间的一致性范围。Laham说：“该程序在评分方面具有完美的一致性，这是人类评分员几乎从未拥有的一个属性。” “系统不会感到无聊，仓促，困倦，急躁或健忘。”

但是怀疑者仍然坚持

尽管该程序在试运行中被证明是一致的，但该程序已经引起了批评者的欢迎。他们说写作应该教人与人之间的沟通技巧。

美国大学教授协会执行董事玛丽·伯根(Mary Burgan)表示，该计划错过了让学生写论文的目的。

“我认为这是一个糟糕的主意。教育不是在散播信息，而是将其吸收到语言中。”伯根告诉美联社。

伊利诺伊大学香槟分校教育心理学教授理查德·安德森(Richard Anderson)表示：“我觉得(该计划的创建者)做得很好，但我普遍担心，这类系统会对如何产生意外后果学生准备[作文考试]。”

安德森(Anderson)担任该软件的AERA演示的讨论者。他说，尽管该程序可以执行复杂形式的词汇匹配，但是它的主要问题是它无法分析句法关系，即“谁对谁做什么”。

例如，如果要求学生写一篇有关新政及其对大萧条的影响的文章，则该计划可以查看是否存在所有相关术语：富兰克林·罗斯福，“字母表机构”，1930年代，失业，田纳西河谷管理局，等等。但是该程序可能无法区分带有“ 1933年，罗斯福签署了TVA法案”的陈述和带有“ 1933年，罗斯福否决了TVA法案”的陈述。

该软件可以评估学生是否正在用典型的英语句子写作，从而防止学生简单列出关键概念而不将其以论文形式捆绑在一起。它还可以识别学生何时偏离了当前的话题，并将此类文章引向老师的注意，以进行更仔细的复习。

但是安德森说，他认为一旦学生对它付诸行动，这个系统可能会被打败，而且他担心会被打败。

“ [IEA的制造商]需要在学校和学生的'友好'环境之外进行现场试验，以寻找任何意外的副作用，”安德森说。

进行Beta测试

这正是Landauer和他的同事计划要做的。他们已经申请了专利，现在正在寻求其他教育工作者的回应。

Laham承认了该程序的缺点。他说：“这并不是要取代创意写作或学期论文分级。” 它也不是要评估语言或修辞技巧。而是，该软件在用于测量从简短回答，直接响应中获得的内容知识时效果最佳。

学习仍然有回报

Landauer将备份或检查评分员的评估视为该软件的另一个应用程序。例如，该程序可以用于通常需要两个或三个人来确保学生获得公平分数的情况，例如期末考试或国家考试。

关于该系统可以在考试中胜出的说法呢?兰道尔说：“我们试图写出不好的论文并获得良好的成绩，如果我们真的很了解材料，有时我们可以做到。” “欺骗该系统的最简单方法是认真学习，了解材料并撰写一篇好文章。”