导读 中国科技巨头百度今天推出了ERNIE 2 0,这是一个中英文对话的AI框架和模型。ERNIE 2 0在一系列语言理解基准和9项中文自然语言任务的最新
中国科技巨头百度今天推出了ERNIE 2.0,这是一个中英文对话的AI框架和模型。ERNIE 2.0在一系列语言理解基准和9项中文自然语言任务的最新成果中,比Google的BERT和XLNet更好地实现了最先进的结果。
ERNIE代表通过知识集成实现增强型表示,与Google的BERT一样,ERNIE 2.0依赖于变换器编码器和BookCorpus数据集进行培训。
ERNIE在电影评论(SST-2)的情感分析或从句子(MNLI)推断意义的能力等任务中表现优于其他高级NLP模型。
ERNIE 2.0建立在第一版ERNIE之上,ERNIE是今年早些时候由百度开源的中文理解模型。原版和ERNIE 2.0都在各种中文基准测试中取得了最先进的成果。
ERNIE 2.0应用多任务学习和一系列预训练任务,如大写字母预测(因为大写单词通常包含专有名词)和任务,例如学习句子之间的关系或发出语义理解。
所有预训练任务都使用自我监督或弱监督信号,这些信号可以从没有人类标签的海量数据中获得。
它还依赖于百度所称的持续预训练。
“持续预训练的过程包含两个步骤。首先,我们不断构建无监督的预训练任务,具有大的语料库和/或先验知识。其次,我们通过多任务学习逐步更新ERNIE模型,“关于该主题的论文于周一发表在arXiv上。
在其他新闻中,本月早些时候在其年度人工智能开发者大会上,百度宣布其Apollo自动驾驶汽车系统已经在中国城市行驶了超过100万英里,并共同计划与英特尔合作开展其Nervana神经网络项目。
两年前百度的目标是向所有人提供Duer会话平台,百度也宣布Duer现在为4亿台设备提供语音命令,高于一年前的1亿台设备。