首页 > 要闻 > > 正文
2019-11-07 15:47:01

Facebook利用机器学习工具用AIi映射AI和RapiD加速了地图数据验证

导读 世界上数以百万计的道路尚未映射,这是一个真正的问题,特别是在发展中国家。缺少地图数据可能会损害灾难响应,社区规划和当地经济。虽然像

世界上数以百万计的道路尚未映射,这是一个真正的问题,特别是在发展中国家。缺少地图数据可能会损害灾难响应,社区规划和当地经济。虽然像英国军械测量局这样的政府运营和税收资助项目产生了巨大的语料库,但他们在很大程度上未能自由地和广泛地分发它们。

这激发了像OpenStreetMap这样的众包工作,每天招募数千名志愿者为道路,建筑物和桥梁编制目录。这是一个艰难的过程,但是得到了Facebook的支持,Facebook已经与社区和合作伙伴一起微调了一个工具 - 使用Map Map - 可以自动完成几个最耗时的步骤。

现在,经过近两年的开发,Facebook正在为OpenStreetMap社区提供Map with AI。它包括访问阿富汗,孟加拉国,印度尼西亚,墨西哥,尼日利亚,坦桑尼亚和乌干达的AI生成的道路映射(随着时间的推移,将有更多国家出现),它还附带RapiD,一个由人工智能驱动的OpenStreetMap编辑版本工具iD。

“世界上很多农村地区很难在地面上绘制地图。正如我之前在红十字会工作中所经历的那样,挑战包括偏远地区,缺乏电力和互联网接入以及复杂的经济和政治环境,“Facebook地图和位置基础设施产品经理Drishtie Patel表示。“地图数据差距可能影响到一切,包括灾难响应,社区规划和帮助当地经济。”

正如Patel及其同事在博客文章中解释的那样,Map With AI旨在使道路的添加和编辑变得快速而简单。它通过利用Maxar的商业卫星图像预测道路网络的新方法实现了这一点,使其能够适应区域道路差异。

位于Map With AI核心的34层卷积神经网络以每像素2平方英尺的分辨率隔离地理空间快照中的道路,然后生成栅格化地图,显示每个像素的预测置信度。(在预测结果图中,模型的置信度对应于洋红色线的亮度。)随后,地图被转换为数学表示 - 向量 - 通过后处理技术与OpenStreetMap的地理空间数据库兼容。

Facebook表示,在泰国的18个月内,其团队使用Map With AI来消除该国600,000英里道路的其余部分(包括超过300,000英里的失踪道路)以及印度尼西亚超过90%的失踪道路,这是一个过程如果手工完成,估计还需要三到五年。此外,该公司表示,在去年印度喀拉拉邦发生严重洪灾之后,Map With AI加快了OpenStreetMap人道主义响应团队对该地区的绘图。

Patel及其同事指出,像泰国收集的数据(由人类专家团队人工审查)可以用来改善道路分割系统的准确性,但仅限于收集它的区域;它往往不能很好地概括。为了解决这个问题,Map With AI团队研究了在模型培训期间合并其他OpenStreetMap数据的方法。

该解决方案被证明是一种弱监督技术,涉及识别具有准确,充足数据的区域,并将OpenStreetMap数据库的道路向量转换为光栅化语义分段标签。具体而言,收集并过滤一组2,048×2,048像素的瓷砖(每像素的分辨率约为24英寸),并对那些被丢弃的包含少于25条的映射道路进行过滤。对于每个剩余的瓦片,对道路矢量进行光栅化,并将得到的掩模用作训练标签。最后,每个源卫星图像被随机裁剪为1,024×1,024像素,导致大约180万个瓷砖覆盖六大洲超过700,000平方英里。

Facebook团队将每个道路矢量栅格化为五个像素,以创建分割蒙版,这比听起来更棘手。道路的宽度和轮廓在光栅化矢量无法完美捕捉的方式上有所不同,并且由于不同区域的道路是从不同的卫星图像源映射的,因此它们并不总是与训练数据图像完全对齐。

Facebook表示,由于数据收集过程中只产生嘈杂的标签,因此能够与DeepGlobe卫星挑战赛中的许多参赛者产生竞争结果,这是2018年计算机视觉和模式识别会议上推出的旨在推动卫星图像分析的艺术。经过一些微调后,该团队的模型相对于开源DeepGlobe数据集(其中仅包含来自印度,印度尼西亚和泰国的道路数据)训练的相同模型,相对改善率为62%,绝对改善率为13.7%。

“这种规模,复杂性和精确度的技术最近才出现,”Map With AI工程经理Danil Kirsanov说道。“这种程度的细节意味着它可以发现未铺砌的道路,以及小巷甚至人行道。”

人类志愿者

但没有模型是完美的。这就是RapiD的用武之地。

一旦Facebook的系统识别出潜在的道路,它们必须在提交给OpenStreetMap之前进行验证。局部或区域差异可能会影响道路是否被正确分类,并且一些结果错误地追踪其他卫星图像特征,如干河床,狭窄的海滩和运河或完全错过连接点和路径。

为了简化这一过程,并补充现有的映射验证工具,如Java OpenStreetMap Editor和HOT Tasking Manager,Facebook构建了上述RapiD,这是iD地图编辑器的开源扩展。使用称为混淆的过程,它将模型的结果与OpenStreetMap中已有的数据结合起来,既提供了如何使用现有数据加入新道路的建议,也防止使用建议道路覆盖现有道路数据。

RapiD编辑器使审阅者能够可视化混合道路,突出显示新更改,并使用新命令和快捷方式执行常见数据清理任务,例如调整道路分类以适应周围环境。完整性检查可以捕获模型结果的潜在问题,确保地图编辑既一致又准确。

“总而言之,良好的工具赋予了地图绘制者,减少了基于卫星数据绘制道路的繁琐和耗时的部分,提高了道路形状的准确性,并提供了识别建议道路的选项 - 即使地图选择器不使用这些建议,”在一篇博文中写道。“提供不限制专业地图制作者的能力和判断力的工具非常重要。我们将根据这些映射器的反馈不断改进RapiD,以使过程更加顺畅。我们相信最终的工具可以提高卫星图像在测绘中的实用性。“

Facebook表示,Map With AI验证的地图数据(将公开发布)可能有助于为灾难城市规划和开发项目提供信息,并改进使用OpenStreetMap的Facebook产品,如Marketplace,Local和Pages。

“RapiD工具是与绘图界的人一起开发的,他们在这个领域工作了很多年。因为这个工具是根据他们的意见建立的,所以它已经产生了影响,“人道主义OpenStreetMap团队的执行董事Tyler Radford说道。

“RapiD向实现这一目标迈出了一大步,”Radford补充道。“通过增加以前完全手动的过程 - 从卫星图像中追踪道路 - RapiD将最好的机器学习与最好的人类专业知识相结合。它增加了地图制作者。“

地图随着人工智能建立在Facebook的其他努力,以促进人工智能绘图,以及其持续的人口密度地图项目和使用卫星图像检测德克萨斯州飓风哈维和2017年加利福尼亚州圣罗莎火灾造成的洪水(Facebook此前已合作与哈佛大学公共卫生学院,联合国儿童基金会,世界银行等组织共同制作由卫星图像,计算机视觉,人口普查数据和专有数据提供支持的抗病实时地图。)该公司表示正在开发新机器适用于遥感问题空间的学习技术和架构,并表示正在研究如何将这些应用于支持工具的“全球规模的道路测绘工作”。

OpenStreetMap--由非营利组织OpenStreetMap Foundation支持- 于2004年推出,现已发展到500多万注册用户,他们通过人工调查,GPS设备,航空摄影和其他免费资源收集数据。整理的地图在开放式数据库许可下可用,可用于传统应用程序和GPS接收器附带的默认数据。除了Facebook之外,像Craigslist,OsmAnd,Geocaching,MapQuest Open,Flickr,MapQuest,MapBox,Moovit,Tableau,Niantic,Snapchat,Webots,JMP统计软件和Foursquare等公司已经开发了OpenStreetMap的数据库,用于映射和基本路由任务。