哥伦比亚工程公司的计算机科学家开发了一种新的计算系统,可以使当前未经修改的移动应用程序在多个智能手机和平板电脑上组合和共享多个设备,包括摄像头,显示器,扬声器,麦克风,传感器和GPS。这个名为M2的新系统可以跨异构系统运行,包括Android和iOS,将多个移动系统的功能组合成一个功能更强大的系统,为用户提供跨各种系统的无缝体验。
随着无边框智能手机和平板电脑的出现,M2满足了对多移动计算不断增长的需求 - 用户可以将其Netflix或Spotify流从智能手机动态切换到附近其他系统的集合,以获得更大的显示屏或更好的音频。用户可以将系统的功能结合起来,而不是孤立地使用智能手机和平板电脑,因为它们现在可以一起工作。用户甚至可以将从不同相机拍摄的照片和不同角度的照片组合成单个详细的3D图像。
“考虑到许多流行和熟悉的应用程序,我们可以将这些现有的未经修改的应用程序结合并混合使用,而不必强迫开发人员采用新的API和工具,”该研究的主要作者,博士Naser AlDuaij说道。学生与计算机科学教授Jason Nieh一起工作。“我们希望使用M2来定位所有应用,而不会增加应用开发的任何开销。用户甚至可以使用M2从他们的iPhone运行Android应用。”
该团队面临的挑战是移动系统不仅具有高度异构性,而且异构设备共享也难以支持。除了硬件异构性之外,还有许多不同的平台和操作系统版本,以及各种不兼容的设备接口,这些接口决定了软件应用程序如何与硬件通信。
虽然不同的移动系统具有不同的API,并且低级设备是特定于供应商的,但是提供给应用的高级设备数据通常是标准格式。因此,AlDuaij采用高级设备数据方法,并设计M2以通用格式导入和导出设备数据与系统之间的数据,从而避免桥接不兼容的移动系统和设备API。该方法使得M2不仅能够共享设备,而且能够混合和组合不同类型数据的设备,因为它可以以已知格式聚合或操纵设备数据。
“借助M2,我们正在引入设备转换,这个框架可以使不同系统中的不同设备被替换并相互组合,以支持多移动异构性,功能性和透明性,”AlDuaij说,他今天在MobiSys上发表了这项研究。 2019年,第17届ACM移动系统,应用和服务国际会议。“我们可以轻松操作或转换设备数据,因为它采用标准格式。例如,我们可以轻松扩展和聚合触摸屏输入。我们还可以将显示帧转换为相机帧,反之亦然.M2使我们能够重新解释或代表不同的设备以不同的方式。”
在M2的设备中,“转换”是融合来自多个设备的设备数据,以提供多头显示场景,以获得更好的“大屏幕”观看或游戏体验。通过将加速计传感器数据转换为输入触摸,M2可以将智能手机转换为类似Nintendo Wii的遥控器,以控制另一个系统上的游戏。眼睛运动也可以转换为触摸屏输入,这是一种有用的辅助功能,适用于无法使用双手的残疾用户。
对于音频会议而无需使用昂贵的专用设备,M2可以部署在整个房间的智能手机上,以利用来自多个有利位置的麦克风,提供卓越的扬声器识别音质和噪音消除。M2可以将显示器重定向到相机,以便相机应用程序可以录制Netflix或YouTube视频,还可以通过融合来自两个系统的相机输入来创建全景视频录制,以创建更宽广的视野。一个可能受欢迎的应用程序将让父母坐在彼此旁边记录孩子的广角学校或体育表演。
“在不必修改应用程序的情况下完成所有这些操作意味着用户可以继续使用他们喜爱的应用程序并获得增强的体验,”AlDuaij说。“M2是双赢的 - 用户无需担心哪些应用会支持此类功能,开发人员无需花费时间和金钱来更新他们的应用。”
使用M2很简单 - 用户所要做的就是从Google Play或Apple的App Store下载M2应用程序。不需要其他软件。一个移动系统运行未修改的应用程序;所有系统的输入和输出被组合并共享给应用程序。
“我们的M2系统易于使用,运行效率高,并且可以很好地扩展,特别是与现有方法相比,”Nieh指出。“我们认为多移动计算能够以新的方式将来自多个系统的多个设备组合在一起,从而提供更广泛,更丰富的体验。
哥伦比亚团队已开始与移动操作系统供应商和手机制造商进行讨论,将M2技术纳入其产品的下一版本。通过对当前系统进行一些小的修改,移动操作系统供应商可以使每个人都可以广泛使用多移动计算。