人工智能不仅正在改变行业，而且正在彻底改变我们对计算的思考方式。它涉及从设备到服务再到设备的所有内容，它会以我们尚未意识到的方式影响我们。有很多方法可以处理人工智能，对其潜力的持续研究已经在改变世界。

Qualcomm Technologies高级工程总监Jilei Hou博士说，我们正处在一个令人兴奋的时代，我们拥有大量智能无线边缘设备。随着越来越多的设备变得智能化并且连接起来，它们也将开始在发送到云的数据量方面达到极限。

为了扩展并解决隐私和安全的重要问题，AI需要从云分布到无线边缘，实现设备上处理，传感，安全和智能。

“人工智能在培训和推理方面主要在云端处理 - 这是一个非常以云为中心的观点，侯说。“截至今天，我们已经看到了设备上发生的人工智能工作负载，用例和应用程序的健康浪潮，它们由节能的设备AI功能提供支持。”

在未来，随着高速和超低延迟的5G连接可用，我们将看到完全分布式系统的出现，其中AI工作负载可以灵活地部署在云中或设备上。随着时间的推移，终身的设备上学习能力将变得成熟，使这样一个完全分布式的系统更加强大。

高通公司人工智能研究团队的核心使命是确保所有这些核心功能(包括感知，推理和行动)在各种设备和行业中无处不在，包括移动，汽车，物联网和云。他们正在开发一种通用平台，这种平台将成为整个行业和跨公司规模化人工智能的基础，基于三大支柱：电源效率，个性化和高效学习。

功效是关于开发深度学习技术以实现有效的设备上计算并实现功率和错误效率。个性化是关于开发机器学习技术以允许适应用户行为和偏好。高效学习是指在很少或没有数据注释的情况下进行训练，或处理虚拟样本的模型稳健性的能力。

它正在应用其广义的CN，贝叶斯深度学习和优化，深度生成模型和强化学习研究，以利用诸如图形深度学习等案例，为计算机视觉，视频识别，语音UI甚至指纹提供支持。为了确保AI能力可以跨行业扩展，他们正在开发平台技术和工具，如神经网络量化，压缩，内核编译和计算内存。

电力效率创新

功率效率是关于解决通常在两端发生的所有计算或功耗瓶颈。通过所有数学计算发生的神经模型运行数据显然会导致功耗。但是，一旦您将所有权重或激活加载到内存中，内存和计算引擎之间的数据传输最终会占用功耗很多倍，尤其是在LSTM或变压器模型中。他们发现它们可以复合压缩，量化，编译以及计算内存，从而提高复合效果。

“通过压缩，量化和编译，如果我们能够分别以3倍，4倍和4倍的速度实现功率效率提升，那么您可以将它们相乘，并设想功率效率提高50倍，”Hou解释道。

量化成就

量化是指我们如何在保持模型精度的同时自动减少权重和激活的位置。通常，训练模型的科学家使用32位表示的浮点。但是，以移动设备为例，一种非常常见的架构设计，您只能使用8位作为推理引擎，但不能长久。

“我们已经做了大量研究，结果很有希望我们可以将浮点数32转换为量化的NA结果，我们仍然可以保持非常可比的精度，”侯说。“我们可以将每瓦性能提高4倍以上，从而节省内存和计算量。”

范式在硬件架构设计上发生了变化

通常，内存和计算是两个独立的引擎，数据传输是更大的性能瓶颈之一 - 但您可以将这两个构建块组合在一起吗?

“基本上，我们可以将计算引擎嵌入到内存位单元中，这样我们就可以以模拟计算方式在内存中同时启用计算，”Hou说。“如果我们专注于一位操作，我们可以实现高达100倍的功率效率提升。”

想知道更多?

高通公司继续推进人工智能研究，使设备之间无处不在的节能人工智能，在整个人工智能领域进行领先的研发，并开发强大的人工智能平台，这对于整个行业和公司的人工智能用例进行扩展至关重要。侯在最近的网络研讨会上报道的更多。