矩阵计算与AI革命：20年前《黑客帝国》的预言成真

还记得1999年的第一部矩阵电影吗？ 当时，很多人不明白为什么电影被命名为“矩阵”。 后来，电影被翻译成“矩阵”，这也很难理解。 “矩阵”或“矩阵”代表什么意思或预言？ 在第一部矩阵电影

中，Neo被告知世界受矩阵控制，需要他拯救世界。 在接下来的两部电影中，电影的标题是第二部《黑客帝国重装》和第三部《黑客帝国革命》。 如果将“矩阵”翻译为“矩阵”，则很难与“重新加载矩阵”和“矩阵公转”相对应。

多年以后，当人们开始将矩阵系列电影与Ai Ai Ai关联时，自然地将矩阵转换为矩阵：矩阵计算是Ai Ai Ai的独特计算方法，而Matrix Reloaded取代了现有的传统计算 矩阵计算的新方法革命意味着当矩阵计算开始流行时，它将颠覆并取代传统的计算模式。

实际上，人工智能和机器学习中最流行的算法是深度神经网络计算，其核心是非常大规模的矩阵计算。 矩阵计算的核心在于整数计算和并行计算。 传统的非人工智能计算主要是浮点计算和带小数点的串行计算，这是英特尔CPU芯片计算方法代表的当前传统。 众所周知，CPU不适合人工智能计算。 具有并行计算能力的GPU首先用于处理人工智能计算，但其成本太高。 因此，许多高科技公司都开发了自己的人工智能芯片。 随着人工智能和机器学习计算的日益普及，矩阵计算正在取代传统计算。 根据市场研究咨询公司Wikibon的预测，企业在矩阵计算应用中的投资和支出增长迅速，到2030年将占企业计算支出的42％。

全文

在2020年3月，wikibon 发表了一篇长篇研究文章：矩阵计算促进了实时AI。 矩阵计算应用程序的示例包括实时智能系统，实时分析，AI推理，机器人，自动驾驶汽车和其他数据驱动的实时或接近实时的AI示例。 Wikibon认为，人工智能计算框架是促进实时推理的重要驱动力，而实时推理是典型的矩阵计算。 当然，诸如高级分析，贝叶斯网络，因果推理等其他技术也共同促进了实时推理和其他矩阵计算应用的应用。

wikibon提出了关于矩阵计算的三个主要主题：

矩阵计算应用程序可以帮助促进更主动的端到端数据策略，这些策略可以极大地简化和自动化企业的业务流程。 通过端到端数据策略，精心设计的矩阵计算应用程序可以带来比传统应用程序高一个数量级的价值。 为了开发和部署矩阵计算应用程序，企业需要新的硬件和软件架构，技术和工具，这些可能来自消费类技术。 现在正在拍摄“矩阵4”的

，现在该学习矩阵计算了！

矩阵计算101

“矩阵”计算应用程序主要由数据驱动。 此类数据的规模非常大，通常是并行计算，包括语音，图像，视频，雷达，超声和任意数量的IOT设备。 人工智能是一项重要技术，可以帮助开发矩阵计算应用程序和任务。

我们不需要对神经网络算法有太多了解，只需要知道神经网络算法是基于矩阵表达式和矩阵乘法的，因为它涉及大量矩阵甚至是高维矩阵运算 并且与其他非人工智能算法明显不同。 人工智能算法分为两个步骤：模型训练和推理预测。 在每个步骤中，使用一个或多个神经网络模型。 模型训练是使用带有标签的高质量数据作为输入来计算神经网络的参数配置并形成模型。 推论是使用训练好的模型来计算新数据并得出结论。

如下图所示。 AI模型的训练开发通常分为数据工程和统计建模与训练，这两者都是面向存储的批处理计算任务，其中I / O通常是瓶颈。 基于结构的Nvme NAND闪存可以降低I / O成本，并允许在一个计算位置中直接高效地连接多个大型数据源。 像pure这样的公司已经开发了针对数据准备和AI培训进行了优化的创新型私有云硬件平台，而Dell，HPE和IBM则拥有专门的集成系统。

ai模型培训开发需要间歇性的基本计算资源，因此非常适合“即服务”云产品。 Wikibon还指出，机器学习需要有效的高质量数据。 没有质量和相关性的数量，它将导致“垃圾进和垃圾出”。

：AI模型训练开发需要高质量的数据，而端到端的数据体系结构确保了这一点。 但是，人工智能模型的训练和开发不是实时的矩阵计算任务，实时的AI推理属于矩阵计算。

推理是一项执行计算任务。 推理通常受计算限制，并且需要靠近数据源以缩短执行时间。 推理计算的瓶颈通常是内存带宽，它通常使用大量的SRAM来改善内存中的计算工作流程。 推理计算的硬件是异构的，可以大大提高并行度和完成速度。 当前，异构计算系统越来越多地用于部署深度神经网络和优化推理。

实时推理是一种矩阵计算应用程序。 到目前为止，推理是AI中计算最密集的部分。 AWS指出，超过95％的Alexa计算是推理计算。 Wikibon预测，到本十年末（2030年左右），这一比例将上升到99％。 端到端数据策略的要求之一是确保提供高质量的相关数据以开发推理应用程序。

实时推理还意味着将矩阵计算移至边缘。 实时还意味着必须将计算放置在非常接近数据生成的位置。 即使在几英里之外，也没有时间移动数据。 Wikibon的早期研究表明，将计算迁移到边缘的成本很高。 移动数据的成本和上下文的丢失将导致数据质量下降，这两者都将导致计算的相当一部分在未来十年内走向边缘。

是用于矩阵任务的异构计算体系结构。 矩阵计算任务具有大量要计算的矩阵数据。 传统处理器无法胜任实时大规模矩阵计算，但部署一些具有不同有限指令集的并行加速器可以实时完成工作量。 因此，这意味着需要一种特殊的计算体系结构来完成实时矩阵计算任务，这是异构计算体系结构。

异构计算体系结构由具有不同指令集的许多不同计算元素（处理器或内核）组成。 这些元素可以包括通用处理器，GPU，NPU，ASIC，FPGA等。这些元素通常组合为soc（片上系统），例如消费级Apple iPhone SOC。 主要优点是它从根本上改善了性能并降低了功耗要求。 异构系统的主要设计挑战包括管理对内存和数据的访问以及编程的复杂性。 称为CXL的行业标准正在成为可能的高速CPU互连标准，这将加速解决方案的开发。 简而言之，异构计算

允许更高程度的并行计算和执行速度，这非常适合矩阵计算任务。 Wikibon预计企业级异构计算将在未来十年中快速增长。

矩阵计算是一项新技术，该技术通常首先在大规模消费领域中应用，并将在几年内被企业采用。 一个很好的例子是x86技术，该技术已在以Intel x86硬件和Microsoft Windows软件为主的消费PC双头垄断中使用。 X86的体积，低成本和先进技术使英特尔扩展到企业服务器领域，并在十年内取代了大多数RISC服务器。 现在，x86占据了企业计算市场和不断萎缩的PC市场的主导地位。

苹果智能手机于2007年推出，并开始将投资转移到移动设备上。 消费设备的巨大数量和投资推动了大多数硬件和软件创新。 几乎所有的移动技术都在基于Arm的系统中实现，现在创建的基于Arm的芯片数量是任何其他移动平台的10倍。 这种创新来自苹果，ARM，谷歌，NVIDIA，高通，三星和许多其他消费类硬件和软件制造商。 消费者矩阵计算在

消费者移动平台上的应用如火如荼：苹果使用面部识别和神经核来确保金融交易的安全性； 谷歌在Pixel 4智能手机中部署了神经芯片，以改善图像和语音处理能力。 他们俩都使用神经网络来实现实时拍照和视频增强，改善语音识别，健康监控等许多领域。 苹果和谷歌都强调了神经网络的重要性，而GPU的重要性则要低得多。 这已迅速传播到移动应用程序开发人员，尤其是游戏应用程序开发人员。 随着企业开始使用实时矩阵计算应用程序，相应的开发人员将成为重要的人才来源。 大量的消费者开发人员正在重新培训他们的技术。 因此，像专家一样，在消费领域快速扩展的大型矩阵计算应用程序中使用的技术和软件可能会扩展到企业领域。

案例研究：据

wikibon称，实时矩阵计算的应用将成为大多数高价值和有效的企业数字计划的基础。 业务优势将是物联网的重要早期应用领域。 由于使用MEMS技术，传感器的价格直线下降，因此可以在边缘提供大量的IOT数据。 实时矩阵计算将大大简化和自动化边缘工作流程。

Tesla（Tesla）是成功部署企业矩阵计算应用程序的一个很好的例子。 该公司正在开发一种自动驾驶系统（ADS）。 广告的商业目标是改善电动汽车的功能和利润率，并开拓新的商机。 此示例显示了软件，硬件和端到端数据对在真实企业边缘运行的实时矩阵计算的影响。

ads的响应时间，可靠性和准确性可能比任何人类驾驶员都要好得多。 交通中生死攸关的主要决定因素是数据和矩阵计算技术。 从长远来看，广告的出现将大大避免年度